🤖 AI

From Verdict to Process: Agentic Reinforcement Learning for Multi-Stage Fact Verification

Cet article introduit ProFact, un cadre d'apprentissage par renforcement agentique qui optimise la vérification de faits multi-étapes de bout en bout en entraînant une politique unifiée avec des récompenses sensibles au processus afin de surmonter les limites de l'optimisation isolée des étapes et des heuristiques fixes.

Auteurs originaux : Rongxin Yang, Shenghong He, Siyuan Zhu, Chao Yu

Publié 2026-06-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rongxin Yang, Shenghong He, Siyuan Zhu, Chao Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère. Vous avez une affirmation (une déclaration faite par quelqu'un) et vous devez déterminer si elle est Vraie, Fausse, ou s'il n'y a simplement pas Assez de Preuves pour décider.

Par le passé, les détectives IA essayaient de résoudre cela en suivant une liste de contrôle rigide et préétablie. Ils décomposaient l'affirmation en questions, cherchaient des réponses, puis devinaient le verdict. Le problème ? Chaque étape était réalisée de manière isolée. La personne qui rédigeait les questions ne parlait pas à la personne qui cherchait les réponses, et la personne qui devinait le verdict ne savait pas à quel point les autres avaient travaillé dur. C'était comme une course de relais où les coureurs ne se passaient jamais correctement le témoin — ils couraient simplement leurs propres segments en espérant que tout se passe bien.

ProFact est une nouvelle façon d'entraîner un détective IA en utilisant une méthode appelée « Apprentissage par Renforcement Agentique ». Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'approche « Un seul cerveau » (Politique Unifiée)

Au lieu d'avoir des experts distincts pour poser des questions, trouver des preuves et rendre un jugement final, ProFact entraîne un seul et même cerveau d'IA pour accomplir tout le travail du début à la fin.

L'ancienne méthode : Imaginez une chaîne de montage d'usine. L'ouvrier A fabrique une pièce, l'ouvrier B la peint et l'ouvrier C la met en boîte. Si la boîte est laide, l'ouvrier C est blâmé, mais l'ouvrier A et l'ouvrier B ne savent pas qu'ils ont commis une erreur.
La méthode ProFact : Imaginez un chef étoilé préparant un repas complet. Si la soupe est trop salée, le chef sait immédiatement que c'est lui qui a ajouté trop de sel. Il apprend à ajuster le hachage, l'assaisonnement et la cuisson, tout cela en même temps, car il est responsable de l'ensemble du plat.

2. Le « Coach » avec un feedback instantané (Récompenses Sensibles au Processus)

Le plus grand défi de l'entraînement de ces détectives IA est que la « clé de correction » (la vérité finale) n'arrive qu'à la toute fin. Si l'IA se trompe de verdict final, elle ne sait pas pourquoi. A-t-elle posé les mauvaises questions ? A-t-elle trouvé les mauvaises preuves ? Ou a-t-elle simplement fait une mauvaise supposition à la fin ?

Le problème du signal éparse : C'est comme jouer à un jeu vidéo où vous n'obtenez un écran « Game Over » qu'à la toute fin. Vous ne savez pas si vous avez perdu parce que vous avez sauté trop tôt, manqué un bonus ou percuté un mur.
La solution de ProFact : Les chercheurs ont donné à l'IA un coach qui murmure des commentaires à chaque étape.
- Étape 1 (Poser des questions) : Le coach dit : « Bon travail, vous avez décomposé cette grande affirmation en petites questions claires ! » (Récompense pour la Qualité des Questions).
- Étape 2 (Trouver des preuves) : Le coach dit : « Bravo ! Vous avez trouvé le document exact qui prouve votre point. » (Récompense pour l'Ancrage des Preuves).
- Étape 3 (Le Verdict) : Le coach dit : « Correct ! Vous avez trouvé la vérité. » (Récompense pour la Précision Finale).

Cela transforme un vague « Game Over » en une fiche de score détaillée, aidant l'IA à comprendre exactement quels mouvements mènent au succès et lesquels mènent à l'échec.

3. Apprendre par essais et erreurs (Apprentissage par Renforcement)

Pour devenir vraiment performante, l'IA ne se contente pas de lire un livre ; elle joue au jeu des milliers de fois.

Elle essaie différentes façons de décomposer une affirmation.
Elle essaie différentes façons de chercher des preuves.
Elle compare ses différentes tentatives (comme un groupe d'étudiants passant le même examen). Si un étudiant obtient un meilleur score, l'IA apprend à copier sa stratégie.

Les Résultats : Plus Rapide et Plus Intelligent

Lorsque les chercheurs ont testé ProFact, ils ont constaté deux victoires majeures :

Une meilleure précision : L'IA est devenue bien meilleure pour déterminer la vérité car elle a appris à coordonner ses étapes parfaitement. Elle ne s'est pas contentée de deviner ; elle a construit un dossier solide.
Plus rapide et moins coûteux : De manière surprenante, ProFact était également plus rapide et utilisait moins de puissance de calcul que les anciennes méthodes. Parce qu'elle a appris une stratégie plus efficace, elle ne perd pas de temps à poser des questions inutiles ou à lire des documents non pertinents. Elle a appris à être un détective agile et efficace.

Résumé

En bref, ProFact prend le processus chaotique de la vérification des faits et le transforme en une danse fluide et coordonnée. En donnant à l'IA un « coach » qui la félicite ou la corrige à chaque étape (et pas seulement à la fin), l'IA apprend à poser de meilleures questions, à trouver de meilleures preuves et à prendre des décisions plus précises, tout en étant plus rapide qu'auparavant.

Résumé Technique : ProFact – Apprentissage par Renforcement Agentique pour la Vérification de Faits Multi-étapes

1. Énoncé du Problème

La vérification automatisée des faits en domaine ouvert est intrinsèquement un processus de décision multi-étapes impliquant la décomposition de l'affirmation, la collecte de preuves et la prédiction du verdict. Bien que les approches récentes combinent les modèles de langage de grande taille (LLM) avec un raisonnement augmenté par la recherche, les méthodes existantes optimisent généralement ces étapes de manière isolée ou reposent sur des heuristiques fixes pour la coordination. Cette séparation conduit à des résultats sous-optimaux où les décisions intermédiaires (par exemple, la génération de questions de vérification) ne sont pas alignées avec l'objectif ultime de prédiction du verdict. De plus, l'optimisation de l'ensemble de la trajectoire de vérification est difficile en raison de la supervision parcimonieuse et différée : l'étiquette de véracité finale fournit une récompense uniquement à la fin du processus, ce qui rend difficile l'attribution de crédit à des actions intermédiaires spécifiques (telle qu'une requête de recherche spécifique ou une étape de décomposition).

2. Méthodologie : Le Cadre ProFact

Les auteurs proposent ProFact, un cadre d'apprentissage par renforcement (RL) agentique conçu pour l'optimisation de bout en bout des trajectoires de vérification de faits multi-étapes.

2.1 Formulation comme Processus de Décision Markovien (MDP)

ProFact modélise la vérification de faits comme un MDP à horizon fini ( $M = (S, A, P, r, \rho_0, T)$ ) :

État ( $S$ ) : Comprend l'affirmation, les questions générées, les preuves extraites, les paires QA (question-réponse) et l'étape de raisonnement actuelle.
Action ( $A$ ) : Actions unifiées générées par une politique unique $\pi_\theta$ , incluant la génération de questions de vérification, l'appel d'outils de recherche, la synthèse de réponses fondées sur les preuves et la prédiction du verdict final.
Trajectoire : Une séquence d'états et d'actions $(s_0, a_0, r_0, \dots, s_T, a_T, r_T)$ représentant le flux de travail complet de vérification.

2.2 Déroulement de la Vérification en Trois Étapes

L'agent exécute un flux de travail en trois étapes calqué sur le processus humain de vérification des faits :

Étape de Questionnement : L'agent décompose l'affirmation en un ensemble de questions de vérification ( $Q$ ).
Étape de Recherche : Pour chaque question, l'agent effectue une extraction itérative à partir d'un magasin de preuves pré-construit (en utilisant une recherche sémantique via Qwen3-Embedding-0.6B et kNN) et génère des réponses fondées sur les preuves ( $A$ ). Le contexte est réinitialisé entre les questions pour éviter une expansion inutile.
Étape de Verdict : Sur la base des preuves et des réponses accumulées, l'agent prédit l'étiquette de véracité finale (Supportée, Réfutée, Preuves Insuffisantes, ou Preuves Contradictoires).

2.3 Fonction de Récompense Sensible au Processus

Pour remédier à la parcimonie du label final, ProFact introduit une fonction de récompense sensible au processus qui fournit une supervision dense au niveau des étapes :

Récompense de l'Étape de Questionnement ( $r_q$ ) : Calculée via une correspondance basée sur METEOR entre les questions générées et les questions de référence (gold-standard).
Récompense de l'Étape de Recherche ( $r_s$ ) : Calculée via une correspondance basée sur METEOR entre les paires question-réponse générées et les annotations de preuves de référence.
Récompense de l'Étape de Verdict ( $r_v$ ) : Une fonction indicatrice ($1$ si le label prédit correspond au label de référence, $0$ sinon).
Retour Total : La somme des récompenses à travers la trajectoire, transformant un signal de résultat parcimonieux en signaux d'apprentissage intermédiaires.

2.4 Optimisation via GRPO

Le cadre utilise l'Optimisation de Politique Relative de Groupe (GRPO) pour l'entraînement. Au lieu d'utiliser un réseau critique séparé, GRPO estime la fonction d'avantage en comparant un groupe de $G$ trajectoires échantillonnées pour la même affirmation. L'avantage $\hat{A}_{i,g}$ est calculé en normalisant le retour total d'une trajectoire par rapport à la moyenne et à l'écart-type du groupe. Cela permet une optimisation stable et de bout en bout de la politique unifiée sans nécessiter l'approximation d'une fonction de valeur, ce qui est difficile compte tenu de la nature hétérogène des récompenses par étape et des dépendances de recherche.

3. Contributions Clés

Cadre de Vérification Agentique : ProFact unifie la décomposition des affirmations, l'extraction de preuves et la prédiction de verdict dans une politique unique avec des actions d'extraction explicites, formulant la vérification comme un problème de prise de décision agentique à long horizon.
Optimisation de Trajectoire Sensible au Processus : L'introduction d'une fonction de récompense sensible au processus fournit un feedback intermédiaire dense, permettant au modèle d'apprendre quelles interventions intermédiaires (décomposition, recherche, raisonnement) contribuent à la précision finale.
Validation Empirique : Des expériences approfondies démontrent que ProFact améliore à la fois les performances de vérification et l'efficacité de l'inférence par rapport aux bases de référence solides.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données AVeriTeC en utilisant quatre modèles de base open-source (Qwen2.5-3B/7B, Qwen3-4B/8B).

Performance : ProFact a systématiquement surpassé les bases de référence (Consistency, InFact, HerO) sur tous les indicateurs.
- Score AVeriTeC : ProFact a obtenu les scores les plus élevés (ex: 48.00 pour Qwen2.5-7B contre 42.80 pour HerO), indiquant une capacité de vérification de bout en bout supérieure.
- Précision : ProFact a montré une amélioration de la précision de la prédiction du label final.
- Qualité Intermédiaire : ProFact a obtenu les meilleurs scores METEOR pour le "Q-only", indiquant une meilleure décomposition des affirmations, ainsi que des scores METEOR Q&A compétitifs.
Efficacité : ProFact a démontré des gains significatifs en efficacité d'inférence. Comparé à InFact, ProFact a réduit le temps par affirmation d'environ 50 à 70 % et a considérablement réduit la consommation de tokens (ex: 0,38M de tokens de sortie contre 0,66M pour InFact sur Qwen2.5-7B).
Étude d'Ablation : Le retrait des récompenses de processus (w/o PR) a entraîné une baisse constante des performances sur tous les modèles de base, confirmant que la supervision du label final seul est insuffisante pour apprendre des trajectoires multi-étapes efficaces.
Comparaison d'Algorithmes : GRPO s'est avéré supérieur à PPO, DAPO et GiGPO pour cette tâche, probablement grâce à sa capacité à fournir des signaux stables au niveau de la trajectoire sans la complexité de l'apprentissage d'une fonction de valeur pour des récompenses d'étapes hétérogènes.

5. Signification et Revendications

L'article affirme que l'optimisation de trajectoire sensible au processus est un mécanisme critique pour la vérification de faits multi-étapes. En traitant la vérification comme un processus de décision unifié plutôt que comme un pipeline de modules isolés, ProFact permet aux décisions précoces (comme la décomposition) de s'adapter aux exigences des étapes ultérieures (comme la prédiction du verdict). Les résultats soulignent que :

La supervision intermédiaire est essentielle pour un attribution de crédit efficace dans les tâches à long horizon.
L'apprentissage par renforcement agentique avec des récompenses sensibles au processus peut simultanément améliorer la précision et réduire les coûts d'inférence en apprenant des stratégies de vérification plus ciblées et moins redondantes.
Les modèles plus grands ne produisent pas nécessairement une vérification fondée sur les preuves plus performante, car ils peuvent s'appuyer sur la connaissance paramétrique plutôt que sur les preuves extraites ; cependant, le cadre ProFact reste efficace à travers différentes échelles de modèles.

Les auteurs concluent que leur travail démontre l'efficacité de l'apprentissage par renforcement de bout en bout pour optimiser les flux de travail de raisonnement complexes et multi-étapes dans la vérification automatisée des faits.