Résumé Technique : StepGap

Énoncé du Problème

La Réponse aux Questions Multi-sauts (QA) nécessite que les modèles récupèrent, connectent et vérifient des preuves à travers plusieurs étapes intermédiaires. Cependant, les cadres d'évaluation actuels et d'apprentissage par renforcement (RL) dans les systèmes entrelacés avec recherche restent orientés vers le point final, s'appuyant uniquement sur la correspondance exacte (EM) de la réponse finale. Cette approche souffre de deux défauts structurels :

1. Manque de Différenciation : L'EM ne peut pas distinguer entre une chaîne de raisonnement ancrée dans des preuves et une chaîne faussement correcte dérivée de la mémoire paramétrique ou de raccourcis.
2. Manque de Localisation : Lorsqu'une politique échoue, l'EM fournit un signal de récompense nul sans indiquer quelle étape a rompu la chaîne, empêchant le modèle d'apprendre des comportements de réparation spécifiques à l'étape.

Les vérificateurs existants au niveau des étapes soit réduisent toutes les sous-tâches à un seul appel de Modèle de Langage (LLM), soit s'appuient sur un seul appel d'Inférence en Langage Naturel (NLI). Aucune de ces approches n'émet simultanément des étiquettes typées (distinguant des types d'erreurs spécifiques) et ne les ancre dans des décisions déterministes adaptées à l'entraînement. De plus, les vérificateurs a posteriori n'opèrent qu'après la génération d'une réponse complète, manquant ainsi l'opportunité de rediriger le générateur pendant le processus de raisonnement.

Méthodologie : StepGap

Les auteurs proposent StepGap, un arbre de décision hybride NLI-LLM conçu pour détecter les lacunes de preuves au niveau des étapes et émettre l'une des trois étiquettes typées, chacune mappée à une action de réparation concrète :

• AFFIRMATION CONTRADICTOIRE (CC) : L'étape affirme une affirmation en conflit avec les preuves récupérées. Réparation : Rétractation.
• PREUVE IRRELEVANTE (IE) : La preuve ne traite pas de l'entité ou de la relation nécessaire à l'étape. Réparation : Nouvelle recherche.
• LACUNE DE PONTS (MB) : La preuve est pertinente mais n'implique pas encore l'affirmation. Réparation : Recherche de ponts.

Architecture

StepGap fonctionne comme un arbre de décision hybride à cinq étapes pour chaque étape de raisonnement $s_i$ (étant donné les preuves accumulées $e_{\le i}$) :

1. Étape A (LLM) : Vérifie l'Alignement Entité/Relation. Détermine si l'étape cible la bonne entité/relation avant la récupération. Un mauvais ciblage déclenche une étiquette CC.
2. Étape B (LLM) : Vérifie la Validité de l'Abstention. Vérifie si une affirmation de « ne peut être déterminé » est ancrée dans des preuves. Une abstention injustifiée déclenche CC.
3. Étape C (LLM) : Vérifie la Cohérence des Entités et l'Extraction de Citations. Vérifie si la preuve récupérée concerne la bonne entité et extrait une citation de soutien mot à mot. Un mismatch déclenche IE.
4. Étape D (NLI) : Effectue une Inférence Locale. Utilise un modèle NLI déterministe (DeBERTa-v3) pour vérifier si la citation de l'Étape C implique l'affirmation.
   • Inférence $\rightarrow$ aucune lacune.
   • Neutre $\rightarrow$ MB.
   • Contradiction $\rightarrow$ CC.
5. Étape E (NLI) : Effectue une Vérification Inter-étapes. Pour les étapes de conclusion dépourvues de citation locale, vérifie si l'affirmation est impliquée par des preuves issues des étapes d'inférence précédentes. Un échec déclenche IE.

Intégration de la Récompense de Processus

La sortie typée $\tau_i$ est intégrée dans GRPO (Optimisation de Politique Relative par Groupes) comme une récompense de processus par étape :

• Récompense de Base ($r_{base}$) : Attribue des valeurs scalaires basées sur le type de lacune (par exemple, +0,20 pour aucune lacune, -0,10 pour IE, +0,05 pour la détection d'une CC).
• Récompense de Forme ($r_{shape}$) : Se conditionne sur l'action de réparation entreprise à l'étape suivante. Elle récompense la politique pour avoir effectué la réparation correcte (par exemple, nouvelle recherche après IE, rétractation après CC) et pénalise l'ignorance de la lacune ou l'émission de requêtes quasi-dupliquées.

Contributions Clés

1. Couplage Typé Lacune-Action : L'article soutient que les étiquettes typées au niveau des étapes ne sont utiles que lorsqu'elles sont couplées à des actions de réparation spécifiques. StepGap map explicitement CC, IE et MB à la rétractation, la nouvelle recherche et la recherche de ponts, respectivement.
2. Décomposabilité Hybride vs Annulation par LLM-seul :
   • Sur un benchmark annoté par des humains (181 étapes), StepGap atteint un sF1 de 72,0, statistiquement indiscernable d'une base de référence LLM-seul (70,1).
   • Cependant, les études d'ablation révèlent une différence qualitative : supprimer n'importe quel composant de StepGap diminue les performances (décomposition saine), tandis que supprimer trois des quatre composants de la base de référence LLM-seul améliore les performances. Cela indique que le système LLM-seul souffre d'annulation d'erreurs concurrentes, où les étapes internes masquent les erreurs les unes des autres, le rendant inadapté à des signaux RL fiables.
3. Le Piège du Q-F1 : Les auteurs exposent un défaut de métrique où le F1 au niveau de la question (Q-F1) est mécaniquement gonflé par des vérificateurs qui signalent chaque étape. Un vérificateur qui signale 95 % des étapes peut atteindre un Q-F1 proche du plafond tout en ayant une faible précision au niveau des étapes. StepGap évite cela en équilibrant le F1 au niveau des étapes (sF1) et la Précision Équilibrée (BA).
4. Efficacité de la Récompense de Processus : L'utilisation de StepGap comme récompense GRPO typée améliore la Correspondance Exacte de Qwen2.5-7B-Instruct de 32,1 à 35,4 (sur trois graines) et augmente le soutien affirmation-preuve à 71,5 %.

Résultats

• Performance du Vérificateur : StepGap atteint un sF1=72,0, un Q-F1=81,2 et un BA=60,6 % sur le benchmark humain de 181 étapes. Il maintient une distribution saine des types de lacunes (IE ~38 %, CC ~15 %, MB ~6 %), tandis que des variantes dégénérées (comme un LLM unique puissant) s'effondrent pour signaler presque tout comme IE (87,8 %), échouant à distinguer les types d'erreurs.
• Entraînement RL :
  • Typé+Forme (StepGap avec récompenses de forme) surpasse la base de référence Search-R1 GRPO de +5,6 EM moyen (29,8 $\rightarrow$ 35,4).
  • Il surpasse également la base de référence Search-R1 de +10,9 EM sur le jeu de données MuSiQue strictement hors domaine.
  • Le signal de récompense encourage la politique à augmenter le nombre de recherches (de 2,5 à 2,8) et à effectuer des réparations spécifiques plutôt que de simplement éviter les erreurs.
• Distillation : Un modèle étudiant Qwen2.5-7B distillé conserve 87 % du score F1 du modèle enseignant sans nécessiter d'appels API pendant l'inférence, rendant le système évolutif pour de longues exécutions RL.

Signification et Revendications

L'article affirme que StepGap fournit un signal de processus qualitativement différent par rapport aux vérificateurs existants. Alors que deux systèmes peuvent avoir des intervalles de confiance F1 qui se chevauchent, seul celui avec des contributions de composants monotones (StepGap) est adapté aux récompenses RL typées. L'approche LLM-seul, malgré une précision agrégée similaire, repose sur une annulation d'erreurs qui obscurcit la nature spécifique des échecs, la rendant peu fiable pour entraîner des politiques à effectuer des réparations spécifiques.

Les auteurs positionnent StepGap non pas simplement comme un meilleur détecteur, mais comme un composant nécessaire pour l'entraînement de RAG agentique, permettant aux modèles d'apprendre comment réparer les chaînes de raisonnement (rétracter, nouvelle recherche, ponts) plutôt que d'apprendre simplement à éviter les erreurs finales. Le travail met en évidence la nécessité de diagnostics au niveau des étapes par rapport aux métriques au niveau de la question pour éviter le « piège du Q-F1 » et s'assurer que les améliorations dans l'entraînement RL sont motivées par des capacités de raisonnement authentiques plutôt que par des corrélations fallacieuses.

Limitations notées par les auteurs :

• L'ensemble d'évaluation humaine est petit (181 étapes), conduisant à des intervalles de confiance qui se chevauchent avec les bases de référence ; la contribution est formulée autour des propriétés architecturales (décomposabilité) plutôt que d'une victoire brute en F1.
• Les magnitudes des récompenses sont ajustées pour Qwen2.5-7B et ne se transfèrent pas zero-shot à Llama-3.1-8B.
• La détection de rétractation repose sur un appariement de motifs de surface, qui pourrait théoriquement être vulnérable au piratage de récompenses, bien que cela n'ait pas été observé lors des exécutions de 200 itérations.