Résumé Technique : SEVA – Agent de Vérification Auto-Évolutif avec Récompense de Processus

1. Énoncé du Problème

Les agents basés sur les Grands Modèles de Langage (LLM) font face à un goulot d'étranglement critique en matière de fiabilité : l'hallucination. Bien que les vérificateurs d'attribution de faits servent de couche de sécurité pour déterminer si les affirmations d'un agent sont étayées par des documents sources, les solutions existantes (par exemple, MiniCheck, ClearCheck) souffrent d'une limitation fondamentale : elles ne produisent que des étiquettes binaires opaques (Vrai/Faux).

Cette opacité crée deux échecs distincts dans les déploiements à enjeux élevés :

1. Absence d'Auto-Correction : Lorsqu'un vérificateur signale une affirmation, l'agent ne peut pas déterminer pourquoi elle est erronée (par exemple, si un nombre a été gonflé, une entité a été échangée ou un qualificatif a été fabriqué), ce qui empêche la correction autonome.
2. Déficit d'Auditabilité : Les opérateurs humains ne peuvent pas auditer de manière significative la décision car le raisonnement derrière l'étiquette est invisible.

De plus, l'entraînement de tels vérificateurs structurés via l'Apprentissage par Renforcement (RL) utilisant des récompenses binaires standards échoue. Appliquées à des sorties multi-composantes (par exemple, un JSON comprenant des alignements, un raisonnement et des étiquettes), les récompenses binaires provoquent un effondrement de l'avantage (advantage collapse) dans l'Optimisation de Politique Relative de Groupe (GRPO). Comme la plupart des réponses d'un groupe d'entraînement reçoivent une récompense de 0 (en raison d'erreurs d'analyse syntaxique ou d'une seule composante erronée), la variance au sein du groupe s'annule, provoquant la disparition du gradient de politique et provoquant le blocage de l'entraînement.

2. Méthodologie

2.1. Schéma de Vérification Structuré (SEVA)

SEVA est conçu pour produire une sortie structurée et auditable $v = (A, C, y, \gamma, e, s)$ plutôt qu'une simple étiquette :

• Alignement des Preuves ($A$) : Triplets cartographiant les segments de l'affirmation aux segments de la source avec un statut (correspondance, non-correspondance, non trouvé).
• Chaîne de Raisonnement ($C$) : Traçage logique étape par étape de la vérification par rapport aux preuves sources.
• Étiquette et Confiance ($y, \gamma$) : Une étiquette d'attribution binaire couplée à une confiance calibrée.
• Diagnostic d'Erreur ($e, s$) : Si l'affirmation est inattribuable, le modèle identifie l'un des six types d'erreurs (exagération numérique, inversion de négation, inflation de portée, décalage temporel, substitution d'entité, fabrication) et suggère une correction.

2.2. Mécanisme de Récompense de Processus

Pour surmonter l'effondrement de l'avantage des récompenses binaires, les auteurs introduisent une fonction de Récompense de Processus $R$ qui décompose la qualité de la vérification en cinq composantes indépendantes plus un terme de calibration :
$$R = \underbrace{w_f R_f + w_a R_a + w_c R_c}_{\text{Processus (70\%)}} + \underbrace{w_l R_l + w_d R_d}_{\text{Résultat (30\%)}} + R_{cal}$$

• Composantes :
  • $R_f$ : Validité du format (analyse syntaxique JSON).
  • $R_a$ : Qualité de l'alignement (ancrage).
  • $R_c$ : Qualité de la chaîne de raisonnement (logique étape par étape).
  • $R_l$ : Exactitude de l'étiquette.
  • $R_d$ : Exactitude du diagnostic d'erreur.
  • $R_{cal}$ : Terme de calibration asymétrique (récompense la justesse confiante, pénalise les erreurs trop confiantes).
• Pondération : Les composantes de processus (format, alignement, raisonnement) sont pondérées à 70 %, tandis que les composantes de résultat (étiquette, diagnostic) sont pondérées à 30 %. Cela force l'agent à maîtriser le comportement de la vérification avant d'optimiser le résultat.
• Justification Théorique : Les auteurs prouvent (Proposition 1 & 2) que les récompenses binaires sur la génération multi-composantes mènent à une variance nulle dans les groupes GRPO, alors que les récompenses de processus maintiennent une variance non nulle en découplant les scores des composantes, assurant ainsi un gradient non nul.

2.3. Pipeline d'Entraînement

1. Apprentissage Supervisé (SFT) : Un modèle 3B (Qwen2.5) est affiné sur 4 992 exemples structurés annotés par GPT-4o-mini.
2. GRPO avec Récompense de Processus : Le modèle SFT subit 350 étapes d'entraînement GRPO. La récompense de processus restaure le gradient, permettant au modèle d'améliorer simultanément la qualité structurelle et l'exactitude.
3. Boucle d'Auto-Évolution : Une boucle Vérifier $\rightarrow$ Réfléchir $\rightarrow$ Sonder $\rightarrow$ Affiner est implémentée.
   • Réfléchir : Agrège les diagnostics d'erreurs pour identifier les catégories faibles.
   • Sonder : Génère des données adverses ciblées pour ces catégories faibles.
   • Affiner : Ré-entraîne le modèle sur ces nouvelles données.
   • Cette boucle a été itérée quatre fois sur une variante de modèle 7B.

3. Résultats Clés

3.1. Performance et Qualité Structurelle

• Exactitude : SEVA-3B entraîné avec la récompense de processus atteint un F1 de 69,0 sur le benchmark ClearFacts, égalant GPT-4o-mini (69,8 F1) et surpassant significativement la base SFT (64,9 F1).
• Fiabilité Structurelle : La récompense de processus fait passer la conformité du format de 72 % (SFT) à 100 % et la qualité de l'alignement de 0,917 à 0,997.
• Comparaison : Bien que les vérificateurs binaires comme MiniCheck-7B atteignent une exactitude brute plus élevée (81,2 F1), ils le font avec des sorties binaires. SEVA égale la performance de modèles de grande taille tout en fournissant le substrat auditable (alignements, raisonnement, corrections) requis pour un déploiement critique en matière de sécurité.

3.2. Dynamique d'Entraînement : Curriculum Implicite

La récompense de processus induit un curriculum implicite :

• Phase 1 (Étapes 0–150) : L'agent maîtrise le comportement de vérification (format, alignement, chaînes de raisonnement).
• Phase 2 (Étapes 150–350) : L'agent affine les résultats de la vérification (score F1).
  Cela se produit sans planification explicite, grâce à la pondération 70/30 de la récompense.

3.3. Auto-Évolution et Spécialisation

L'affinement itératif via la boucle d'auto-évolution a révélé une découverte structurelle : la spécialisation, et non la généralisation.

• Chaque cycle de raffinement a produit un spécialiste d'un benchmark plutôt qu'un généraliste plus performant.
• Compromis : Les cycles 2 à 4 ont amélioré les performances sur HaluEval (+14,9 pp) mais ont dégradé celles sur TruthfulQA (−12,4 pp).
• Cet effet a persisté même avec 4 fois plus de données d'entraînement (Cycle 4), indiquant qu'il s'agit d'un phénomène induit par la distribution des données plutôt que par un surapprentissage. La sortie structurée était essentielle pour exposer cette dynamique par catégorie, ce que l'exactitude globale aurait caché.

3.4. Études d'Ablation

• Échec de la Récompense Binaire : Remplacer la récompense de processus par une récompense binaire dans GRPO a entraîné un F1 < 65 et aucune amélioration structurelle, confirmant que les récompenses binaires causent l'arrêt de l'entraînement dû à l'effondrement de l'avantage.
• Sensibilité de la Récompense : Un ratio 70/30 (processus/résultat) a offert le meilleur équilibre ; une trop forte inclinaison vers les résultats dégradait la qualité structurelle, tandis qu'une trop forte inclinaison vers le processus réduisait l'exactitude de l'étiquette.

4. Signification et Revendications

Le papier revendique trois contributions principales :

1. Agent SEVA : Un vérificateur structuré qui égale l'exactitude de GPT-4o-mini tout en produisant une sortie auditable et diagnostique (alignements, raisonnement, corrections d'erreurs) nécessaire pour la confiance humaine dans la boucle.
2. Solution de Récompense de Processus : Une résolution formelle du problème d'« effondrement de l'avantage » dans le RL pour la génération multi-composantes. Les auteurs soutiennent que pour toute tâche de RL avec génération multi-composantes, la granularité de la récompense doit correspondre à la granularité de la sortie.
3. Insight Structurel sur l'Auto-Amélioration : La découverte que les boucles d'auto-raffinement itératives, lorsqu'elles sont pilotées par des sondages adverses ciblés, tendent à produire des spécialistes plutôt que des généralistes. Cela remet en question l'hypothèse d'amélioration monotone commune dans la littérature Self-Refine et STaR.

Les auteurs concluent que la décomposition en cinq composantes est un « atout à double usage » : elle extrait plusieurs gradients par réponse (permettant l'apprentissage) et expose les dynamiques par catégorie (permettant la découverte de la spécialisation). Ils suggèrent que les futurs pipelines d'agents fiables devraient privilégier les réponses architecturales (par exemple, le routage par domaine) plutôt que de simplement ajouter davantage de cycles d'entraînement pour atteindre la généralisation.