Résumé technique : Entraînement interactif de critique-révision pour une génération structurée fiable par les LLM

Énoncé du problème

Les grands modèles de langage (LLM) démontrent de solides capacités dans la génération ouverte, mais restent fragiles dans les flux de travail complexes de prise de décision structurée, tels que la remplissage de formulaires, la vérification de conformité et les rapports de maintenance. Dans ces domaines, les sorties doivent être localement correctes, globalement cohérentes et auditable par rapport à des règles spécifiques. Les méthodes de raffinement existantes reposent souvent sur des débats heuristiques, l'auto-jeu ou une supervision générée par le LLM, ce qui introduit un « problème de garantie de second ordre » : le vérificateur lui-même nécessite une évaluation. Un vérificateur récompensé pour trouver des erreurs peut générer des objections persuasives mais faiblement fondées, tandis qu'un générateur peut soit sur-corriger des sorties exactes, soit ignorer des retours utiles. De plus, les approches multi-agents actuelles traitent souvent le débat comme un mécanisme de prompt plutôt que comme un paradigme d'entraînement spécifique à un rôle, manquant d'un cadre systématique pour entraîner conjointement des agents avec des preuves d'assurance structurées.

Méthodologie : DPA-GRPO

Les auteurs proposent DPA-GRPO (Optimisation de Politique Relative de Groupe à Actions Appariées Duales), un cadre théorique des jeux pour entraîner un jeu markovien à deux joueurs entre un Générateur et un Vérificateur.

Le jeu Générateur-Vérificateur

L'interaction est modélisée comme un jeu à horizon fini où le Générateur propose des sorties pour des unités de décision structurées (par exemple, des lignes de formulaire fiscal). Le Vérificateur observe la proposition et choisit entre deux actions :

1. NS (No-SAC / Sans SAC) : Rester silencieux, acceptant la proposition.
2. SAC (Safety Assurance Case / Cas d'Assurance de Sécurité) : Soulever une intervention structurée contenant une Affirmation, un Argument et une Preuve (suivant la méthodologie des cas de sécurité) pour contester la proposition.

Si un SAC est soulevé, le Générateur doit choisir entre :

1. KEEP (Conserver) : Soumettre la proposition originale.
2. REVISE (Réviser) : Soumettre un nouveau candidat de révision.

Mécanisme d'entraînement

DPA-GRPO construit des groupes d'actions contrefactuelles appariées à chaque unité de décision pour entraîner simultanément les deux agents en utilisant des récompenses spécifiques au rôle et une Optimisation de Politique Relative de Groupe (GRPO) régularisée par KL :

• Paires de Vérificateur : {SAC, NS}. Le vérificateur est récompensé pour soulever des SAC sur des propositions incorrectes et rester silencieux sur des propositions correctes.
• Paires de Générateur : {KEEP, REVISE} (conditionnel à la soulevée d'un SAC). Le générateur est récompensé pour sélectionner l'action (conserver l'original ou réviser) qui conduit à la sortie finale correcte.

L'entraînement utilise un oracle de récompense pour déterminer la justesse ($S_x$ pour la proposition initiale, $S_z$ pour la révision). Les objectifs sont régularisés par des termes de divergence KL par rapport à des politiques de référence figées pour prévenir une dérive instable de la politique. La fonction de perte pour chaque rôle est un objectif contrastif, de type préférence, dérivé des avantages normalisés par groupe des actions appariées.

Analyse théorique

L'article analyse la dynamique du jeu pour établir les conditions d'Équilibres de Nash Locaux.

• Jeu non régularisé : Les auteurs montrent que si un agent assigne une probabilité positive à des actions à récompense strictement inférieure (par exemple, un vérificateur manquant une erreur ou un générateur effectuant une révision nuisible), une déviation unilatérale rentable existe.
• Jeu régularisé par KL : Sous des hypothèses standard d'approximation stochastique, les mises à jour DPA-GRPO suivent l'Équation Différentielle Ordinaire (EDO) du jeu. Les points limites asymptotiquement stables isolés de cette EDO correspondent à des points stationnaires où les agents sont localement optimaux pour leurs récompenses spécifiques au rôle, supprimant efficacement les actions sous-optimales par le biais de cotes d'action dépendantes de l'écart de récompense.

Contributions clés

1. Formulation : Les auteurs formulent la validation des LLM structurés comme un jeu markovien à deux joueurs où les interventions du vérificateur sont exprimées sous forme de Cas d'Assurance de Sécurité (SAC) structurés contenant des affirmations, des arguments et des preuves.
2. Algorithme : Ils proposent DPA-GRPO, une méthode d'entraînement à actions appariées duales qui construit des comparaisons contrefactuelles SAC/Sans-SAC et Conserver/Réviser. Cela permet l'entraînement parallèle de la politique d'intervention du vérificateur et de la politique de révision du générateur en utilisant des politiques conditionnelles au rôle.
3. Cadre théorique : L'article développe une taxonomie interprétable des cas (8 cas) reliant les signaux d'entraînement aux conditions de Nash locales et aux dynamiques d'approximation stochastique, offrant une manière fondée de diagnostiquer les comportements d'interaction.
4. Évaluation empirique : La méthode est évaluée sur TaxCalcBench TY24, un benchmark de remplissage de formulaires fiscaux structurés.

Résultats expérimentaux

Les expériences ont été menées en utilisant les architectures de base Qwen3-4B et Qwen3-8B, comparant DPA-GRPO à la génération zero-shot et à des baselines RL à agent unique générateur-only (GRPO, DAPO, GSPO).

• Précision : DPA-GRPO a atteint la précision la plus élevée sur l'ensemble de test pour les deux tailles de modèle (0,53 pour Qwen3-4B et 0,57 pour Qwen3-8B), surpassant les baselines zero-shot et les méthodes RL générateur-only.
• Dynamiques de la taxonomie des cas : L'analyse des transitions d'unités de décision a révélé des améliorations comportementales spécifiques :
  • Augmentation du Cas 1 (Correct/Silencieux) : La fréquence des propositions correctes acceptées sans intervention a augmenté de manière significative (par exemple, de 27,4 % à 42,4 % pour Qwen3-4B), indiquant que le générateur apprend à produire des sorties initiales de meilleure qualité.
  • Réduction du Cas 4 (Erreurs manquées) : Le taux de propositions incorrectes que le vérificateur n'a pas réussi à détecter a diminué de manière substantielle (par exemple, de 55,3 % à 37,2 %), démontrant une sensibilité améliorée du vérificateur.
  • Amélioration du Cas 6a (Rejet calibré) : Le générateur a appris à rejeter les mauvaises révisions lorsqu'un SAC est soulevé (augmentation de 9,3 % à 16,6 %), montrant qu'il ne suit pas aveuglément les défis du vérificateur mais calibre ses décisions Conserver/Réviser.

Importance et revendications

L'article revendique que DPA-GRPO fournit une solution fondée pour l'assurance basée sur les cas de sécurité dans les flux de travail structurés des LLM. Son importance réside dans :

• Dépasser le débat heuristique : Il établit un paradigme d'entraînement où les agents sont co-adaptés par des interactions structurées et vérifiables plutôt que par de simples prompts ou une mise à l'échelle au moment du test.
• Interprétabilité : En utilisant des SAC (Affirmation-Argument-Preuve), le système fournit des enregistrements auditable de la raison pour laquelle une sortie a été contestée ou acceptée, rendant les objections interprétables.
• Amélioration duale : Le cadre améliore à la fois la capacité du générateur à produire des propositions initiales correctes et la capacité du vérificateur à détecter des erreurs et à guider les révisions, plutôt que de compter uniquement sur l'apprentissage par renforcement côté générateur.
• Fondement théorique : Il relie les signaux d'entraînement pratiques aux concepts d'équilibre de la théorie des jeux, offrant une base théorique expliquant pourquoi l'interaction converge vers des comportements collectifs souhaités.

Les auteurs notent des limitations, reconnaissant que la méthode engendre des coûts de calcul plus élevés en raison de l'entraînement de deux agents et repose sur des étiquettes de vérité terrain déterministes dans le benchmark actuel. Ils soulignent que, bien que les SAC améliorent l'audibilité, ils ne constituent pas des garanties formelles de justesse ou de sécurité dans des contextes à haut risque sans examen par des experts.