Résumé Technique : Le Piège du Raisonnement

Énoncé du Problème

L'article traite d'un mode de défaillance critique dans les débats multi-agents (MAD) et les protocoles de raisonnement en système fermé impliquant des modèles de langage de grande taille (LLM). Bien que le MAD soit largement adopté pour améliorer la précision des réponses et fournir une surveillance évolutive, les auteurs soutiennent qu'il dégrade systématiquement la fidélité du processus de raisonnement — c'est-à-dire le degré selon lequel le raisonnement est ancré dans les preuves fournies.

Le problème central est un « Piège du Raisonnement » : la délibération en système préserve la précision de la réponse (souvent via la récupération de mémoire paramétrique) tout en érodant l'ancrage probant de la chaîne de raisonnement. Cela se produit parce que les protocoles MAD standard fonctionnent comme des boucles d'information fermées où les agents se conditionnent uniquement sur les sorties précédentes et les paramètres partagés, sans réinjecter de preuves externes. Par conséquent, la chaîne de raisonnement agit comme un processus de Markov où l'information concernant l'ensemble des preuves originales est perdue ou compressée à chaque étape, conduisant à des sorties « précises mais non fidèles ».

De plus, l'article identifie un vide méthodologique : les paradigmes d'évaluation existants confondent la précision (la justesse de la réponse finale) avec la fidélité (la qualité du processus de raisonnement). Cette confusion rend la défaillance invisible, car les benchmarks de précision montrent souvent une amélioration ou une stabilité tandis que le raisonnement sous-jacent devient de plus en plus halluciné ou déconnecté des preuves. En outre, l'article remet en question la stabilité de l'évaluation humaine en tant que « vérité terrain » pour la fidélité, constatant que l'accord inter-évaluateurs est souvent indistinguable du hasard et que les jugements intra-évaluateurs varient considérablement selon les langues et les domaines.

Méthodologie

Cadre Théorique

Les auteurs formalisent le processus de raisonnement comme une chaîne de Markov $E \to O_0 \to O_1 \to \dots \to O_T$, où $E$ est l'ensemble des preuves et $O_t$ est la sortie de raisonnement à l'étape $t$.

• Théorème 1 (Bornes DPI) : Sous les hypothèses standard du MAD (paramètres partagés, pas de réinjection de $E$, et agrégation symétrique), le processus satisfait l'Inégalité de Traitement des Données (DPI). Cela implique que l'information mutuelle attendue entre les preuves et la sortie, $E[I(E; O_{t+1})]$, est non croissante le long de la chaîne. La fidélité diminue strictement si l'étape d'agrégation (par exemple, le vote majoritaire) n'est pas injective.
• Théorème 2 (Récupération en Système Ouvert) : Si un protocole réinjecte des preuves externes $E$ à chaque étape, l'information mutuelle peut s'accumuler, formant une sous-martingale où la fidélité est bornée inférieurement par l'état initial.

Métriques et Algorithmes

1. Score de Fidélité Fondée (SFS) : Une métrique au niveau des affirmations conçue pour mesurer l'ancrage probant.
   • Décomposition : Un LLM décompose une trace de raisonnement en affirmations atomiques.
   • Vérification : Chaque affirmation est vérifiée par rapport à l'ensemble des preuves fournies $E$ en utilisant la similarité sémantique (Sentence-BERT) et l'implication logique (DeBERTa-v3 NLI).
   • Notation : Le score est la masse de soutien moyenne des affirmations atomiques. La métrique est conçue pour être invariante au décomposeur (les classements restent stables indépendamment du LLM utilisé pour la décomposition).
2. Raisonnement Socratique Ancré aux Preuves (EGSR) : Un protocole constructif pour briser le Piège du Raisonnement.
   • Architecture : Un système asymétrique à trois rôles (Débateur, Questionneur, Vérificateur).
   • Mécanisme : Contrairement au débat adversaire, l'EGSR utilise une injection de preuves externes à chaque tour. Le Vérificateur vérifie les sous-questions par rapport à $E$ avant de permettre à la trace de raisonnement de continuer. Cela viole la condition de Markov du système fermé, permettant à la fidélité de s'accumuler.

Conception Expérimentale

• Ensembles de données : SciFact (300 affirmations scientifiques) et FEVER (1 000 affirmations Wikipédia).
• Conditions : 16 conditions expérimentales couvrant des lignes de base (Zero-shot, RAG), des variantes de débat (SocraSynth, DebateCV, MAD Vanilla) et des variantes EGSR.
• Modèles : Expériences principales sur GPT-4o ; réplication cross-architecture sur Claude-3.5-Sonnet.
• Étude de Fiabilité Humaine (R6) : Une étude de cohorte cross-langue et cross-domaine (coréen et anglais) impliquant 11 évaluateurs pour tester la stabilité des notations humaines de fidélité.

Résultats Clés

1. Le Piège du Débat est Empiriquement Réel

Sur 18 430 essais, l'étude observe un spectre à trois niveaux de dégradation du raisonnement :

• Dégradation du Raisonnement : Le débat standard (par exemple, SocraSynth) fait chuter le SFS d'environ 39 % tout en maintenant une précision comparable.
• Le Piège Proprement Dit (DebateCV) : Il préserve 88 % de la précision de base mais fait chuter le SFS de 43 %.
• Élimination du Raisonnement (Vanilla MAD) : Le débat par vote majoritaire effondre le SFS à 1,7 % de la base (près de zéro), remplaçant efficacement le raisonnement par un décompte de votes, tout en conservant environ 91 % de la précision de base.

2. L'EGSR Réalise une Récupération

Le protocole de Raisonnement Socratique Ancré aux Preuves (EGSR) brise avec succès la borne DPI en réinjectant des preuves.

• L'EGSR récupère 98 % du SFS de base (0,343 contre 0,349 pour la base) tout en maintenant une précision compétitive.
• Cette récupération est robuste face aux variantes architecturales (traitement parallèle, substitution par un petit modèle de langage) et aux modèles (GPT-4o, Claude-3.5-Sonnet).

3. La Fiabilité Humaine est Instable (Le Triple Échec R6)

L'étude constate que le signal humain utilisé pour calibrer les métriques de fidélité n'est pas une cible stable :

• Accord inter-évaluateurs : Le $\kappa$ de Fleiss était au maximum de +0,018 (près du hasard) à travers les cohortes.
• Instabilité intra-évaluateur : Deux évaluateurs ayant évalué les cohortes coréenne et anglaise ont fait varier leurs notations moyennes de 0,8 à 1,4 points sur l'échelle de Likert et ont modifié leurs taux d'« affirmations non fondées » de 28 à 47 points de pourcentage selon la langue et le domaine.
• Implication : Les métriques automatisées comme le SFS, qui reposent sur des classements invariants au décomposeur, peuvent être plus stables et fiables que les notations humaines contre lesquelles elles étaient historiquement calibrées.

4. Alignement Théorique

Les trajectoires empiriques du SFS s'alignent sur la borne DPI théorique :

• Dans le débat en système fermé (C4), le SFS diminue de manière monotone au fil des tours.
• Dans l'EGSR (C8), le SFS augmente (comportement de sous-martingale).
• Le « Plancher d'Agrégation par Vote » (Proposition 1) est confirmé : lorsque le raisonnement est réduit à un décompte de votes, le SFS s'effondre vers la capacité informationnelle de l'alphabet du verdict, soit pratiquement zéro.

Signification et Revendications

L'article se positionne comme une intervention épistémologique plutôt que comme une simple nouvelle métrique ou algorithme. Ses contributions principales sont :

1. Formalisation de la Limite : Il fournit la première borne informationnelle (Théorème 1) expliquant pourquoi le raisonnement multi-agent en système fermé dégrade la fidélité. Il soutient qu'il s'agit d'une caractéristique structurelle de la chaîne de Markov, et non d'une défaillance contingente de modèles spécifiques.
2. Découplage de la Précision et de la Fidélité : Il démontre que la précision et la fidélité sont orthogonales ; des systèmes peuvent être hautement précis tout en étant totalement infidèles aux preuves. Cela remet en question l'hypothèse de « convergence vers la vérité » sous-jacente à de nombreuses propositions de surveillance évolutive.
3. Un Nouveau Paradigme d'Évaluation : En montrant que l'accord inter-évaluateurs humain pour la fidélité est instable, l'article soutient que les métriques de fidélité ne doivent pas être calibrées uniquement sur des standards d'or humains. Au lieu de cela, elles doivent être évaluées sur leur propre stabilité opérationnelle (par exemple, l'invariance au décomposeur).
4. Un Remède Constructif : Il propose l'EGSR comme une alternative viable au débat adversaire, prouvant que l'injection de preuves externes est la condition nécessaire pour échapper au Piège du Raisonnement.

Les auteurs concluent que le domaine doit passer de la question « L'amélioration de la réponse est-elle obtenue ? » à « Le raisonnement reste-t-il ancré dans les preuves ? » et que tout protocole de raisonnement en système fermé satisfaisant aux conditions de Markov du Théorème 1 est soumis à la même borne DPI sur la fidélité.