Early-Token Confidence Predicts Reasoning Quality in Multi-Agent LLM Debate

Résumé Technique : La confiance des premiers jetons prédit la qualité du raisonnement dans les débats multi-agents de LLM

Énoncé du problème
Évaluer la qualité du raisonnement des systèmes de modèles de langage de grande taille (LLM) multi-agents est intrinsèquement difficile, particulièrement pour les tâches ouvertes comme la notation automatisée de dissertations où les réponses de référence sont indisponibles. Bien que les paradigmes de type « LLM-as-judge » (le LLM en tant que juge) offrent une alternative évolutive à l'évaluation humaine, ils ne fournissent que des signaux externes de qualité. Une question critique demeure : dans quelle mesure ces jugements externes reflètent-ils la fiabilité réelle du processus de raisonnement sous-jacent ? Plus précisément, les signaux intrinsèques générés lors du processus de décodage — tels que les log-probabilités au niveau du jeton (token) — peuvent-ils servir de prédicteurs fiables de la qualité du raisonnement dans les débats multi-agents ?

Méthodologie
Les auteurs proposent un cadre qui couple une architecture de débat multi-agents avec un module de méta-évaluation par LLM-as-judge afin d'étudier la corrélation entre la confiance intrinsèque et la qualité du raisonnement.

• Cadre de débat : Le système utilise deux agents spécialisés, un Avocat (Advocate) et un Sceptique (Skeptic), qui génèrent des arguments opposés concernant un trait spécifique d'un rubriquage pour une dissertation donnée. L'Avocat souligne les points forts, tandis que le Sceptique identifie les limites. Les deux agents génèrent des réponses conditionnées par la dissertation et le rubriquage, produisant simultanément des log-probabilités par jeton ($\ell_t$) qui servent de signaux de confiance intrinsèques.
• Extraction du signal de confiance : Plutôt que de résumer l'ensemble de la génération, les auteurs analysent les trajectoires de log-probabilité en utilisant une segmentation par fenêtres. Ils extraient des sous-séquences contiguës du début ($W_{first}$) et de la fin ($W_{last}$) des réponses, en calculant des statistiques telles que la moyenne, la médiane, la variance, l'étendue et la pente de la trajectoire.
• Méta-évaluation : Un LLM distinct (agissant en tant que juge) évalue la qualité du raisonnement des arguments de l'Avocat et du Sceptique selon trois dimensions : le Respect des instructions (Instruction Following), la Qualité de la justification (Justification Quality) et l'Ancrage dans les preuves (Evidence Grounding). Ces dimensions sont notées sur une échelle ordinale de 3 points. Un score composite ($Q$) est dérivé, lourdement pénalisé si un « problème critique » (ex: hallucination, violation de rôle) est détecté.
• Jeu de données : L'étude est menée sur deux sous-ensembles du jeu de données ASAP (Automated Student Assessment Prize) (Ensembles d'essais 7 et 8), qui fournissent des annotations humaines par trait, essentielles pour une analyse fine du raisonnement.

Résultats clés
Les expériences révèlent plusieurs modèles cohérents concernant la relation entre la confiance au niveau du jeton et la qualité du raisonnement :

1. Dominance des premiers jetons : Les signaux de confiance de la phase de génération initiale sont systématiquement les prédicteurs les plus forts de la qualité du raisonnement. Plus précisément, les mesures de dispersion (ex: étendue, écart-type) des 3 à 5 premiers jetons surpassent les statistiques de la séquence complète. Cela est vrai pour les deux ensembles de données et pour les deux rôles d'agents, bien que les caractéristiques optimales spécifiques varient légèrement d'un ensemble à l'autre.
2. Hétérogénéité de la trajectoire : L'analyse des trajectoires de log-probabilité montre que la phase d'ouverture de la génération est la région la plus hétérogène. Les réponses présentent une grande variabilité de confiance immédiatement après le début de la génération, puis se stabilisent en un plateau à mesure que la structure de la réponse s'établit. Les caractéristiques de dispersion de la fenêtre initiale capturent cette région de différenciation maximale entre un raisonnement de haute et de basse qualité.
3. Asymétrie de rôle : Une asymétrie systématique existe entre les rôles d'Avocat et de Sceptique. Les signaux de confiance sont plus fortement corrélés à la qualité du raisonnement de soutien (Avocat) qu'au raisonnement critique (Sceptique).
   • Avocat : Les erreurs ont tendance à être continues (ex: exagération des preuves), entraînant une distribution plus large des scores et une corrélation plus forte avec les signaux de confiance.
   • Sceptique : Les erreurs sont souvent binaires et procédurales (ex: violation des instructions concernant l'anonymisation des marqueurs), entraînant une compression de la variabilité des scores et une corrélation plus faible avec les signaux de confiance.
4. Détection des défaillances critiques : Les signaux des premiers jetons sont efficaces pour détecter les défaillances graves du raisonnement (hallucinations, incohérence). Pour l'Avocat, les anomalies précoces des jetons (ex: log-probabilité maximale des 3 premiers jetons) produisent des scores AUROC élevés (0,85 pour le Set 7), tandis que la performance de détection du Sceptique est plus faible (0,63) en raison de la nature de ses échecs procéduraux.

Signification et affirmations
L'article affirme que la dynamique de décodage initiale fournit un signal léger et efficace pour estimer la fiabilité du raisonnement dans les systèmes de LLM multi-agents. Les conclusions suggèrent que la phase initiale de génération est la plus informative pour évaluer si un agent suit un chemin de raisonnement cohérent et ancré dans des preuves.

Les auteurs positionnent ce travail comme une étude exploratoire démontrant que les proxys de confiance intrinsèque peuvent compléter les évaluations externes par LLM-as-judge. Ils soulignent que ces signaux doivent être interprétés comme des indicateurs auxiliaires utiles plutôt que comme des mesures déterministes de qualité. L'étude met en évidence l'importance de prendre en compte les rôles des agents et les modes de défaillance lors de la conception de métriques de fiabilité basées sur la confiance, notant que le pouvoir prédictif de ces signaux dépend de la nature spécifique de la tâche de raisonnement (soutien vs adversaire).

Limites
Les auteurs reconnaissent que les résultats sont basés sur une seule famille de modèles (GPT-4o-mini/GPT-5-mini) et deux ensembles d'essais spécifiques. Ils notent que les corrélations observées sont modérées et non déterministes, et que le recours à l'évaluation par LLM-as-judge introduit des biais d'alignement potentiels. Des travaux futurs sont suggérés pour inclure des expériences plus larges trans-domaines, une validation humaine et des tests sur diverses familles de modèles.