🤖 AI

Quantifying Consistency in LLM Logical Reasoning via Structural Uncertainty

Cet article introduit l'« incertitude structurelle », un cadre qui quantifie la cohérence du raisonnement logique dans les grands modèles de langage en analysant la stabilité des classements de préférence de soi parmi les solutions échantillonnées, révélant que cette métrique complète la dispersion traditionnelle des réponses pour mieux identifier le raisonnement peu fiable dans les tâches déductives tout en distinguant les régimes où une telle évaluation de la cohérence est informative.

Auteurs originaux : Baishali Chaudhury, Mengdie Flora Wang, Hyunji Hayley Park, Rahul Ghosh, Sungmin Hong, Jae Oh Woo

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Baishali Chaudhury, Mengdie Flora Wang, Hyunji Hayley Park, Rahul Ghosh, Sungmin Hong, Jae Oh Woo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez à un étudiant très intelligent, mais parfois trop sûr de lui, de résoudre un problème de mathématiques difficile. Vous lui demandez d'essayer de le résoudre cinq fois différentes.

L'ancienne méthode : Compter les réponses
Traditionnellement, pour voir si l'étudiant est fiable, nous regardons simplement ses cinq réponses.

Si l'étudiant dit « 10 » cinq fois, nous pensons : « Super ! Il est cohérent. »
S'il dit « 10, 12, 9, 10, 11 », nous pensons : « Oh là là, il est confus. »

Mais il y a un problème. Et si l'étudiant se trompait à chaque fois, mais pour cinq raisons différentes ?

Réponse 1 : « 10 » (parce qu'il a oublié un signe moins).
Réponse 2 : « 10 » (parce qu'il a additionné au lieu de soustraire).
Réponse 3 : « 10 » (parce qu'il a mal lu les nombres).

Avec l'ancienne méthode, l'étudiant semble parfaitement cohérent parce que la réponse finale est toujours « 10 ». Mais le raisonnement derrière chaque réponse était un chaos total. L'ancienne méthode rate ce désordre interne.

La nouvelle méthode : Le tournoi du « Auto-Juge »
Ce document présente une nouvelle façon de vérifier l'étudiant, appelée Incertitude Structurelle. Au lieu de regarder seulement les réponses finales, nous demandons à l'étudiant d'agir comme son propre arbitre.

Voici le processus :

Générer : L'étudiant écrit cinq solutions différentes (certaines peuvent être bonnes, d'autres mauvaises).
Tournoi : Nous demandons à l'étudiant de comparer ces solutions entre elles, par paires. « La Solution A est-elle meilleure que la Solution B ? »
Classement : Nous prenons toutes ces comparaisons et construisons un classement. Qui est la « meilleure » solution ? Qui est la « pire » ?
Le rebondissement : Nous faisons ce tournoi plusieurs fois, mais nous changeons l'ordre de qui affronte qui (comme si l'on dessinait une carte de connexions aléatoire).

Les deux signaux
En observant la façon dont l'étudiant classe son propre travail, les auteurs ont découvert deux signaux distincts qui indiquent si le raisonnement est stable :

Le signal du « Flip-Flop » (Instabilité entre les essais) :
- Imaginez : Dans un tournoi, l'étudiant dit que la Solution A est la meilleure. Dans le tour suivant (avec un ensemble de matchs différent), il dit soudainement que la Solution C est la meilleure.
- Signification : L'étudiant ne sait pas réellement ce qu'est une « bonne » solution. Sa boussole interne tourne dans le vide. C'est un énorme signal d'alarme, même si les cinq réponses étaient le même nombre.
- Analogie : C'est comme un juge qui choisit le « meilleur » film dans une sélection aujourd'hui, mais qui en choisit un complètement différent demain, alors que les films n'ont pas changé. Le juge est peu fiable.
Le signal du « Tie-Breaker » (Ambiguïté au sein d'un essai) :
- Imaginez : Dans un seul tournoi, l'étudiant regarde ses cinq solutions et dit : « Elles sont toutes plutôt bonnes, je ne peux pas vraiment choisir un vainqueur. » Le classement est une ligne plate.
- Signification : C'est en fait un bon signe pour les problèmes mathématiques complexes ! Cela signifie qu'il existe plusieurs façons valides de résoudre le problème, et que l'étudiant reconnaît cette nuance. Cela montre qu'il comprend la subtilité.
- Analogie : C'est comme un critique gastronomique qui dit : « Ces cinq pizzas sont toutes excellentes, je ne peux pas en choisir une seule. » C'est le signe d'un palais sophistiqué, pas de la confusion.

La « Bibliothèque » vs La « Classe de Mathématiques »
Le document a découvert que cette nouvelle méthode fonctionne différemment selon le type de tâche :

En Mathématiques/Logique (La « Classe de Mathématiques ») : La méthode excelle. Si l'étudiant est confus, ses classements font des « flip-flops » sauvages. S'il est intelligent, il peut distinguer les bons des mauvais chemins.
Dans la Vérification des Faits (La « Bibliothèque ») : La méthode se heurte à un mur. Imaginez demander à l'étudiant de trouver un fait précis dans une bibliothèque de livres. Si les livres ne contiennent pas la réponse, l'étudiant dira « Je ne sais pas » à chaque fois.
- Parce que la réponse est « Je ne sais pas », le classement interne de l'étudiant devient une ligne parfaitement plate (tout le monde est à égalité pour la dernière place).
- Le document appelle cela un « Effondrement ». Le signal disparaît. La méthode réalise : « Oh, ce n'est pas un problème de raisonnement ; c'est un problème de récupération d'information. » Dans ces cas, l'ancienne méthode (vérifier simplement si les réponses diffèrent) est en fait meilleure.

L'essentiel à retenir
Ce document ne se contente pas de demander : « L'IA a-t-elle la bonne réponse ? » ou « A-t-elle donné la même réponse cinq fois ? »

Au lieu de cela, il demande : « L'IA possède-t-elle une manière stable et cohérente de juger son propre travail ? »

Si les classements internes de l'IA sont fragiles et instables, elle raisonne probablement mal, même si la réponse finale semble correcte.
Si les classements de l'IA sont stables, elle raisonne probablement bien.
Si les classements de l'IA s'effondrent en une égalité plate, il peut s'agir d'une tâche où le raisonnement n'a pas d'importance (comme chercher un fait qui n'existe pas).

Cela nous aide à repérer les échecs qui « ont l'air intelligents » : des moments où l'IA est sûre d'elle mais incohérente à l'intérieur, un problème que les anciennes méthodes ignoraient complètement.

Résumé technique : Quantifier la cohérence du raisonnement logique des LLM via l'incertitude structurelle

Énoncé du problème

Les grands modèles de langage (LLM) présentent fréquemment un mode d'échec dans le raisonnement déductif multi-étapes où ils parviennent à la même conclusion incorrecte via différents chemins de raisonnement internes qui sont pourtant erronés. Les méthodes d'évaluation post-hoc existantes évaluent principalement la fiabilité par la dispersion des sorties (mesurant la variation sémantique ou l'entropie des réponses échantillonnées). Bien qu'utile, cette approche néglige un signal complémentaire crucial : la cohérence structurelle des préférences internes du modèle parmi les candidats de raisonnement concurrents.

Les méthodes basées sur la dispersion échouent à détecter un raisonnement « systématique mais intrinsèquement instable ». Par exemple, si un modèle génère cinq candidats qui s'accordent tous sur une mauvaise réponse, les métriques basées sur la dispersion rapportent une incertitude faible (entropie nulle), masquant le fait que le classement interne du modèle de ces candidats peut être hautement instable. Ce document traite de la nécessité d'un cadre d'évaluation qui mesure non seulement quelles réponses diffèrent, mais aussi à quel point le modèle classe de manière cohérente les solutions de raisonnement concurrentes pour une requête donnée.

Méthodologie : Cadre d'incertitude structurelle

Les auteurs proposent l'Incertitude Structurelle, un cadre d'évaluation sensible à la cohérence qui quantifie la stabilité des classements induits par l'auto-préférence sur les solutions de raisonnement échantillonnées. Le cadre fonctionne dans un environnement totalement "boîte noire" sans nécessiter l'accès aux composants internes du modèle (logits ou états cachés).

1. Aperçu du pipeline

Étant donné une requête $x$ :

Génération de candidats : Le modèle génère $N$ solutions de raisonnement candidates diverses ( $N=5$ ) en utilisant un décodage stochastique et des modèles de prompts distincts (ex: étape par étape, réflexion à voix haute, socratique, décomposition, analogique).
Élicitation de l'auto-préférence : Le même modèle agit comme juge pour déterminer les préférences par paires parmi ses propres sorties. Pour réduire le coût computationnel de $O(N^2)$ à $O(N)$ , les auteurs échantillonnent un arbre couvrant aléatoire uniforme sur les $N$ candidats pour chaque essai, ne questionnant que les $N-1$ arêtes.
Agrégation des préférences :
- Modélisation Bradley-Terry : Les jugements par paires sont modélisés à l'aide du cadre Bradley-Terry (BT) avec une régularisation $L_2$ pour inférer les utilités latentes $\theta_i$ de chaque candidat.
- Normalisation PageRank : Les probabilités de victoire par paires inférées sont converties en une matrice de transition, et la distribution stationnaire (score PageRank $\pi$ ) est calculée pour produire une distribution de classement global pour cet essai.
- Vérification de robustesse : Une variante de TrueSkill (évaluation de compétence bayésienne avec mises à jour pondérées par la confiance) est également implémentée, produisant des résultats très similaires.
Décomposition de l'incertitude : Le processus est répété pour $M$ $M$ essais indépendants (échantillons d'arbres couvrants). L'ensemble des distributions de classement résultantes $\{\pi^{(m)}\}_{m=1}^M$ ${π^{(m)}}_{m = 1}^{M}$ est décomposé en deux composantes basées sur l'entropie :
- Ambiguïté des candidats au sein de l'essai ( $StructU_{within}$ ) : L'entropie moyenne de la distribution de classement au sein d'un seul essai. Des valeurs élevées indiquent que le modèle ne peut pas distinguer les candidats avec assurance, même au sein d'un ensemble de comparaison unique.
- Instabilité du classement entre les essais ( $StructU_{across}$ ) : La différence entre l'entropie totale du classement moyen et l'entropie moyenne au sein des essais. Des valeurs élevées indiquent que le classement préféré du modèle fluctue considérablement selon l'ensemble spécifique de comparaisons (arbre couvrant) échantillonné.

2. Intégration avec l'auto-cohérence (Self-Consistency)

Le cadre combine l'incertitude structurelle avec l'incertitude d'auto-cohérence standard (entropie de la distribution des réponses). Les auteurs proposent une règle de fusion empirique fixe :

$StructU_{across}$ est corrélé négativement avec la précision (l'instabilité $\to$ l'échec), il est donc ajouté à l'entropie de l'auto-cohérence.
$StructU_{within}$ est corrélé positivement avec la précision sur les tâches de raisonnement (ambiguïté parmi des chemins plausibles), il est donc soustrait de l'entropie de l'auto-cohérence.

Contributions clés

Un cadre de cohérence post-hoc : Une méthode agnostique au modèle pour quantifier la cohérence du raisonnement via la stabilité des classements d'auto-préférence, fournissant un signal complémentaire à la dispersion des sorties.
Décomposition structurelle : La décomposition de l'incertitude en instabilité entre les essais (signalant un raisonnement peu fiable) et ambiguïté au sein de l'essai (signalant des chemins plausibles compétitifs), dérivée via Bradley-Terry/TrueSkill et PageRank.
Analyse de régime : Une caractérisation des moments où les signaux structurels sont informatifs ou lorsqu'ils s'effondrent. Le document identifie une « limite de régime » où l'évaluation de la cohérence au niveau du raisonnement devient peu informative.

Résultats expérimentaux

Le cadre a été évalué sur cinq LLM (incluant Claude 4.5 Sonnet, DeepSeek R1, GPT-OSS 20B, Amazon Nova Premier, Qwen 3 32B) et huit benchmarks (Math-Synth, MATH-500, AMC-23, AIME-24/25, MMLU-Pro, TruthfulQA, HotpotQA).

1. Complémentarité sur les tâches de raisonnement

Sur les benchmarks de raisonnement mathématique et logique (ex: Math-Synth, MATH-500, AMC-23), la combinaison de l'incertitude structurelle avec l'auto-cohérence améliore considérablement l'identification des instances de raisonnement peu fiables (mesurée par l'AUC et l'AUROC de prédiction sélective).

Gains de performance : L'estimateur hybride ($StructU + SelfConsU$) a obtenu la meilleure ou la deuxième meilleure performance sur la plupart des tâches de raisonnement, avec des gains allant jusqu'à +13,4 % pour les modèles plus faibles sur des problèmes de concours difficiles.
Corrélation avec la précision :
- L'instabilité entre les essais a montré une forte corrélation négative avec la justesse (l'instabilité signale l'échec).
- L'ambiguïté au sein de l'essai a montré une corrélation positive avec la justesse sur les tâches mathématiques, ce qui est cohérent avec les scénarios où plusieurs chemins de solution valides existent.

2. Effondrement sur les tâches de recherche d'information (Retrieval)

Sur les tâches de recherche factuelle (spécifiquement HotpotQA), le signal structurel s'est effondré.

Observation : Les questions correctes comme incorrectes présentaient une incertitude entre les essais proche de zéro et une incertitude au sein de l'essai proche du maximum (distributions PageRank uniformes).
Mécanisme : La recherche factuelle sur des documents fixes suscite des chaînes de raisonnement structurellement homogènes, quel que soit le modèle de prompt utilisé. Les jugements d'auto-préférence du modèle deviennent indiscernables (pile ou face), rendant le signal structurel non informatif.
Implication : Dans ce régime, les méthodes basées sur la dispersion (comme l'auto-cohérence ou la dispersion sémantique) surpassent l'approche structurelle. Cet effondrement lui-même sert de signature diagnostique indiquant l'absence de diversité structurelle au niveau du raisonnement.

3. Ablation et validation

Randomisation : Le remplacement des auto-préférences réelles par des comparaisons aléatoires a fait chuter l'AUROC à un niveau proche du hasard, confirmant que le signal repose sur de véritables préférences du modèle et non sur des artefacts du pipeline.
Robustesse du backend : Les backends Bradley-Terry et TrueSkill ont produit des classements cohérents ( $\rho > 0,95$ ), validant la décomposition comme une propriété de la distribution de classement plutôt que comme un choix spécifique de modèle.

Signification et revendications

Le document affirme que l'Incertitude Structurelle doit être comprise non pas comme un estimateur de confiance universel, mais comme un évaluateur sensible au régime de la cohérence du raisonnement logique.

Recadrage de l'évaluation : Elle déplace la question de « À quel point les réponses diffèrent-elles ? » (dispersion) vers « De manière aussi cohérente que possible, le modèle classe-t-il les solutions de raisonnement concurrentes ? » (structure).
Utilité diagnostique : Le cadre fournit un diagnostic pratique pour les utilisateurs. La « signature HotpotQA » (incertitude entre les essais proche de zéro + entropie élevée au sein de l'essai) indique un régime de tâche où l'évaluation de la cohérence du raisonnement est futile, suggérant de passer à des méthodes basées sur la dispersion.
Limites : Les auteurs notent modestement que la méthode augmente le coût d'inférence ( $N \times M$ comparaisons) et que les auto-préférences héritent de biais propres au modèle. La décomposition est empirique et observable sous un protocole fixe, et non une identification fondamentale de l'incertitude des données sous-jacentes. La méthode est plus efficace lorsque les réponses diffèrent en qualité de raisonnement ; elle échoue lorsque la variation est purement stylistique ou lorsque la structure de la tâche (ex: recherche déterministe) supprime la diversité du raisonnement.

En conclusion, le document démontre que mesurer la stabilité de l'ordre de préférence interne d'un modèle sur ses propres sorties fournit une vue complémentaire et critique de la fiabilité du raisonnement, particulièrement pour détecter les erreurs systématiques que l'accord au niveau de la réponse seule ne peut révéler.