💬 NLP

Masked by Consensus: Disentangling Privileged Knowledge in LLM Correctness

Cet article examine si les grands modèles de langage possèdent une connaissance interne privilégiée concernant la justesse des réponses, révélant que si les auto-représentations n'offrent aucun avantage sur les benchmarks standards en raison d'un fort accord inter-modèle, elles procurent néanmoins un avantage spécifique au domaine dans les tâches factuelles par rapport aux modèles pairs lorsqu'elles sont évaluées sur des sous-ensembles de désaccord, contrairement au raisonnement mathématique.

Auteurs originaux : Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

Publié 2026-04-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tomer Ashuach, Liat Ein-Dor, Shai Gretz, Yoav Katz, Yonatan Belinkov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner si la réponse d'un élève à un examen est correcte. Vous avez deux façons de faire cela :

L'Observateur extérieur : Vous examinez la réponse écrite de l'élève et la question elle-même.
L'Observateur intérieur : Vous jetez un coup d'œil dans le cerveau de l'élève (ses pensées cachées) pendant qu'il réfléchit.

Pendant longtemps, les chercheurs se sont demandé : L'élève possède-t-il une sorte de « sentiment intuitif » secret dans son cerveau qui lui indique s'il a raison, et que l'observateur extérieur ne peut pas voir ? Ce sentiment secret est appelé « connaissance privilégiée ».

Ce papier enquête sur la question de savoir si les grands modèles de langage (LLM) — les cerveaux d'IA derrière les chatbots — possèdent ce type de connaissance interne secrète concernant leurs propres réponses.

Le Problème : Le « Masque du Consensus »

Les chercheurs ont découvert un problème épineux dans les études précédentes. Imaginez une classe où 90 % des élèves sont d'accord sur la réponse à chaque question. Si vous êtes un observateur extérieur essayant de deviner si l'Élève A a raison, vous pouvez simplement regarder ce que l'Élève B a écrit. Puisqu'ils sont généralement d'accord, vous pouvez deviner le résultat de l'Élève A en regardant simplement le cerveau de l'Élève B.

Comme les modèles sont d'accord si souvent, la vue de l'« observateur extérieur » semble tout aussi bonne que celle de l'« observateur intérieur ». C'était comme si le signal interne secret était masqué par le consensus. Les chercheurs ont réalisé que si tout le monde est d'accord, vous ne pouvez pas dire si le signal secret existe réellement.

La Solution : Le Test de « Désaccord »

Pour résoudre ce problème, les chercheurs ont créé un test spécial utilisant uniquement les questions sur lesquelles les modèles étaient en désaccord.

Scénario : Le Modèle A pense que la réponse est « Oui ». Le Modèle B pense que la réponse est « Non ».
Le Test : Dans ces cas délicats, le cerveau du Modèle B ne peut pas vous aider à deviner le résultat du Modèle A. Si vous pouvez toujours deviner la justesse du Modèle A mieux en regardant à l'intérieur du cerveau du Modèle A qu'en regardant le cerveau du Modèle B, alors le Modèle A possède vraiment un signal interne secret.

La Grande Découverte : Cela Dépend du Sujet

Lorsqu'ils ont appliqué ce « test de désaccord », ils ont découvert une répartition surprenante entre deux types de tâches :

1. Connaissances Factuelles (Le Test de la « Mémoire »)

Exemples : « Qui a été le premier président ? » ou « Quelle est la capitale de la France ? »
Résultat : Oui, le signal secret existe.
L'Analogie : Pensez-y comme à un bibliothécaire. Lorsqu'un bibliothécaire retire un livre spécifique d'une étagère, il a un sentiment interne unique de « Je connais ce fait ». Même si un autre bibliothécaire est en désaccord, l'état interne du premier bibliothécaire détient un signal spécial qui dit : « Je récupère ce souvenir spécifique ». Les chercheurs ont constaté que les ondes cérébrales internes de l'IA montraient un avantage clair pour prédire la justesse de ces faits, quelque chose que les observateurs extérieurs ne pouvaient pas voir.

2. Raisonnement Mathématique (Le Test de la « Logique »)

Exemples : Résoudre un problème d'algèbre complexe ou un problème de mots sur des comptes d'épargne.
Résultat : Non, le signal secret est absent.
L'Analogie : Pensez-y comme à un mécanicien réparant une voiture. Si deux mécaniciens examinent le même moteur en panne, la difficulté réside dans la structure du moteur, et non dans un souvenir secret. L'IA n'a pas de sentiment spécial de « Je sais que j'ai raison » concernant les mathématiques. Les indices qui vous disent si les mathématiques sont justes sont tous visibles en surface (la question et les étapes de logique). Un observateur extérieur examinant le problème peut prédire le succès de l'IA tout aussi bien que l'IA elle-même ne peut le prédire.

Où se Cache le Signal Secret ?

Les chercheurs ont également examiné où, dans le « cerveau » de l'IA (ses couches de traitement), ce signal secret apparaît.

Pour les faits : Le signal commence petit dans les premières couches (où l'IA lit les mots) et devient plus fort à mesure que l'information pénètre plus profondément dans le cerveau. C'est comme un processus de récupération de mémoire qui se renforce à mesure que l'IA y réfléchit.
Pour les mathématiques : Le signal n'apparaît jamais vraiment. La « difficulté » du problème mathématique est visible à chaque couche unique, du début à la fin.

Résumé

Le papier conclut que les modèles d'IA ont une connaissance privilégiée, mais uniquement pour les faits qu'ils ont mémorisés. Ils savent quand ils récupèrent un souvenir. Cependant, ils n'ont pas cette connaissance secrète pour les mathématiques ou la logique ; dans ces cas, leur confiance est tout aussi visible pour le monde extérieur que pour eux-mêmes.

La raison pour laquelle les études précédentes avaient manqué cela est que les modèles étaient d'accord trop souvent, cachant la différence entre « connaître un fait » et « résoudre un problème ». En ne regardant que les moments où ils étaient en désaccord, les chercheurs ont enfin découvert la vérité.

1. Problématique et Contexte

La question centrale de cet article est de savoir si les grands modèles de langage (LLM) possèdent une connaissance privilégiée (privileged knowledge) concernant la justesse de leurs propres réponses. En d'autres termes, les états internes d'un modèle contiennent-ils des signaux spécifiques indiquant si sa réponse sera correcte, signaux qui seraient inaccessibles à un observateur externe (un autre modèle) ?

Contexte théorique : Inspiré par le concept philosophique de "privilège épistémique", où un agent a un accès spécial à ses propres états internes.
État de l'art contradictoire :
- Certaines études suggèrent que les LLMs peuvent prédire leur propre justesse via des sondes (probes) linéaires sur leurs états cachés.
- D'autres travaux récents (Chi et al., Seo et al., Xiao et al.) remettent en cause cette idée, suggérant que les sondes détectent simplement des motifs de récupération ou des caractéristiques publiques de la question, et que des modèles externes peuvent prédire la justesse aussi bien que le modèle lui-même.
Hypothèse de l'article : Les conclusions précédentes niant l'existence de connaissances privilégiées pourraient être prématurées en raison d'un facteur de confusion critique : le consensus inter-modèle. Si les modèles s'accordent souvent sur la justesse d'une réponse, un modèle externe peut utiliser ses propres motifs de justesse comme proxy pour prédire la justesse du modèle cible, masquant ainsi l'absence ou la présence de signaux internes uniques.

2. Méthodologie

Les auteurs proposent un cadre expérimental rigoureux pour isoler les signaux internes uniques des modèles.

A. Définition de la Connaissance Privilegiée

L'état caché $h$ d'un modèle est décomposé en deux composantes latentes :

$z_{public}$ : Caractéristiques inhérentes à la question (domaine, types d'entités) accessibles à tout modèle.
$z_{private}$ : États internes spécifiques au modèle (succès de la récupération de mémoire, confiance dans le raisonnement). C'est cette composante qui constitue la "connaissance privilégiée".

B. Configuration des Sondes (Probes)

Pour tester l'existence de $z_{private}$ , les auteurs entraînent des classificateurs (sondes) pour prédire la justesse ( $y \in \{0, 1\}$ ) d'une réponse :

Self-Probe (Auto-sonde) : Entraînée sur les représentations internes du modèle cible ( $M_{target}$ ) pour prédire sa propre justesse.
External-Probe (Sonde externe) : Entraînée sur les représentations d'un modèle différent ( $M_{source}$ $M_{so u r ce}$ ) pour prédire la justesse du modèle cible.
- Cross-Model : Utilise un LLM de taille comparable.
- Embedding-Model : Utilise un modèle d'encodage (embedding).

C. La Métrique : Le "Premium Gap"

Le Premium Gap est défini comme l'avantage de performance (mesuré par l'AUC) d'une Self-Probe par rapport à la meilleure External-Probe.

Si le gap est nul, cela suggère que la justesse est entièrement prévisible via des caractéristiques publiques ( $z_{public}$ ).
Si le gap est positif et significatif, cela indique l'existence de connaissances privilégiées ( $z_{private}$ ).

D. L'Innovation Clé : Les Sous-ensembles de Désaccord (Disagreement Subsets)

Pour éliminer le biais du consensus, les auteurs ne testent pas sur l'ensemble des données aléatoires, mais se concentrent sur les sous-ensembles de désaccord.

Définition : Un ensemble de questions où le modèle cible et le modèle source produisent des étiquettes de justesse opposées (l'un a raison, l'autre a tort).
Raison : Dans ces cas, le modèle externe ne peut pas utiliser ses propres motifs de justesse comme proxy pour le modèle cible. Si une Self-Probe surpasse encore une External-Probe sur ce sous-ensemble, c'est une preuve directe de connaissances privilégiées.

E. Configuration Expérimentale

Modèles : Trois LLMs de taille similaire (Qwen-2.5-7B, Llama-3.1-8B, Gemma-2-9B) et un modèle plus grand (Qwen-3-32B) pour la scalabilité.
Données : Cinq jeux de données couvrant deux domaines :
- Connaissances factuelles : Mintaka, TriviaQA, HotPotQA.
- Raisonnement mathématique : GSM1K, MATH.
Méthode : Sondes linéaires (régression logistique) et non-linéaires (MLP) sur les états cachés (tous les 5ème couches + dernière couche).

3. Résultats Principaux

A. Absence de Premium Gap sur les Ensembles de Données Standards

Sur les ensembles de test complets (aléatoires), les auteurs confirment que le Premium Gap est nul ou négligeable.

Les sondes externes (notamment celles basées sur Gemma) égalent ou surpassent les sondes internes.
Cela s'explique par un taux d'accord inter-modèle élevé (~80% pour les faits, ~75% pour les maths), permettant aux sondes externes d'exploiter les motifs de justesse partagés.

B. Émergence de Connaissances Privilegiées Spécifiques au Domaine

Lors de l'évaluation sur les sous-ensembles de désaccord, les résultats divergent radicalement selon le domaine :

Connaissances Factuelles (TriviaQA, Mintaka, HotPotQA) :
- Un Premium Gap statistiquement significatif (environ 5%) émerge.
- Les Self-Probes surpassent systématiquement les External-Probes.
- Conclusion : Les modèles possèdent une connaissance privilégiée sur la justesse de leurs réponses factuelles, inaccessible aux observateurs externes.
Raisonnement Mathématique (MATH, GSM1K) :
- Aucun Premium Gap n'est observé, même sur les sous-ensembles de désaccord.
- Les sondes externes égalent ou surpassent les sondes internes.
- Conclusion : La justesse en raisonnement mathématique ne repose pas sur des signaux internes privilégiés, mais sur des caractéristiques structurelles de la question accessibles à tous les modèles.

C. Localisation Temporelle (Analyse par Couches)

Les auteurs analysent à quelle profondeur du réseau ces signaux apparaissent :

Factuel : Le Premium Gap est proche de zéro dans les premières couches et croît progressivement à partir des couches moyennes (vers la couche 10-15) jusqu'aux couches profondes. Cela suggère que la connaissance privilégiée est liée à la récupération de mémoire qui s'accumule au cours du passage avant (forward pass).
Mathématique : Aucune tendance cohérente n'est observée ; le gap reste nul ou négatif à toutes les profondeurs.

D. Analyse des Sources de Signal (Expérience "Lexical-Only")

En retirant la syntaxe et ne gardant que les entités nommées et les noms :

La prédiction de justesse pour les tâches factuelles et MATH reste forte, suggérant que la familiarité avec les concepts est un facteur clé.
Pour GSM1K, la performance chute au niveau du hasard, indiquant que la justesse mathématique dépend de la structure computationnelle du problème, et non des tokens de surface.

4. Contributions Clés

Identification d'un Facteur de Confusion Majeur : Démontre que le consensus inter-modèle masque l'existence potentielle de connaissances privilégiées dans les évaluations standards.
Méthodologie de Désaccord : Introduit l'évaluation sur les sous-ensembles de désaccord comme méthode standard pour isoler les signaux internes uniques des modèles.
Asymétrie de Domaine : Établit que la connaissance privilégiée n'est pas une propriété universelle des LLMs, mais spécifique au domaine : elle existe pour la récupération de faits, mais absente pour le raisonnement mathématique complexe.
Localisation Architecturale : Cartographie l'émergence progressive de ces signaux dans les couches moyennes et profondes des modèles pour les tâches factuelles.

5. Signification et Implications

Réconciliation des travaux antérieurs : Cet article résout le conflit entre les études affirmant que les LLMs "savent" s'ils ont raison et celles qui disent le contraire. La vérité est nuancée : ils ont un accès privilégié à la justesse factuelle, mais pas au raisonnement.
Détection d'Hallucinations : Les résultats suggèrent que les activations spécifiques à un modèle peuvent contenir des signaux de détection d'erreurs (hallucinations) que les outils "boîte noire" externes ne peuvent pas voir, particulièrement dans les tâches de connaissances.
Limites de l'Introspection : La capacité d'un modèle à s'auto-évaluer dépend de la nature de la tâche. Pour les tâches de raisonnement, l'auto-évaluation via des signaux internes n'offre pas d'avantage par rapport à une analyse externe.
Futur : Ouverture vers des expériences d'intervention (activation steering) pour manipuler ces signaux de justesse et améliorer la fiabilité des modèles.

En résumé, l'article démontre que les LLMs possèdent bien une forme de "conscience" de leur propre justesse, mais que cette capacité est masquée par le consensus dans les évaluations standards et limitée aux tâches de mémoire factuelle, ne s'étendant pas au raisonnement logique complexe.