Diagnosing Correctness Probes under Self-Judgement Confounding
Cet article démontre que les lectures d'états cachés dans les modèles de langage capturent souvent l'auto-jugement du modèle plutôt que la correction objective, comme en témoigne la transférabilité trans-domaine supérieure des directions associées à l'auto-jugement par rapport à celles associées à la correction réelle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de déterminer si un robot dit la vérité. Vous lui posez une question, il donne une réponse, et vous devez ensuite décider : la réponse est-elle réellement correcte, ou le robot est-il simplement convaincu qu'elle l'est ? C'est le cœur d'un nouveau domaine scientifique appelé « interprétabilité mécaniste », où les chercheurs tentent de jeter un coup d'œil à l'intérieur du « cerveau » des grands modèles de langage (LLM) pour voir ce qu'ils pensent réellement. Ces modèles sont comme de gigantesques oracles numériques capables d'écrire des poèmes, de résoudre des problèmes mathématiques et de discuter d'histoire, mais ils inventent parfois des faits (un problème connu sous le nom d'« hallucination »). Les scientifiques ont découvert que si l'on observe les signaux électriques internes du modèle (appelés « états cachés ») au moment précis où il termine une réponse, on peut souvent prédire si cette réponse est juste ou fausse. C'est comme avoir un détecteur de mensonges intégré dans l'esprit du robot. Mais voici la partie délicate : généralement, lorsqu'un robot donne une mauvaise réponse, il pense aussi qu'il se trompe. Et lorsqu'il donne une bonne réponse, il pense généralement qu'il a raison. Parce que le « signal de vérité » interne du robot et son « signal d'auto-confiance » concordent généralement, il a été difficile de dire si le robot détecte réellement la vérité ou s'il détecte simplement sa propre opinion.
Cet article, intitulé « Diagnosing Correctness Probes under Self-Judgement Confounding », s'attaque précisément à cette confusion. Les chercheurs, dirigés par Yi-Long Lu, ont décidé de construire un test spécial où la « vérité » du robot et son « auto-confiance » sont en désaccord. Ils ont créé des scénarios où le modèle donne une réponse mathématiquement correcte mais déclare ensuite : « Non, c'est faux », ainsi que des scénarios où il donne une mauvaise réponse mais dit : « Oui, c'est juste ». En forçant ces deux signaux à s'affronter, ils ont enfin pu voir quel signal était réellement capté par le « détecteur de mensonges » à l'intérieur du modèle.
L'équipe a testé cela sur quatre grands modèles de langage, allant de 7 à 14 milliards de paramètres (considérez cela comme le nombre de connexions dans le cerveau du robot). Ils ont utilisé une méthode ingénieuse appelée « contrastes factoriels », qui revient à séparer un smoothie mélangé en ses fruits et lait d'origine pour voir quel est le goût de chaque composant. Ils ont découvert que, bien que les signaux internes contiennent des informations sur la vérité et la confiance, la composante la plus transférable de manière fiable était celle préservant la polarité du jugement de soi du robot, et non la correction objective.
Voici le rebondissement surprenant : lorsque les chercheurs ont examiné le signal interne d'un robot qui donnait une mauvaise réponse mais pensait avoir raison, le « détecteur de mensonges » lui attribuait un score élevé, tout comme il le ferait pour une réponse correcte. Inversement, lorsqu'un robot donnait une réponse correcte mais pensait qu'elle était fausse, le détecteur lui attribuait un score faible. En fait, à travers tous les modèles et tests qu'ils ont menés — incluant des problèmes mathématiques, des quiz sur des films et des connaissances générales — le signal interne qui voyageait le mieux d'un type de question à un autre était celui qui suivait la confiance du robot, et non la vérité réelle.
L'article note explicitement que, bien que les « signaux de vérité » que nous voyons dans ces modèles puissent être des mesures objectives de la correction factuelle, les preuves montrent que la transférabilité seule n'établit pas de sémantique de correction objective. Même lorsque les chercheurs ont essayé de construire un détecteur en utilisant uniquement les étiquettes « correct/incorrect » et en ignorant totalement le jugement de soi du robot, le détecteur finissait quand même par suivre la confiance du robot. Cela suggère que la « vérité » que nous voyons dans ces modèles est peut-être davantage liée à la façon dont le modèle perçoit sa propre production qu'aux faits réels. Les auteurs concluent que le fait qu'un signal puisse être transféré d'une tâche à une autre ne signifie pas qu'il représente la vérité ; il peut simplement représenter l'opinion du modèle. Ainsi, bien que nous puissions jeter un coup d'œil à l'intérieur du cerveau du robot pour voir s'il est confiant, nous ne pouvons pas encore être certains que cette confiance signifie qu'il dit la vérité. L'étude suggère que la chose la plus fiable que l'on puisse lire dans ces modèles est leur propre auto-évaluation, et non une vérification de la réalité objective.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.