Open-Weight Masked Introspection: Measuring What Language Models Can Report About Their Own Computation
Cet article introduit le cadre d'introspection masquée à poids ouverts (OWMI) pour tester si les modèles de langage de pointe peuvent rapporter avec précision leurs propres changements computationnels internes, constatant que bien que l'information nécessaire existe au sein de leurs activations, les modèles actuels à poids ouverts échouent à traduire cet état interne en rapports verbaux fiables, ne performant pas mieux que le hasard.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde en évolution rapide de l'intelligence artificielle, un type particulier de confiance commence à s'installer : l'idée qu'une machine puisse regarder à l'intérieur de son propre esprit et nous dire ce qu'elle pense. À mesure que ces systèmes gagnent en complexité, les développeurs et les chercheurs en sécurité ont commencé à s'appuyer sur une pratique appelée l'auto-rapport. L'hypothèse est que si un modèle explique son raisonnement ou critique sa propre réponse, cette explication est une carte fidèle des étapes internes qu'il a suivies pour parvenir à cette conclusion. Cette croyance sous-tend de nombreuses stratégies de sécurité actuelles, comme demander à un système de vérifier son propre travail pour détecter des erreurs ou d'expliquer pourquoi il a choisi un chemin particulier. Si un modèle peut décrire avec précision son état interne, nous pourrions théoriquement utiliser son propre témoignage pour déceler les erreurs ou les dangers cachés avant qu'ils ne surviennent. Mais toute cette architecture de sécurité repose sur une prémisse unique et non prouvée : le fait que la machine sache réellement ce qui se passe dans ses propres circuits.
Un chercheur s'est proposé de tester directement cette prémisse, passant de la théorie à une expérience rigoureuse impliquant huit modèles de langage différents à poids ouverts. Il voulait savoir si ces systèmes pouvaient réellement pratiquer l'introspection, ou s'ils ne faisaient que deviner lorsqu'on les interrogeait sur leurs propres opérations. Pour le découvrir, il a construit un cadre qu'il appelle l'Introspection Masquée à Poids Ouverts (Open-Weight Masked Introspection). Le processus était simple mais invasif. Le chercheur a pris une question standard d'un test de référence, a laissé le modèle commencer son travail, puis a modifié secrètement une partie spécifique de son calcul interne. Il a pu modifier une seule connexion dans le réseau, changer la focalisation d'un mécanisme d'attention, ou ajuster une caractéristique spécifique que le modèle utilise pour comprendre le langage. Ces changements étaient réels, mesurables et connus du chercheur, mais invisibles pour le modèle lui-même.
Après avoir effectué ces ajustements internes, le chercheur a posé une question simple au modèle : quelque chose a-t-il changé dans votre calcul ? Il a mené ce test 78 000 fois sur des modèles de tailles variées, allant de petits systèmes de 0,5 milliard de paramètres à des modèles plus larges de 15 milliards de paramètres. Il a également inclus des contrôles stricts pour s'assurer que les modèles ne se contentaient pas de deviner. Il a effectué des essais « fictifs » où rien n'avait été modifié, et des essais où il a introduit un bruit aléatoire qui perturbait la sortie du modèle de la même manière que les changements réels, mais sans cibler un objet interne spécifique. Il a même utilisé une version distincte et inaltérée du modèle pour lire uniquement la sortie textuelle finale afin de voir si un observateur humain pouvait détecter la différence simplement en lisant la réponse.
Les résultats étaient clairs et cohérents. À travers tous les modèles testés, aucun d'entre eux n'a pu distinguer un changement interne réel d'un essai fictif mieux que le hasard. Lorsque le chercheur a regroupé les données de milliers d'essais, la capacité des modèles à détecter le changement était statistiquement indiscernable d'un lancer de pièce. Ils n'ont pas été plus performants lorsque le changement était réel, ni moins performants lorsque le changement était faux. Leurs réponses étaient effectivement du bruit. Cette conclusion se maintient même lorsque le chercheur a examiné différents types de composants internes, différentes couches du réseau et différents types de tâches, allant des problèmes mathématiques aux questions de culture générale. La conclusion est que, pour les modèles testés, la capacité de rendre compte de leur propre état interne n'existe pas.
Cependant, l'histoire ne s'arrête pas sur un simple échec. Le chercheur a découvert que l'information concernant le changement était en réalité présente à l'intérieur du modèle, mais pas dans les mots qu'il choisissait de prononcer. Il a utilisé un outil distinct, une sonde linéaire, pour lire les données brutes circulant à travers les couches internes du modèle. Cet outil pouvait détecter le changement avec une grande précision, atteignant souvent 95 % ou plus, prouvant que le signal était bien présent. De plus, il a pris l'un des modèles et l'a affiné spécifiquement pour qu'il signale ces changements. Ce modèle entraîné pouvait identifier les changements avec une précision quasi parfaite. Cela prouve que les modèles ne sont pas incapables de ressentir le changement ; plutôt, le chemin allant de cette perception interne à la réponse textuelle finale est rompu. L'information existe, mais le modèle ne peut pas la traduire en un rapport véridique.
Dans un cas spécifique, le chercheur a trouvé un signal subtil qui n'apparaissait pas dans les mots, mais dans la confiance attachée à ceux-ci. Un modèle donnait la même réponse à chaque fois, affirmant qu'« aucun changement n'a eu lieu », peu importe si un changement avait réellement eu lieu ou non. Pourtant, lorsque le modèle avait été altéré, il exprimait nettement moins de confiance dans cette réponse. Le modèle savait que quelque chose n'allait pas, mais il ne pouvait pas dire quoi. Cela suggère que, bien que les modèles puissent avoir un sentiment de perturbation vague et inarticulé, ils manquent de la capacité de l'articuler.
Les implications de cette découverte sont significatives pour la façon dont nous surveillons l'intelligence artificielle. Les pratiques de sécurité actuelles reposent souvent sur le propre témoignage d'un modèle, comme lui demander d'expliquer son raisonnement ou de critiquer sa production. Si le modèle ne peut pas rapporter avec précision son propre état interne, alors ces méthodes sont fondamentalement erronées. Un modèle pourrait expliquer avec assurance un processus de raisonnement qui n'a jamais réellement eu lieu, ou prétendre avoir vérifié son travail alors qu'il ne l'a pas fait. Le chercheur conclut que les systèmes de surveillance ne peuvent pas se fier à l'autodéscription d'un modèle. Au lieu de cela, ils doivent chercher d'autres moyens de vérifier le calcul, comme la lecture directe des signaux internes ou l'utilisation d'outils externes, car la propre voix du modèle n'est pas un témoin fiable de son propre esprit. L'étude n'exclut pas la possibilité que de futurs modèles plus vastes développent cette capacité, mais pour la génération actuelle de modèles à poids ouverts, la capacité d'introspection est absente.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.