Quantifying Logical Consistency in Transformers via Query-Key Alignment

Les modèles de langage de grande taille sont devenus remarquablement habiles pour imiter la conversation humaine, écrire de la poésie et résumer des textes complexes. Ils y parviennent en prédisant le mot suivant dans une phrase en se basant sur de vastes quantités de données d'entraînement. Cependant, lorsqu'on leur demande de résoudre une énigme logique à plusieurs étapes, ces systèmes trébuchent souvent. Ils peuvent générer une chaîne de raisonnement convaincante qui mène à une conclusion totalement erronée, ou ils peuvent être distraits par des détails non pertinents dans l'énoncé. Bien que les chercheurs aient trouvé des moyens de pousser ces modèles à de meilleures performances en leur demandant de « réfléchir étape par étape », un problème fondamental demeure : les modèles eux-mêmes n'ont pas de moyen intégré pour vérifier si leur propre raisonnement est réellement cohérent. Ils peuvent produire un chemin logique apparent sans véritablement comprendre si les étapes se connectent correctement.

Cette incertitude crée un angle mort dans l'intelligence artificielle. Nous pouvons voir la réponse finale donnée par un modèle, mais nous ne pouvons pas facilement voir les signaux internes qui indiquent si le modèle suit réellement les règles de la logique ou s'il ne fait que deviner. Pour remédier à cela, une équipe de chercheurs de l'Institut des sciences et technologies de Skolkovo et d'autres institutions a développé une nouvelle façon de jeter un coup d'œil à l'intérieur de l'« esprit » du modèle pendant le processus de raisonnement. Au lieu d'attendre que le modèle termine sa réponse pour ensuite vérifier si elle est juste, ils observent les connexions internes spécifiques que le modèle établit pendant qu'il réfléchit encore. Ils ont découvert que certaines parties de l'architecture du modèle agissent comme des points de contrôle fiables, signalant si une étape logique est valide bien avant que la réponse finale ne soit prononcée.

Les chercheurs se sont concentrés sur la manière dont ces modèles traitent l'information en interne. À l'intérieur d'un modèle de langage de grande taille, l'information circule à travers des couches d'opérations mathématiques. Au cœur de ce processus se trouvent les « têtes d'attention », qui agissent comme de minuscules interrupteurs décidant quelles parties de l'entrée sont importantes à focaliser à un instant donné. L'équipe a découvert qu'elle pouvait mesurer l'alignement entre deux signaux spécifiques au sein de ces têtes : le signal représentant l'énoncé testé et le signal représentant la réponse potentielle. En calculant un score simple basé sur la manière dont ces deux signaux s'alignent, ils pouvaient déterminer si le modèle reconnaissait la connexion logique entre une prémisse et une conclusion.

Pour tester cette idée, les chercheurs ont mené des expériences sur une grande variété de tâches de raisonnement logique. Ils ont utilisé des ensembles de données synthétiques où les règles étaient claires et les réponses définitivement vraies ou fausses, comme déterminer si un personnage nommé Polly est opaque sur la base d'un ensemble de règles fictives concernant les rompus et les jompus. Ils ont également testé la méthode sur des ensembles de données plus complexes impliquant le langage du monde réel et plusieurs étapes de déduction. Dans ces tests, ils ont comparé la performance de leur nouvelle méthode de notation interne par rapport à la façon standard dont le modèle répond, qui consiste simplement à choisir l'option ayant la probabilité la plus élevée.

Les résultats ont montré que la méthode de notation interne était nettement plus fiable que la propre supposition finale du modèle. Dans les scénarios où le modèle était confronté à des informations perturbatrices et non pertinentes, le modèle standard se laissait souvent confondre et donnait une mauvaise réponse. Cependant, les signaux internes spécifiques que les chercheurs suivaient restaient stables, identifiant correctement le chemin logique valide même lorsque la sortie finale du modèle était fausse. Cela suggère que le modèle possède en réalité la capacité de raisonnement correcte au plus profond de ses couches, mais que cette capacité peut parfois être obscurcie par les étapes ultérieures de traitement ou par le bruit du contexte perturbateur.

L'équipe a testé cette approche sur des modèles allant de très petits avec 1,5 milliard de paramètres à des modèles massifs de 70 milliards de paramètres. Partout, ils ont constaté que des têtes d'attention spécifiques agissaient systématiquement comme des « ancres de vérification ». Ces têtes pouvaient distinguer les inférences valides des inférences invalides avec une grande précision, quel que soit le nombre d'étapes requises par le raisonnement ou le nombre de distractions présentes. Dans certains cas, le score interne était correct plus de 90 pour cent du temps, alors que la réponse finale du modèle était correcte moins de 60 pour cent du temps. Cela indique que le modèle « sait » souvent la bonne réponse en interne mais échoue à l'exprimer correctement dans sa sortie finale.

L'une des découvertes les plus significatives est que cette méthode ne nécessite pas de modifier le modèle ou de le réentraîner. Les chercheurs pouvaient simplement exécuter le modèle une fois, observer les signaux internes et en dériver un score qui était souvent plus précis que la propre prédiction du modèle. Cela offre un moyen léger et efficace d'évaluer la cohérence logique sans le coût de calcul élevé des méthodes précédentes, qui consistaient souvent à désactiver des parties du modèle pour voir ce qui se passait. L'étude suggère qu'en identifiant ces composants internes spécifiques, nous pouvons obtenir une fenêtre plus claire sur la manière dont l'intelligence artificielle traite les relations complexes, nous rapprochant de systèmes qui ne sont pas seulement fluents dans le langage, mais aussi fiables dans leur raisonnement.

Les chercheurs ont noté que leur méthode fonctionne mieux lorsqu'il existe une quantité suffisante de données pour calibrer quels signaux internes spécifiques faut faire confiance pour une tâche donnée. Ils ont également reconnu que cette approche ne signifie pas que ces parties spécifiques sont les seules responsables de la logique, ni qu'elle résout tous les problèmes de raisonnement en intelligence artificielle. Cependant, ce travail fournit un moyen concret et mesurable de voir où la logique tient bon et où elle s'effondre, offrant un nouvel outil pour construire des modèles de langage plus transparents et dignes de confiance. En se concentrant sur l'alignement des signaux internes plutôt que sur la seule sortie finale, l'étude révèle que la capacité de raisonnement solide existe souvent au sein du modèle, attendant d'être correctement lue.