Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models

Dans le monde de l'intelligence artificielle moderne, les ordinateurs ont appris à lire et à écrire en étudiant de vastes bibliothèques de textes humains. Pendant longtemps, ces machines comprenaient les mots comme un dictionnaire pourrait le faire : comme des entrées statiques avec une signification unique et fixe. Si un ordinateur voyait le mot « banque », il lui assignerait une identité spécifique, qu'il s'agisse d'une rivière ou d'une institution financière. Cette approche fonctionnait suffisamment bien pour les tâches de base, mais elle ignorait une vérité fondamentale du langage humain : le sens est fluide. Nous comprenons un mot non seulement par ce qu'il est, mais aussi par l'endroit où il apparaît. Une nouvelle génération de modèles d'IA, connus sous le nom de modèles de langage transformeurs, a été construite sur l'idée qu'ils pouvaient capturer cette fluidité. Ils ont été conçus pour changer leur compréhension d'un mot en fonction de la compagnie qu'il tient dans une phrase. Mais bien que ces modèles soient largement considérés comme performants en la matière, prouver cela de manière nette a été difficile. La plupart des preuves proviennent de l'observation de la réussite de ces modèles lors de tests spécifiques, ce qui nous indique qu'ils sont utiles, mais pas nécessairement comment ils organisent les mots à l'intérieur de leur propre esprit.

Une équipe de chercheurs de l'Université de Campinas, au Brésil, a construit un ensemble d'outils spécialisés pour regarder directement à l'intérieur de ces machines et voir comment elles gèrent les mots aux sens multiples. Ils n'ont pas demandé à l'ordinateur de deviner une définition ou de résoudre une énigme. Au lieu de cela, ils ont créé une expérience contrôlée pour observer comment la représentation interne d'un mot change à mesure que le contexte évolue. Leur travail ne prétend pas avoir résolu le mystère de la façon dont l'IA comprend le langage, ni ne rapporte une découverte spécifique sur le comportement d'un modèle particulier. Il fournit plutôt un instrument rigoureux et reproductible — un ensemble d'outils et de méthodes — qui permet à d'autres scientifiques de poser cette question avec précision. Les chercheurs ont conçu une méthode pour fixer le mot lui-même et ne changer que le monde dans lequel il apparaît, créant ainsi un moyen d'isoler le moment exact où une machine sépare un sens d'un autre, si une telle séparation existe.

Le cœur de leur méthode repose sur un concept qu'ils appellent une « forme de pont ». Imaginez un seul mot, comme « courant », qui peut signifier le flux d'électricité, un compte financier ou le mouvement de l'eau océanique. Dans un dictionnaire standard, ce sont trois définitions différentes. Dans l'expérience des chercheurs, ils traitent « courant » comme un objet unique et immuable qui voyage à travers trois mondes différents. Ils rassemblent des milliers de phrases contenant le mot « courant » provenant d'articles Wikipédia sur la physique, l'économie et la géographie. Comme le mot est orthographié exactement de la même manière dans chaque phrase, la compréhension initiale de l'ordinateur est identique. Les chercheurs injectent ensuite ces phrases dans le modèle d'IA et observent ce qui se passe à mesure que l'information voyage plus profondément dans les couches de la machine.

L'idée clé est que si le modèle comprend réellement le contexte, l'image interne du mot « courant » devrait être différente lorsqu'il est entouré de mots relatifs à l'argent par rapport à lorsqu'il est entouré de mots relatifs aux rivières. Dans les premières couches du modèle, le mot reste le même, tout comme dans le dictionnaire. Mais à mesure que l'information progresse plus profondément, les chercheurs regardent si la version « électricité » du mot s'éloigne de la version « argent » dans l'espace interne du modèle. Pour mesurer cet écart, ils utilisent un outil statistique qui calcule la distance entre des groupes de points. Si les points représentant les phrases de physique se regroupent étroitement et restent loin des points représentant les phrases d'économie, cela prouverait que le modèle a réussi à séparer les sens en fonction du contexte.

Les chercheurs ont conçu leur boîte à outils pour éviter les pièges courants qui ont induit les études précédentes en erreur. Un obstacle majeur est de regarder le résultat final du traitement d'un modèle et de supposer que c'est le seul endroit où le sens existe. Certaines études antérieures suggéraient que les modèles pourraient séparer les sens dans les couches intermédiaires pour ensuite les réunir à la fin. Pour capter cela, le nouvel outil vérifie chaque couche du modèle, et non seulement la dernière. Une autre erreur potentielle consiste à essayer de comparer trop de sens à la fois. Si un chercheur tente de mesurer la séparation entre trois ou quatre sens simultanément, les mathématiques peuvent être déformées, faisant paraître des groupes sans rapport plus proches ou plus éloignés qu'ils ne le sont réellement. Les chercheurs ont résolu ce problème en ne comparant que deux sens à la fois, garantissant ainsi une mesure propre et directe.

Ils ont également abordé la question de la manière dont l'ordinateur perçoit les mots. L'IA moderne ne lit pas les mots comme des unités entières ; elle les décompose en morceaux plus petits. Parfois, le même mot peut être découpé différemment selon l'endroit où il se trouve dans une phrase. Pour s'assurer qu'ils mesuraient la bonne chose, les chercheurs ont utilisé une méthode précise pour localiser la partie exacte du mot qui les intéressait, en l'appariant au texte original caractère par caractère. Cela garantit qu'ils suivent la même occurrence de mot à travers tous les contextes différents, sans confusion causée par la façon dont la machine décompose le texte.

La boîte à outils produit deux types de preuves visuelles pour aider les chercheurs à comprendre les résultats. Premièrement, elle crée une carte de la position du mot dans l'esprit du modèle au tout début et à la toute fin. En utilisant un référentiel commun pour ces cartes, les chercheurs peuvent voir si le mot a bougé ou est resté en place. Deuxièmement, elle génère un graphique qui montre comment la séparation entre les sens change à mesure que l'information traverse les couches du modèle. Ce graphique agit comme un moniteur cardiaque pour le sens du mot, montrant exactement où le modèle commence à distinguer les différents sens.

Ce travail est significatif car il offre un moyen de tester les mécanismes internes de l'IA sans dépendre de la sortie finale du modèle. Au lieu de demander : « Le modèle a-t-il donné la bonne réponse ? », les chercheurs demandent : « Le modèle a-t-il organisé ses propres pensées correctement ? ». La boîte à outils est conçue pour être utilisée par quiconque souhaite étudier comment différents types de modèles d'IA gèrent le langage. Elle fonctionne avec diverses architectures de modèles, qu'ils lisent le texte dans les deux sens ou qu'ils le lisent uniquement de gauche à droite. En fournissant une méthode standard pour mesurer ce phénomène, les chercheurs espèrent permettre une nouvelle vague d'études capables de comparer les modèles équitablement et de comprendre les limites de leurs capacités linguistiques.

Les auteurs précisent avec prudence que leur boîte à outils est un instrument, et non une affirmation. Ils ne prétendent pas que leurs tests spécifiques ont révélé une vérité universelle sur le fonctionnement de tous les modèles d'IA, ni qu'ils présentent ou interprètent les résultats empiriques de l'application de cet outil à un modèle ou un ensemble de mots spécifique. Les résultats de l'utilisation de cette boîte à outils dépendent du modèle spécifique testé et des mots choisis. Ce que les chercheurs ont fourni est une méthode fiable pour poser la question. Ils ont construit un pont entre l'idée abstraite de « compréhension contextuelle » et une réalité concrète et mesurable. En maintenant le mot constant et en faisant varier le monde autour de lui, ils ont créé une fenêtre claire sur la façon dont ces machines complexes apprennent à distinguer la rivière de la banque.