LLMs Explain't: A Post-Mortem on Semantic Interpretability in Transformer Models
Cet article soutient que les méthodes d'interprétabilité largement utilisées pour les modèles de langage de grande taille, spécifiquement les explications basées sur l'attention et la cartographie de caractéristiques via les plongements, échouent à détecter de manière fiable la compréhension sémantique ou l'abstraction linguistique en raison de défauts méthodologiques fondamentaux et d'artefacts, remettant ainsi en question la validité des affirmations actuelles concernant l'interprétabilité des LLM dans les contextes de l'informatique omniprésente.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez une boîte noire magique et très intelligente capable d'écrire des histoires, de répondre à des questions et de traduire des langues. Tout le monde appelle cette boîte un « Grand Modèle de Langage » (LLM). Parce qu'elle est si douée pour son travail, les ingénieurs et les scientifiques veulent savoir comment elle réfléchit. Ils veulent regarder à l'intérieur de la boîte pour voir les rouages en mouvement.
Ce document est essentiellement un « post-mortem » (une autopsie médicale) sur deux méthodes populaires que les scientifiques ont tenté d'utiliser pour regarder à l'intérieur de cette boîte. Les auteurs, une équipe de chercheurs de l'Université de Hambourg, ont testé ces deux méthodes pour voir si les modèles comprennent réellement le langage.
Le Verdict : Les deux méthodes ont échoué. Ils n'ont pas seulement trouvé des explications « faibles » ; ils ont découvert que les méthodes elles-mêmes sont basées sur des hypothèses fausses. La « preuve » que les scientifiques utilisaient pour dire : « Regardez, le modèle comprend cela ! » n'était en fait qu'une illusion créée par la manière dont les tests ont été configurés.
Voici une décomposition des deux méthodes testées et de la raison pour laquelle elles ont échoué, en utilisant des analogies simples.
Méthode 1 : Le « Projecteur » (Analyse de l'attention)
La Théorie :
Dans ces modèles d'IA, il existe des parties appelées « têtes d'attention ». Les scientifiques pensaient qu'elles fonctionnaient comme un projecteur. Si le modèle parle d'un « chien », et que le projecteur éclaire le mot « Labradoodle », la théorie était : « Aha ! Le modèle connecte 'chien' et 'Labradoodle' parce qu'il sait qu'ils sont liés ! »
Le Test de Réalité :
Les chercheurs ont testé si ce projecteur reste réellement focalisé sur le même mot à mesure que l'information circule à travers les couches du modèle (son « cerveau »).
- L'Analogie : Imaginez que vous passiez un mot dans une salle de classe. Vous écrivez « Chien » sur le papier. Vous passez le papier au l'élève suivant, qui y ajoute un gribouillage. Vous le passez à l'élève suivant, qui le plie et le mélange avec un autre mot. Au moment où il arrive au fond de la salle, le papier est une boule froissée de nombreux mots mélangés.
- Le Constat : Les chercheurs ont découvert qu'au moment où l'information atteint les couches plus profondes du modèle, le « mot » (la représentation du mot) a été fondu et mélangé avec d'autres mots. Le « projecteur » ne brille plus sur le mot d'origine ; il brille sur un mélange désordonné de nombreux mots.
- La Conclusion : Lorsque les scientifiques dessinent de jolies images montrant les mots auxquels le modèle « prête attention », ils voient un motif qui semble significatif, mais qui n'est en fait qu'un artefact du processus de mélange. Le modèle ne pense pas nécessairement à la relation entre les mots ; les mathématiques donnent simplement l' impression qu'il le fait.
Méthode 2 : Le « Traducteur » (Inférence de propriété d'embedding)
La Théorie :
La seconde méthode tente de voir ce que le modèle « sait » en traitant les nombres internes du modèle (embeddings) comme un code secret. Les scientifiques tentent de construire un « traducteur » (un petit programme informatique) pour décoder ces nombres en traits humains.
- Exemple : Si le modèle possède un vecteur numérique pour « Pomme », le traducteur peut-il prédire que « Pomme » est « rouge », « comestible » et « pousse sur les arbres » ? Si le traducteur obtient un score élevé, les scientifiques disent : « Voyez ! Le modèle sait ce qu'est une pomme ! »
Le Test de Réalité :
Les chercheurs ont testé si le traducteur décodait réellement la signification ou s'il trichait simplement.
- L'Analogie : Imaginez que vous essayez de deviner la couleur préférée d'une personne en regardant sa taille.
- L'Astuce : Si vous avez un ensemble de données où tout le monde de grande taille aime le « Bleu », et que vous construisez un traducteur pour deviner « Bleu » en fonction de la taille, vous obtiendrez un score parfait.
- La Réalité : Mais si vous changez les données de sorte que les « Personnes de grande taille » aiment maintenant le « Rouge », et que votre traducteur devine toujours parfaitement « Bleu », cela signifie que votre traducteur n'apprenait pas réellement les couleurs. Il se contentait de mémoriser la forme des données ou le fait que la liste des couleurs est courte et répétitive.
- Le Constat : Les chercheurs ont essayé de nourrir le traducteur avec des données absurdes. Ils ont brouillé les mots, remplacé « Pomme » par un non-sens aléatoire, ou mélangé les traits (associant « Pomme » à « pique » et « mortel »).
- Le Résultat : Le traducteur obtenait toujours des scores élevés ! Peu importait que la signification soit réelle ou fausse. Les scores élevés étaient dictés par la structure mathématique de l'ensemble de données (comme la façon dont les données sont éparses ou encombrées), et non par le fait que le modèle comprenait réellement les concepts.
Pourquoi est-ce important ?
Les auteurs soutiennent que nous construisons actuellement des systèmes complexes (comme des voitures autonomes ou des outils de diagnostic médical) qui reposent sur ces modèles d'IA. Pour rendre ces systèmes sûrs et efficaces, les ingénieurs utilisent ces méthodes d'« interprétabilité » pour :
- Déboguer le système (comprendre pourquoi il a fait une erreur).
- Compresser le système (le rendre plus petit pour qu'il fonctionne sur des téléphones).
- Faire confiance au système (décider s'il est sûr de l'utiliser).
Le Danger : Si les outils utilisés pour vérifier le système sont défectueux, nous pourrions penser que le système est sûr et fonctionne correctement alors qu'il ne l'est pas. C'est comme utiliser un thermomètre cassé pour vérifier si un patient a de la fièvre ; si le thermomètre affiche toujours « 37°C », vous pourriez manquer une véritable maladie.
L'essentiel
Le document conclut que bien que ces deux méthodes produisent des histoires convaincantes (de jolies images et des scores élevés), elles ne fournissent pas de véritables explications scientifiques.
- Les cartes d'attention sont comme regarder une photo floue et se convaincre que l'on voit un visage, alors qu'il ne s'agit que de bruit.
- L'inférence de propriété est comme deviner un mot de passe en se basant sur la longueur de la chaîne plutôt que sur les caractères réels.
Les auteurs ne disent pas que l'IA est inutile ; ils disent que nous devons cesser de supposer que ces outils spécifiques nous disent ce que l'IA « pense ». Nous devons tester nos hypothèses de manière beaucoup plus rigoureuse avant de faire confiance aux résultats, surtout lorsque ces modèles contrôlent des systèmes du monde réel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.