💻 computer science

What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

Ce document présente un cadre pour créer des sondes linéaires peu coûteuses et évolutives afin de délimiter, détecter et suivre des concepts spécifiques au sein des embeddings de grands modèles de langage à travers différentes couches et contextes, améliorant ainsi les capacités d'interprétabilité et de surveillance.

Auteurs originaux : Mohamed Abdelwahab, Michelle Yu Collins, Sihan Chen, Yi Cheng Zhao, Zafarullah Mahmood, Jiading Zhu, Soliman Ali, Jonathan Rose

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohamed Abdelwahab, Michelle Yu Collins, Sihan Chen, Yi Cheng Zhao, Zafarullah Mahmood, Jiading Zhu, Soliman Ali, Jonathan Rose

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un chef géant et ultra-rapide dans une cuisine. Ce chef peut préparer n'importe quelle recette que vous lui demandez, mais vous ne pouvez pas voir l'intérieur de son esprit pendant qu'il hache, mélange et goûte. Vous ne voyez que le plat final (le texte qu'il produit). La question est : à quoi le chef pense-t-il réellement pendant qu'il cuisine ?

Ce papier traite de la construction d'une paire de « lunettes à rayons X » qui nous permettent d'entrevoir l'esprit du chef pour voir quels concepts (comme « l'ambition », « l'enquête », « la démocratie » ou « l'envie ») sont présents dans ses pensées à tout moment donné.

Voici comment les chercheurs l'ont fait, décomposé en étapes simples :

1. Définir la « pensée » (La délimitation)

Avant de pouvoir chercher quelque chose, il faut savoir exactement ce que c'est. Les chercheurs n'ont pas simplement deviné à quoi ressemble « l'ambition » ; ils l'ont soigneusement définie.

L'analogie : Imaginez que vous voulez trouver le « rouge » dans un tas de peinture. Vous ne pouvez pas simplement dire « tout ce qui tire sur le rouge ». Vous avez besoin d'une règle stricte : « Le rouge est exactement cette teinte spécifique, pas le rose, pas l'orange. »
La méthode : Ils ont utilisé une intelligence artificielle intelligente pour générer des milliers de phrases. Certaines phrases étaient conçues pour montrer clairement le concept (par exemple, un personnage luttant pour atteindre un objectif), tandis que d'autres étaient conçues pour ressembler aux premières mais manquer de ce concept. Crucialement, ils se sont assurés que les phrases ne contenaient pas de « codes de triche » évidents (comme utiliser directement le mot « ambition ») qui rendraient le test trop facile. Ils ont créé un jeu de données « référence » (Gold Standard) d'exemples où le concept est soit définitivement présent, soit définitivement absent.

2. Construire le « détecteur » (La sonde)

Une fois qu'ils ont eu leur liste de « Oui, c'est de l'ambition » et « Non, ce n'est pas de l'ambition », ils ont construit un petit détecteur simple appelé une sonde linéaire.

L'analogie : Considérez le LLM comme une immense bibliothèque où chaque livre (chaque mot d'une phrase) est stocké à un endroit précis. Les chercheurs ont construit un petit détecteur de métaux bon marché qu'ils peuvent faire glisser sur n'importe quelle étagère de la bibliothèque.
Fonctionnement : Ils ont entraîné ce détecteur de métaux sur leur liste « référence ». Si le détecteur émet un signal sonore fort (un score élevé), cela signifie que le concept est présent dans les « pensées » internes du modèle (les plongements). S'il reste silencieux (un score faible), le concept est absent.
La surprise : Ils ont découvert que ces détecteurs n'ont pas besoin d'être des super-ordinateurs complexes. Un détecteur très simple avec moins de 80 « boutons » (paramètres) suffisait à repérer ces concepts avec précision.

3. Observer l'évolution des « pensées » (Croissance et déclin)

La partie la plus intéressante est d'observer comment ces pensées changent au fur et à mesure que l'histoire se déroule.

L'analogie : Imaginez que le chef raconte une histoire. Au début, il ne parle que de la météo (il n'y a pas d'« ambition » là-dedans). Ensuite, il commence à parler d'un personnage voulant gagner une course (l'ambition apparaît). Enfin, le personnage abandonne (l'ambition s'estompe).
Le résultat : Les chercheurs ont montré que leurs détecteurs peuvent suivre cela en temps réel. Au fur et à mesure qu'ils alimentent l'histoire mot par mot dans le modèle, le « bip » du détecteur monte lorsque le concept est introduit et baisse lorsque l'histoire passe à autre chose. C'est comme observer un moniteur cardiaque pour une idée spécifique.

4. Pourquoi cela compte (Sans le battage médiatique)

Le papier affirme qu'il s'agit d'une nouvelle méthode peu coûteuse pour comprendre ce que les LLMs « pensent », sans avoir besoin de réentraîner tout le modèle ni d'utiliser des machines coûteuses et lourdes (comme les « Autoencodeurs parcimonieux » mentionnés dans le papier, qui sont comme essayer de reconstruire toute la bibliothèque pour trouver un seul livre).

Points clés à retenir du papier :

Cela fonctionne : Ils ont construit avec succès des détecteurs pour quatre concepts spécifiques (ambition, enquête, démocratie, envie) à travers trois types de modèles d'IA différents.
C'est peu coûteux : Vous n'avez besoin de construire le jeu de données qu'une seule fois pour un concept, puis vous pouvez utiliser le détecteur sur n'importe quel modèle.
C'est précis : Les détecteurs peuvent vous dire exactement quand un concept entre dans l'esprit du modèle et quand il le quitte lorsque le contexte change.
Ce n'est pas magique : Le papier admet que, bien que cela fonctionne pour ces quatre concepts, nous ne savons pas encore si cela fonctionne pour tous les concepts possibles. De plus, les données ont été générées par une IA, il existe donc certaines limites quant à la perfection avec laquelle elles imitent la nuance humaine.

En résumé, le papier fournit un plan pour construire de simples détecteurs de « pensées » réutilisables qui nous permettent d'observer la logique interne des modèles d'IA au fur et à mesure qu'ils traitent l'information, prouvant que ces modèles « pensent » réellement à des idées abstraites spécifiques avant de parler.

Résumé technique : Délimitation, sondage et suivi des concepts dans les LLM

Énoncé du problème
À mesure que les modèles de langage de grande taille (LLM) influencent de plus en plus la prise de décision, il devient crucial de comprendre leurs « processus de pensée » internes. Bien que des recherches antérieures aient démontré que des sondages linéaires peuvent détecter des propriétés linguistiques spécifiques (par exemple, les parties du discours, le temps) et des concepts (par exemple, le temps, le lieu, la vérité) au sein des représentations vectorielles des LLM, les méthodes existantes de détection de concepts présentent des limitations significatives. Les autoencodeurs parcimonieux (SAE), par exemple, nécessitent un entraînement non supervisé coûteux en calcul et manquent de contrôle sur les concepts spécifiques détectés, ce qui les rend inadaptés à une surveillance ciblée. D'autres approches, telles que l'incitation d'un LLM à identifier un concept, sont trop coûteuses pour une surveillance continue car elles requièrent des invocations de modèle séparées. Cet article répond au besoin d'une méthode peu coûteuse et évolutive pour créer des sondages spécifiques capables de surveiller la présence et l'absence de concepts implicites au sein des représentations vectorielles des LLM lors d'une opération normale.

Méthodologie
Les auteurs proposent un pipeline en trois étapes pour créer et utiliser des sondages de concepts :

Délimitation des concepts : L'innovation centrale est une méthode semi-automatique pour créer des ensembles de données binaires de haute qualité pour des concepts spécifiques.
- Génération de modèles : Les auteurs ont créé 30 000 modèles de phrases à partir de textes du Projet Gutenberg, filtrés pour s'assurer qu'ils se concentrent sur des sujets humains et contiennent des structures cohérentes.
- Génération d'exemples : En utilisant un LLM incité (gpt-4o), ils ont généré des paires d'exemples pour chaque concept (présent vs absent) en imitant la structure syntaxique des modèles tout en modifiant la sémantique pour refléter le concept cible. Cette approche vise à prévenir la « fuite d'étiquettes » où le modèle pourrait apprendre des corrélations fallacieuses plutôt que le concept lui-même.
- Raffinement et étiquetage : Pour garantir la fiabilité, un classificateur LLM incité a re-étiqueté tous les exemples générés. Les incitations ont été raffinées de manière itérative pour atteindre une précision supérieure à 90 % sur des ensembles de validation étiquetés manuellement. Les ensembles de données ont été filtrés pour ne conserver que les paires avec des étiquettes opposées, garantissant que le sondage apprend le concept plutôt que des similarités structurelles. Quatre concepts ont été sélectionnés : ambition, enquête, démocratie et jalousie.
Entraînement et évaluation des sondages :
- Entraînement : Des sondages linéaires (classificateurs binaires) ont été entraînés sur les représentations vectorielles extraites de diverses couches des LLM cibles. Les auteurs ont testé deux stratégies de représentation vectorielle représentatives : la représentation du dernier token ( $N$ -ième) et la moyenne de toutes les représentations d'une couche.
- Tâches de contrôle : Pour vérifier que les sondages détectent des concepts encodés dans les représentations vectorielles plutôt que d'apprendre la tâche indépendamment, les auteurs ont employé des tâches de contrôle :
  - Randomisation : L'entraînement sur des représentations vectorielles ou des étiquettes randomisées a entraîné une chute de la précision à ~50 %, confirmant que les sondages s'appuient sur des informations significatives dans les représentations vectorielles.
  - Réduction des paramètres : Les sondages ont été contraints à moins de 80 paramètres (via l'ACP). Une haute précision a été maintenue même avec une compression significative, suggérant que les représentations vectorielles encodent les caractéristiques de manière robuste.
Suivi des concepts (croissance et déclin) :
- Ensembles de données de récits : Les auteurs ont construit 50 récits de trois paragraphes pour chaque concept. Le concept cible était présent uniquement dans les phrases de transition reliant les paragraphes et absent ailleurs.
- Surveillance dynamique : Les sondages entraînés ont été appliqués aux représentations vectorielles de contextes d'entrée en expansion (mot par mot). Cela a permis aux auteurs d'observer comment la probabilité de la présence du concept fluctue à mesure que le contexte évolue, en suivant spécifiquement la « croissance et le déclin » du signal du concept.

Résultats clés

Inférence de concepts : L'étude confirme que les LLM (testés sur les familles Llama-3-8B, Gemma-2 et Qwen2.5) infèrent les quatre concepts cibles. Les sondages ont atteint une précision significativement supérieure à 50 % sur la plupart des couches, la couche d'encodage (couche 0) montrant une précision surprenamment élevée (87 %) pour l'ambition lors de l'utilisation de représentations moyennes, bien que cela ne se soit pas vérifié pour des contextes plus longs.
Efficacité des sondages : Les sondages ont obtenu de solides performances avec très peu de paramètres. Pour l'ambition, la précision est restée supérieure à 75 % avec seulement 40 paramètres et s'est stabilisée autour de 80 paramètres, bien en dessous de la dimension d'encodage du modèle (4 096 pour Llama-3-8B).
Dynamique du suivi : Les sondages ont suivi avec succès la présence et l'absence de concepts en temps réel à mesure que le contexte d'entrée s'expandait. Lors de l'utilisation de représentations vectorielles du dernier token, la sortie du sondage a dépassé le seuil de 0,5 lorsque le concept était présent dans le texte et est tombée en dessous lorsqu'il était absent. À l'inverse, les représentations moyennes cumulatives ont dilué le signal, échouant à capturer ces dynamiques, indiquant que l'inférence de concepts dans les LLM implique plus que de simples représentations de type « sac de mots ».
Spécificité des couches : Différentes couches dans différents modèles ont été jugées optimales pour suivre des concepts spécifiques. Par exemple, dans Llama-3-8B, la couche 13 était la meilleure pour suivre l'ambition, tandis que la couche 31 était la meilleure pour l'enquête.

Portée et affirmations
L'article prétend poser les « premiers pas » vers une capacité à créer des ensembles étendus de sondages pour surveiller les LLM. Ses contributions principales sont :

Une méthodologie reproductible et semi-automatique pour délimiter des concepts en ensembles de données binaires qui minimisent la fuite accidentelle d'étiquettes.
La démonstration que des sondages linéaires peuvent détecter des concepts implicites avec une haute précision en utilisant un nombre minimal de paramètres (<80), les rendant peu coûteux en calcul.
Des preuves que ces sondages peuvent servir de moniteurs continus peu coûteux, capables de suivre la « croissance et le déclin » dynamique des concepts à mesure que le contexte s'expand.
La mise à disposition des ensembles de données créés (modèles et exemples spécifiques aux concepts) pour permettre des recherches ultérieures sur l'explicabilité des LLM.

Les auteurs maintiennent un ton modeste, reconnaissant des limitations telles que le potentiel des données générées à suivre des distributions spécifiques et la dépendance à des classificateurs basés sur des LLM pour l'étiquetage. Ils postulent que, bien que leur travail actuel se concentre sur quatre concepts, la mise à l'échelle de ce processus pourrait permettre la surveillance de nouveaux modèles et l'exploration des liens de causalité entre les concepts internes inférés et les sorties générées, avançant ainsi la sécurité et l'explicabilité des LLM.

1. Définir la « pensée » (La délimitation)

2. Construire le « détecteur » (La sonde)

3. Observer l'évolution des « pensées » (Croissance et déclin)

4. Pourquoi cela compte (Sans le battage médiatique)

Articles similaires