Résumé technique : La vérité se niche quelque part au milieu (des tokens générés)

Énoncé du problème

Dans les modèles de langage autoregressifs (LLM), les états cachés sont générés séquentiellement sous un masquage causal, ce qui signifie que la représentation de chaque token dépend de l'invite et de tous les tokens générés précédemment. Une question méthodologique critique se pose : comment ces états cachés distribués dans le temps doivent-ils être réduits en une seule représentation vectorielle reflétant avec précision l'état sémantique interne du modèle ?

Les travaux antérieurs sur les encodeurs bidirectionnels utilisent généralement le pooling moyen ou le pooling du dernier token. Cependant, dans les contextes autoregressifs, une simple moyenne s'est avérée peu performante car elle mélange des états cachés calculés dans des contextes inégaux. Par conséquent, les approches existantes reposent souvent sur la sélection d'un seul token (par exemple, le dernier token) ou sur l'entraînement de modèles avec des objectifs spécifiques pour améliorer la qualité des plongements. Il reste incertain si l'information sémantique dans les modèles autoregressifs standards pré-entraînés est localisée à une position de token spécifique ou distribuée à travers la trajectoire de génération, et si le pooling moyen peut produire des représentations sémantiques supérieures sans entraînement supplémentaire.

Méthodologie

Les auteurs évaluent la qualité sémantique des représentations dérivées des tokens générés en mesurant leur alignement avec des espaces de référence dans trois domaines distincts : vision-langage, raisonnement et structures protéiques.

Métrique d'évaluation : Alignement du noyau

La métrique centrale est l'Alignement du Noyau Centré (CKA), spécifiquement la version débiaisée pour éviter les artefacts d'inflation. Les auteurs comparent la structure de similarité (noyau) induite par les plongements du modèle de langage avec un noyau de référence construit à partir de structures sémantiques de vérité terrain :

• Vision-langage : Les noyaux de référence sont dérivés des plongements d'images (utilisant DINOv2) correspondant aux légendes d'images. Un alignement élevé implique que le modèle place les légendes d'images visuellement similaires plus proches les unes des autres.
• Raisonnement : Les noyaux de référence sont dérivés des solutions de référence (gold-standard) pour des problèmes de mathématiques et de sciences.
• Protéines : Les noyaux de référence sont dérivés des plongements de structures protéiques (utilisant ESM-3).

Configuration expérimentale

• Modèles : Les expériences principales utilisent Qwen3-14B (un Transformer uniquement décodeur). Des comparaisons sont effectuées avec OLMo3-7B-Think et gpt-oss-20B.
• Stratégies de pooling : Les auteurs comparent le pooling du dernier token (sélection de l'état final de la trajectoire) avec le pooling moyen des tokens (moyenne des états cachés sur toute la séquence générée).
• Analyse du mélange : Pour déterminer si l'information sémantique est localisée ou distribuée, les auteurs construisent des combinaisons convexes de plongements issus de segments de tokens distincts (par exemple, les tiers premier, milieu et final de la génération) et évaluent l'alignement à travers le simplexe résultant.
• Conditions de contrôle : Les expériences incluent le mélange des ordres de tokens, le mélange des paires image-texte, et l'encodage de texte généré par un modèle en utilisant l'espace de plongement d'un autre modèle pour isoler les effets des dynamiques de génération.

Contributions et résultats clés

1. Le pooling moyen des tokens générés surpasse la sélection d'un seul token

Contrairement aux limitations observées dans les plongements côté invite, le pooling moyen sur les tokens générés produit un alignement sémantique nettement supérieur à n'importe quel token individuel, y compris le dernier token.

• Dans les tâches vision-langage, les représentations générées par pooling moyen ont obtenu un score d'alignement de 0,410, contre 0,291 pour le meilleur token unique et 0,184 pour les tokens d'invite.
• Cette amélioration est cohérente à travers les graines de décodage, indiquant que la structure sémantique sous-jacente est stable malgré la variation textuelle.
• L'avantage persiste à travers différentes méthodes de pooling (le pooling moyen surpasse le pooling par attention, max et meilleur-token).

2. L'information sémantique est distribuée sur la génération

L'article démontre que l'information sémantique n'est pas localisée à une position unique mais est distribuée sur la trajectoire des tokens.

• Effet de mélange : Les combinaisons convexes de plongements issus de différents segments de tokens (par exemple, mélanger les tiers premier, milieu et final) atteignent systématiquement un alignement supérieur à n'importe quel segment seul.
• Granularité : Cet avantage de « mélange » persiste même lorsque les segments de tokens sont subdivisés de manière récursive, suggérant que différentes parties de la génération portent des informations sémantiques complémentaires.
• Généralisation de domaine : Ce phénomène est observé non seulement dans les tâches vision-langage mais aussi dans le raisonnement (Math-500, GPQA) et les tâches de structure protéique, indiquant qu'il s'agit d'une propriété générale de la génération autoregressive.

3. Tokens générés vs tokens d'invite

Une découverte contre-intuitive est que les représentations dérivées des tokens générés sont mieux alignées que celles des tokens d'invite, même lorsque l'invite contient l'intégralité du contenu sémantique.

• Les représentations des tokens d'invite ne bénéficient pas du pooling moyen ; les moyenner dilue souvent l'information en raison des limitations du masquage causal.
• La génération semble « rendre le même contenu sémantique plus facile à récupérer » dans l'espace des états cachés. Au fur et à mesure que le modèle produit une suite, ses états internes deviennent mieux alignés avec la structure de référence liée à l'invite originale.

4. Phases représentatives et dynamiques de l'état interne

La trajectoire d'alignement à travers les tokens générés révèle des phases interprétables du comportement du modèle :

• Phases : Le processus de génération présente des phases distinctes : préambule générique, répétition de l'invite, rappel et réponse spécifique à la légende. L'alignement augmente à mesure que la génération passe d'un texte générique à des descriptions spécifiques au contenu.
• Sondes causales : Des phrases génériques spécifiques (par exemple, « Laissez-moi rappeler ce que je sais ») induisent des pics nets dans l'alignement, même avant l'apparition de contenu pertinent pour la scène. Cela suggère que de tels tokens correspondent à des changements dans l'état interne du modèle vers la structure de référence.
• Spécificité du modèle : Ces structures de phases disparaissent lorsqu'un modèle encode du texte généré par un autre modèle. Par exemple, la trajectoire d'alignement de Qwen3 se dégrade lors du traitement des générations d'OLMo3 si OLMo3 hallucine des faits (par exemple, une mauvaise identification de l'emplacement d'une centrale électrique). Cela indique que les dynamiques observées sont liées au calcul interne et à la cohérence spécifiques du modèle, et non simplement au texte lui-même.

5. Profondeur des couches vs dimension des tokens

Alors que le pooling moyen sur la dimension des tokens améliore l'alignement, le pooling moyen sur la profondeur des couches ne le fait pas. La moyenne sur les couches produit des performances comparables à la meilleure couche unique (généralement la dernière couche) mais ne l'améliore pas. Cela contraste avec les plongements côté invite, où les couches intermédiaires obtiennent souvent les meilleurs résultats.

Signification et affirmations

L'article affirme que les états cachés formés lors de la génération autoregressive sont mieux réduits en une représentation vectorielle par un pooling moyen sur les tokens, plutôt que par la sélection d'un seul token. Cela remet en question la vision prédominante selon laquelle le masquage causal rend le pooling moyen inefficace pour les modèles uniquement décodeurs.

Les auteurs soutiennent que :

1. Génération comme contexte : La suite propre du modèle agit comme une source de contexte qui rend le contenu sémantique de l'entrée plus accessible dans l'espace des états cachés.
2. Représentation basée sur la trajectoire : L'information sémantique dans les modèles autoregressifs doit être considérée comme distribuée sur la trajectoire de génération plutôt que localisée à un seul état caché.
3. Interprétabilité : L'alignement du noyau sert de sonde causale pour les états internes du modèle, révélant que des sorties de tokens spécifiques (comme des phrases de « réflexion » ou de « rappel ») correspondent à des changements mesurables dans la géométrie représentative du modèle.

Ce travail suggère que pour les tâches nécessitant des plongements textuels de haute qualité à partir de modèles autoregressifs, générer une suite et moyenner les états cachés résultants est une méthode simple, efficace et sans entraînement qui surpasse les plongements standard basés sur l'invite. Cependant, les auteurs notent des limites : cette approche engendre un coût computationnel proportionnel à la longueur de la génération et produit des représentations qui sont des sondes de l'état interne plutôt que des « tokens doux » utilisables pour une génération ultérieure.