Résumé Technique : L'Émergence Mécaniste de l'Ancrage des Symboles dans les Modèles de Langage

Énoncé du Problème

L'ancrage des symboles (symbol grounding), défini initialement par Harnad (1990), traite de la manière dont les symboles abstraits (par exemple, les mots) acquièrent un sens en se connectant à des expériences sensorimotrices du monde réel. Bien que les récents modèles de langage-vision (VLM) à grande échelle et les modèles de langage (LM) autorégressifs aient montré des preuves préliminaires que l'ancrage peut émerger sans supervision explicite, les loci et les mécanismes spécifiques qui pilotent cette émergence restent inexplorés. Les travaux antérieurs se sont largement appuyés sur des preuves corrélationnelles (par exemple, les chevauchements d'attention ou les alignements géométriques) et se sont concentrés sur des modèles finaux statiques, négligeant la trajectoire d'entraînement et les mécanismes internes causaux qui lient les contextes environnementaux aux formes linguistiques.

Méthodologie

Pour combler ces lacunes, les auteurs introduisent un cadre d'évaluation contrôlé qui trace l'émergence de l'ancrage des symboles à travers une analyse mécaniste et causale.

1. Bancs d'Essai Contrôlés et Tokenisation

L'étude construit des bancs d'essai minimaux où chaque item lexical est représenté par deux jetons (tokens) distincts et non chevauchants :

• Jetons Environnementaux ($\langle ENV \rangle$) : Apparaissent dans des descriptions de scènes non verbales (par exemple, « boîte » dans une description de scène) ou des entrées visuelles (patchs d'images).
• Jetons Linguistiques ($\langle LAN \rangle$) : Apparaissent dans des énoncés parlés ou écrits (par exemple, « boîte » dans un dialogue).
  Un tokenizer personnalisé garantit que ces formes possèdent des indices de vocabulaire séparés, empêchant l'ancrage d'être résolu trivialement via une identité de jeton partagée. Le cadre utilise :
• Le langage dirigé vers l'enfant (CHILDES) : Utilisation d'annotations environnementales (événements locaux, actions, niveaux situationnels) comme $\langle ENV \rangle$ et d'énoncés comme $\langle LAN \rangle$.
• Dialogue ancré sur l'image (Visual Dialog) : Utilisation d'embeddings ViT gelés (DINOv2) comme $\langle ENV \rangle$ et de tours de dialogue comme $\langle LAN \rangle$.
• Dialogue ancré sur des légendes (Caption-Grounded Dialogue) : Une configuration intermédiaire utilisant des légendes d'images comme $\langle ENV \rangle$.

2. Protocole d'Évaluation

L'ancrage est quantifié par la surprise (surprisal) et le gain d'information d'ancrage ($G_\theta$). Les auteurs comparent deux conditions :

• Correspondance (Match) : Le contexte contient le jeton $\langle ENV \rangle$ correspondant au $\langle LAN \rangle$ cible.
• Non-correspondance (Mismatch) : Le contexte contient un jeton $\langle ENV \rangle$ différent et non lié.
  Un $G_\theta$ positif indique que le jeton environnemental correspondant augmente significativement la prédictibilité de son homologue linguistique, au-delà de ce que les simples statistiques de cooccurrence prédiraient.

3. Architectures de Modèles et Entraînement

Les modèles sont entraînés à partir d'une initialisation aléatoire en utilisant des objectifs standards de modélisation de langage causal. L'étude évalue :

• Transformers : Variantes de 4, 12 et 18 couches.
• Modèles d'Espace d'État (SSM) : Mamba-2 (4 et 12 couches).
• LSTMs : LSTMs unidirectionnels à 4 couches (servant de base pour la compression séquentielle sans récupération adressable par le contenu).
  Les expériences sont répétées avec 5 graines (seeds) aléatoires pour assurer la robustesse.

4. Analyse Mécaniste

Pour expliquer comment l'ancrage émerge, les auteurs emploient :

• Analyse de Salience : Quantification de la contribution des poids d'attention à la perte (loss), en traçant spécifiquement les flux des $\langle ENV \rangle$ vers le jeton précédant le $\langle LAN \rangle$.
• Tuned Lens : Sondage des états cachés intermédiaires pour évaluer les changements de représentation à travers les couches.
• Interventions Causales : Mise à zéro de têtes d'attention spécifiques identifiées comme des têtes de « collecte » (gather) ou d'« agrégation » (aggregate) pour mesurer leur impact sur la surprise.

Résultats Clés

1. Émergence Comportementale de l'Ancrage

• Dépendance Architecturale : Les modèles Transformer et Mamba-2 présentent systématiquement une réduction de la surprise pour les jetons $\langle LAN \rangle$ lorsque des jetons $\langle ENV \rangle$ sont présents dans le contexte. En revanche, les LSTMs unidirectionnels ne montrent aucune séparation significative entre les conditions de correspondance et de non-correspondance, échouant ainsi à exhiber un ancrage.
• Au-delà de la Cooccurrence : Bien que le début de l'entraînement montre une corrélation entre le gain d'ancrage et la cooccurrence des jetons ($R^2$), cette corrélation diminue à mesure que l'entraînement progresse. Le gain d'information d'ancrage continue d'augmenter même lorsque $R^2$ décline, suggérant que les modèles apprennent des mappings riches et non purement statistiques plutôt qu'une simple mémorisation.
• Généralisation : Ces tendances se maintiennent à travers les modalités (texte seul CHILDES, dialogue ancré sur l'image, et dialogue ancré sur des légendes) et les architectures (Transformers et SSM).

2. Loci Mécanistes : Le Mécanisme d'Agrégation

• Concentration de Couches : L'analyse de la salience révèle que les relations d'ancrage sont concentrées dans les couches intermédiaires (spécifiquement les couches 7 à 9 dans les Transformers de 12 couches). Les couches précoces restent de faibles prédicteurs, même à des stades avancés de l'entraînement.
• Têtes de Collecte et d'Agrégation (Gather-and-Aggregate Heads) : L'étude identifie un mécanisme spécifique où :
  • Têtes de Collecte (Gather Heads) : Situées dans les couches peu profondes (3–4), elles compressent l'information contextuelle des jetons $\langle ENV \rangle$ en états récupérables.
  • Têtes d'Agrégation (Aggregate Heads) : Situées dans les couches intermédiaires (7–8), elles redistribuent cette information au jeton précédant immédiatement la forme $\langle LAN \rangle$, soutenant directement la prédiction.
• Validation Causale : La mise à zéro des têtes d'agrégation provoque une augmentation significative de la surprise ($p < 0.001$), tandis que la mise à zéro des têtes de collecte ou des têtes de contrôle aléatoires n'a que des effets négligeables. Cela confirme que les têtes d'agrégation sont les principaux moteurs mécanistes de l'ancrage des symboles.

3. Échelle et Modèles Réels

• Dans les VLM à pleine échelle (par exemple, LLaVA-1.5-7B), des têtes d'attention présentant des comportements d'agrégation similaires sont identifiées, renforçant l'hypothèse que l'ancrage émerge de têtes spécialisées, même dans des systèmes complexes pré-entraînés.

Signification et Revendications

L'article affirme fournir la première preuve causale et mécaniste que l'ancrage des symboles peut émerger dans les modèles de langage multimodaux autorégressifs entraînés uniquement avec des objectifs de prédiction du prochain jeton.

• Définir l'Ancrage Mécanistiquement : Ce travail reformule l'ancrage non pas simplement comme une corrélation statistique entre signaux visuels et textuels, mais comme une propriété mécaniste traçable à travers la dynamique d'entraînement et localisée dans des mécanismes d'attention spécifiques (têtes d'agrégation).
• Limites Architecturales : Il délimite les conditions architecturales nécessaires pour que l'ancrage émerge, notant que les architectures dépourvues de récupération adressable par le contenu (comme les LSTMs standards) ne parviennent pas à développer cette capacité.
• Implications Pratiques : L'identification des têtes d'agrégation offre une voie potentielle pour diagnostiquer et contrôler la fiabilité des modèles. Puisque les hallucinations découlent souvent d'une attention mal allouée dans les couches intermédiaires, la surveillance de ces têtes spécifiques pourrait servir d'indicateur précoce d'un « faux ancrage » ou d'une confiance excessive, informant les stratégies de décodage pour atténuer les hallucinations.

Les auteurs concluent que, bien que leurs bancs d'essai minimaux offrent un proxy contrôlé, les résultats se généralisent à des contextes multimodaux réalistes, suggérant que la capacité de liaison et d'ancrage des symboles est une propriété émergente inhérente aux architectures autorégressives suffisamment expressives.