Résumé Technique : Fixation en Contexte

Énoncé du Problème

Alors que des recherches antérieures (Min et al., 2022) ont établi que des étiquettes de démonstration aléatoires ont un impact minimal sur les performances de l'apprentissage en contexte (ICL), cet article identifie un mode de défaillance critique appelé Fixation en Contexte. Les auteurs démontrent que lorsque les démonstrations partagent des étiquettes homogènes (même si elles sont sémantiquement valides), la précision du modèle s'effondre à $\le$12 % à travers diverses architectures et tâches.

Crucialement, l'article soutient que le déclencheur n'est pas la justesse des étiquettes, mais le contenu de l'emplacement de l'étiquette lui-même. Le modèle semble traiter les tokens occupant la position de l'étiquette dans les démonstrations comme un vocabulaire de réponse exhaustif. Ce comportement contredit les comptes rendus bayésiens de concepts latents (Xie et al., 2022), qui prédiraient que des étiquettes non-sens diversifiées devraient entraîner une postérieure diffuse permettant à l'inférence sémantique de se rétablir. Au lieu de cela, le modèle lie strictement sa sortie à l'inventaire de tokens démontré, annulant la plausibilité sémantique.

Méthodologie

L'étude emploie une approche multifacette combinant l'analyse comportementale, l'interprétabilité mécaniste causale et la validation inter-architectures :

1. Configuration Expérimentale :

   • Tâches : Quatre tâches de classification binaire à token unique (Catégorie, Sentiment, Température, Taille) et une classification multiclasse à 4 voies.
   • Modèles : Six modèles de base répartis sur trois familles (Pythia, Llama, Qwen) allant de 0,8 à 8 milliards de paramètres.
   • Conditions :
     • Chemin de Jardin (GP) : Les 8 démonstrations partagent une étiquette opposée à la réponse de test.
     • Non-sens Varié : Les démonstrations utilisent des tokens non-sens diversifiés issus d'un ensemble $\{foo, bar, vex, nit, orb\}$.
     • Multi-token : Utilisation de verbalisateurs comme "très positif" pour décomposer la fixation de format par rapport à celle du contenu.
   • Métriques : Précision, masse de probabilité sur les ensembles démontrés par rapport aux réponses correctes, et taux de récupération via correction (patching).

2. Analyse Mécaniste :

   • Correction de Paires d'Activations par Élément : Utilisée sur Pythia-1B pour échanger les activations de la couche d'attention des prompts de contrôle (étiquettes correctes) vers les prompts de chemin de jardin afin d'identifier les circuits causaux.
   • Logit Lens : Appliqué à Llama-3.2-1B pour retracer l'évolution des logits à travers les couches, observant la trajectoire "encodage puis annulation".
   • Attribution Directe des Logits (DLA) : Pour identifier les têtes d'attention spécifiques contribuant à la fixation.

Contributions Clés

1. Phénomène Général aux Tâches : L'effet de fixation est robuste à travers quatre tâches, six modèles et trois familles de modèles (0,8–8 milliards de paramètres). Dans toutes les 12 combinaisons tâche $\times$ modèle, la précision GP tombe en dessous de 15 %, avec des écarts de 64 à 100 points de pourcentage par rapport aux contrôles équilibrés.
2. Fixation au Niveau de l'Ensemble (Récupération de Vocabulaire Contraint) : L'article démontre que la fixation opère sur l'ensemble complet des étiquettes démontrées, et non pas seulement sur un seul token. Même avec des étiquettes non-sens variées, le modèle concentre 42 à 67 % de la probabilité sur l'ensemble démontré tout en supprimant la réponse sémantiquement correcte ($P(chien) < 0,2\%$). Cela prouve que le modèle récupère à partir de l'inventaire démontré plutôt que d'inférer à partir de concepts latents.
3. Généralisation à la Multiclasse et au Multi-token :
   • La fixation s'étend à la classification à 4 voies, réduisant la précision à 0 % lorsque les étiquettes sont homogènes.
   • Dans les verbalisateurs multi-token, la fixation se décompose en composantes de niveau format (adoption du modèle "très X") et de niveau contenu (annulation de la polarité), qui sont expérimentalement dissociables.
4. Premier Circuit Causal pour un Mode de Défaillance ICL :
   • Dans Pythia-1B, la correction de paires par élément récupère 98,4 % de l'écart de précision.
   • Le circuit est localisé à un circuit centré sur la couche 7 (impliquant spécifiquement les couches 7, 10 et 11).
   • Une coalition sparse de seulement 4 têtes (réparties sur 3 couches) atteint une récupération de 87,6 %, bien que le circuit soit distribué (des voies redondantes existent).
5. Réplication Inter-Architectures : L'analyse Logit Lens sur Llama-3.2-1B confirme la trajectoire encodage puis annulation : les couches intermédiaires (L9–L11) encodent la réponse correcte, mais les couches supérieures (L12–L15) l'annulent dans les conditions de chemin de jardin. La correction par élément sur Llama confirme la suffisance causale (89 % de récupération avec les 5 meilleures couches).

Résultats

• Relation Dose-Réponse : La précision diminue de manière monotone à mesure que le nombre de démonstrations trompeuses augmente. Dans Qwen3-8B, une seule démonstration trompeuse supplémentaire (passant de $k=7$ à $k=8$) provoque un effondrement quasi-discontinu de 42 % à 0 % de précision.
• Limites au Niveau de l'Ensemble : Lorsqu'une étiquette correcte (par exemple "chien") est exclue de l'ensemble démontré, sa probabilité est supprimée par un facteur de 1,6 à 9,4 par rapport aux contrôles équilibrés, indépendamment de la validité sémantique des étiquettes de démonstration.
• Biais de Récence : Une seule démonstration corrective à la position finale (position 8) peut inverser complètement la fixation (0 % $\to$ 100 % de précision), annulant sept démonstrations opposées.
• Échec de Calibration : Les méthodes de calibration contextuelle échouent à résoudre la fixation, laissant un résidu d'écart de 40 points de pourcentage.
• Ajustement par Instruction : Les modèles ajustés par instruction présentent une fixation sous prompting brut, bien que les modèles de chat puissent réduire l'écart dans certains modèles (par exemple, Llama-3.2-3B-Instruct), suggérant que l'effet interagit avec le formatage des invites.

Signification et Revendications

L'article revendique révéler que la sortie ICL est une récupération de vocabulaire contraint plutôt qu'une inférence sémantique ou une mise à jour bayésienne de concepts latents. Le modèle lie sa sortie à l'inventaire de tokens démontré indépendamment de la plausibilité sémantique.

• Insight Mécaniste : La trajectoire "encodage puis annulation" fournit une explication mécaniste des échecs de l'ICL : le modèle calcule correctement la réponse dans les couches intermédiaires mais la rejette dans les couches supérieures en faveur de l'ensemble d'étiquettes démontré.
• Implications Théoriques : Cette découverte remet en question la vision de l'ICL comme une inférence bayésienne purement implicite. Elle suggère un mécanisme de "récupération d'ensemble conditionnée par l'emplacement" où l'emplacement de l'étiquette définit le support de la distribution de sortie.
• Implications Pratiques : Les auteurs identifient cela comme un mode de défaillance de fiabilité concret pour les systèmes déployés (par exemple, pipelines RAG, structures d'agents). Ils proposent que la diversité des démonstrations est cruciale ; spécifiquement, l'ajout d'une seule démonstration diversifiée et correctement étiquetée à la fin d'une invite peut atténuer l'effet.
• Sécurité : Le mécanisme constitue une surface d'attaque par injection d'invite où un adversaire contrôlant la sélection des démonstrations peut de manière déterministe annuler les prédictions du modèle en assurant l'homogénéité des étiquettes.

L'article conclut que si l'effet persiste à 8 milliards de paramètres, l'architecture spécifique du circuit varie selon le modèle (par exemple, Pythia contre Llama), et que le phénomène mérite une investigation plus approfondie dans les modèles plus grands et les tâches de raisonnement.