Priors Persist Through Suppression: A Stroop Paradigm for Lexical Override

Résumé Technique : La persistance des priors à travers la suppression

Énoncé du problème
Les modèles de langage (LM) sont fréquemment amenés à suivre des définitions locales qui supplantent temporairement leurs priors lexicaux préentraînés (par exemple, un glossaire définissant « port » comme « socket »). Bien que ces remplacements réussissent souvent, ils ne constituent pas des substitutions de sens nettes. Au lieu de cela, le prior lexical préentraîné continue d'opérer, créant un biais résiduel vers le sens familier même lorsqu'une règle locale est appliquée. Cet « échec de remplacement » (override failure) se manifeste par une interférence silencieuse dans les probabilités du prochain jeton (next-token probabilities), ce qui est critique dans les domaines exigeant une adhérence stricte aux définitions spécifiques au document, tels que la documentation juridique, médicale ou technique. L'article postule que le remplacement contextuel est une compétition où le prior persiste plutôt que d'être effacé, et cherche à quantifier cette interférence et à localiser sa source mécaniste.

Méthodologie
Les auteurs introduisent un paradigme de type Stroop pour isoler l'interférence du prior lexical au niveau de l'item.

• Stimuli : Pour chaque item, un mot de requête $w$ est remappé vers une cible contextuelle $t$ (ex : « docteur » signifie « forêt »). Un distracteur lié au prior lexical $d$ (ex : « hôpital ») entre en compétition avec la cible.
• Contrôle : Un contrôle neutre apparié remplace le mot de requête $w$ par un mot sémantiquement faible $n$ (ex : « classe ») tout en gardant la cible $t$ et le distracteur $d$ identiques. Cette conception isole l'interférence causée spécifiquement par le prior du mot de requête.
• Métrique comportementale : L'effet d'interférence ($\Delta$) est mesuré comme la différence de préférence relative de la cible entre les prompts neutres et conflictuels : $\Delta = E_n[S(x_{neutral})] - S(x_{conflict})$, où $S(x) = \log P(t|x) - \log P(d|x)$.
• Portée : L'analyse comportementale couvre 11 modèles en poids ouverts (familles Qwen, Gemma, OLMo, Mistral) allant de 1B à 9B de paramètres. L'analyse mécaniste se concentre sur un sous-ensemble traitable de 5 modèles alignés via le patch d'activation (activation patching) avec TransformerLens.

Résultats Clés

1. Persistance comportementale des priors :

   • À travers les 11 modèles et quatre familles de conflits (antonyme, arbitraire, polysémie, définition de domaine), l'effet d'interférence est positif, indiquant que le conflit lexical réduit la préférence pour la cible contextuelle.
   • L'effet est plus prononcé dans les contextes liés aux documents (arbitraire, polysémie, définition de domaine), qui sont 2 à 4 fois plus importants que le remappage d'antonymes canonique.
   • La force du prior lexical comme prédicteur : Une analyse de régression contrôlée révèle que la force du prior lexical ordinaire du distracteur (mesurée par $\log P(d) - \log P(t)$ dans un contexte neutre) prédit positivement l'ampleur de l'interférence ($\beta \approx 0,114, p < 10^{-9}$). Cela est vrai même après avoir contrôlé le prior de la réponse, la fréquence des jetons, la tokenisation, le style de prompt et l'échelle du modèle. Les priors « fuient » à travers le remplacement en proportion de leur force.

2. Localisation mécaniste via le patch d'activation :

   • Triplet source : Le patch d'activation identifie un triplet position-source spécifique — (sujet de la définition, cible de la définition, mot de requête) — qui récupère presque entièrement l'effet de conflit lorsqu'il est patché d'une exécution propre vers une exécution corrompue (récupération agrégée $R \in [0,92, 1,06]$). Ce triplet surpasse toute paire de positions-sources.
   • Liaison (Binding) vs Identité : Un contrôle de « permutation de la cible de la définition » (gardant le sujet et la requête appariés mais permutant l'activation de la cible avec un item donneur) provoque l'effondrement de la récupération. Cela confirme que le triplet effectue une liaison (associer le mot spécifique à sa nouvelle valeur) plutôt qu'une simple correspondance d'identité.
   • Décomposition du logit : La récupération de la marge cible-distracteur est pilotée par la préservation de la cible, et non par la suppression du distracteur.
     • Sous une liaison appariée, le logit de la cible est préservé tandis que le logit du distracteur chute.
     • Sous une liaison corrompue (contrôles de permutation ou de mésappariement d'items), le logit du distracteur chute de la même manière que dans la condition appariée, mais le logit de la cible s'effondre.
     • Cela indique que la suppression du distracteur est un effet large de la perturbation de la position source, tandis que la contribution spécifique de la liaison est la préservation de la cible contextuelle.

Signification et Revendications
L'article revendique une convergence entre les preuves comportementales et mécanistes sur un unique « canal de prior lexical » :

• Comportementalement : La force du prior lexical prédit quels items résistent au remplacement.
• Mécaniquement : Le même canal (spécifiquement la position de la cible de la définition au sein du triplet source) est l'endroit où l'effet causal de la réparation du remplacementlandit.

Les auteurs soutiennent que le remplacement lexical n'est pas une substitution propre mais une compétition partielle où le prior reste actif. L'étude fournit un paradigme contrôlé pour mesurer cette interférence et une explication mécaniste de la manière dont les modèles lient de nouvelles définitions à des jetons existants, distinguant la suppression des priors concurrents de la préservation du sens contextuel voulu.

Limites
Les auteurs notent que le paradigme utilise des stimuli synthétiques de forme courte et des jetons anglais. Les résultats mécanistes sont établis sur un remappage d'antonymes au sein de wrappers de règles de jeu sur de petits modèles (1B–2B). Il reste une question ouverte de savoir si la structure du triplet source spécifique et la partition fonctionnelle entre la préservation de la cible et la suppression du distracteur se généralisent aux modèles plus grands (7B+), aux autres familles de conflits et aux contextes de documents longs et complexes.