Résumé technique : Têtes de liaison culturelle dans les modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM) ont tendance à adopter par défaut un « traitement égal » entre les groupes culturels, même lorsque le contexte justifie explicitement une différenciation. Ce phénomène, qualifié d'absence de conscience des différences, conduit les modèles à traiter des scénarios culturellement spécifiques (par exemple, choisir un animateur pour une séance de Feng Shui) comme s'ils étaient culturellement neutres (par exemple, choisir un animateur pour le trading de cryptomonnaies). Bien que les modèles possèdent souvent les connaissances culturelles requises, ils échouent à les utiliser de manière appropriée lors de la prise de décision.

Les benchmarks d'équité existants mesurent souvent l'« absence de conscience des différences » (la tendance à traiter tous les groupes de manière identique), mais ne parviennent pas à distinguer entre un manque de connaissances et un échec à activer ces connaissances de manière contextuelle. Les auteurs postulent que le goulot d'étranglement ne réside pas dans le stockage des connaissances culturelles, mais dans le mécanisme de contrôle qui détermine quand la différenciation culturelle est appropriée. Cet article examine les mécanismes internes responsables de la liaison culturelle — le processus d'association d'éléments culturels à des identités appropriées — et cherche à identifier et moduler les composants neuronaux spécifiques régissant ce processus.

Méthodologie

L'étude utilise un pipeline d'interprétabilité mécaniste employant un plan factoriel sur le benchmark N4 d'appropriation culturelle (Wang et al., 2025). La méthodologie se compose de quatre étapes principales :

1. Construction du benchmark factoriel : Les auteurs ont créé 847 paires de prompts couvrant 66 éléments culturels. Chaque paire comprend un prompt Correspondant (contenant une identité culturellement liée $R$ et une identité non liée $U$) et un prompt Non correspondant (où $R$ est remplacé par une autre identité non liée). Cette conception isole l'effet de l'appariement identité-élément sur la sortie du modèle.
2. Mesure de la force de liaison (Score S) : Les auteurs définissent un score S pour mesurer la tendance du modèle vers un traitement égal versus une différenciation. La métrique clé est l'effet d'appariement, $\Delta(S) = S_{correspondant} - S_{non\ correspondant}$. Un $\Delta(S)$ négatif indique que le modèle différencie davantage lorsque l'identité liée est présente.
3. Découverte des têtes et vérification causale :
   • Découverte : En utilisant une régression logistique régularisée L1 sur les motifs d'attention, les auteurs ont identifié des têtes d'attention candidates qui distinguent les prompts correspondants des non correspondants.
   • Inactivation causale : Pour établir la causalité, les auteurs ont effectué une inactivation de connexion sur des connexions d'attention spécifiques ($R \rightarrow \text{élément}$). Ils ont défini les poids d'attention pré-softmax à $-\infty$, annulant effectivement la connexion. Une condition témoin ($U \rightarrow \text{élément}$) a été utilisée pour garantir la spécificité.
4. Modulation et sondage :
   • Mise à l'échelle $\alpha$ : Une intervention continue a été appliquée pendant la génération pour moduler la force de liaison, testant une relation dose-réponse.
   • Sondage des connaissances : Une tâche distincte a mesuré la capacité du modèle à identifier des associations dans un contexte non décisionnel (Score de connaissances, $K$). Cela a permis aux auteurs de dissocier la récupération de connaissances du contrôle décisionnel.

Le pipeline a été appliqué à huit modèles répartis sur quatre architectures (Mistral-7B, Mistral-Nemo-12B, Llama-3.1-8B, Gemma-2-9B), incluant à la fois les versions de base et les versions ajustées par instruction.

Contributions clés

1. Identification des têtes de liaison culturelle : L'étude identifie 2 à 3 têtes d'attention de couche intermédiaire (situées dans les couches 7 à 16) par modèle qui contribuent causalement à la liaison culturelle. Ces têtes médiatisent l'association entre les identités culturelles et les éléments.
2. Origine pré-entraînement : Les têtes identifiées se transfèrent des modèles ajustés par instruction à leurs homologues de base. Les expériences d'inactivation sur les modèles de base produisent des réductions causales similaires de la force de liaison, suggérant que le mécanisme de liaison culturelle se forme durant le pré-entraînement plutôt que d'être introduit par l'ajustement par instruction.
3. Modulation par mise à l'échelle $\alpha$ : Les auteurs démontrent que l'amplification de la sortie de ces têtes spécifiques ($\alpha = 2–3$) peut augmenter la précision de la différenciation culturelle de 1 à 3 points de pourcentage sur les questions culturelles, tout en préservant largement le raisonnement de traitement égal sur les questions neutres.
4. Écart entre connaissances et action : Une tâche de sondage des connaissances révèle que les modèles possèdent une force d'association culturelle 3 à 5 fois plus élevée ($|\Delta K|$) que celle qu'ils manifestent dans la liaison décisionnelle ($|\Delta S|$). Cela indique que le goulot d'étranglement réside dans le routage (contrôle) plutôt que dans l'acquisition de connaissances.

Résultats

• Impact causal : L'inactivation des connexions $R \rightarrow \text{élément}$ des têtes identifiées réduit la force de liaison ($|\Delta S|$) de 9 à 23 % sur l'ensemble des huit modèles. Les inactivations aléatoires de têtes n'ont montré aucun effet significatif, confirmant la spécificité du circuit identifié.
• Réponse dose-réponse : La mise à l'échelle $\alpha$ révèle une réponse graduée. Une amplification modérée ($\alpha = 2–3$) améliore la précision de différenciation sur trois des quatre architectures (Mistral, Nemo, Gemma) avec une dégradation minimale du raisonnement neutre. Cependant, Llama présente une réponse non monotone, où une amplification excessive dégrade les performances.
• Différences d'architecture :
  • Mistral/Nemo : Les têtes identifiées contribuent de manière à peu près égale à la récupération de connaissances et aux décisions de contrôle ($K/S \approx 1,0$).
  • Llama : Les têtes sont plus fortement associées à la récupération de connaissances ($K/S \approx 1,9$), suggérant que le mécanisme de liaison repose sur d'autres voies non capturées par cet ensemble spécifique de têtes.
  • Gemma : Les têtes sont plus fortement associées aux décisions de contrôle ($K/S \approx 0,36$).
• Ajustement par instruction : Bien que le mécanisme existe dans les modèles de base, l'ajustement par instruction amplifie le signal et déplace l'équilibre de ces têtes vers un rôle de contrôle plus dominant par rapport à la récupération de connaissances.

Importance et affirmations

L'article reformule la différenciation culturelle appropriée au contexte non pas comme un biais à supprimer, mais comme un problème de liaison impliquant des connaissances de domaine spécifiques. L'importance principale de ce travail réside dans l'identification d'une poignée mécaniste traitable (2 à 3 têtes d'attention) qui médiatise la mobilisation des connaissances culturelles.

Les auteurs affirment que l'« écart implicite-explicite » (où les modèles connaissent les associations culturelles mais échouent à agir en conséquence) est principalement un problème de routage. Le goulot d'étranglement n'est pas le manque de données culturelles ou la nécessité d'un réentraînement, mais l'échec du circuit interne du modèle à activer les bonnes associations au moment de la décision.

L'étude suggère que les interventions au niveau du circuit (telles que la mise à l'échelle $\alpha$ ciblée) offrent une alternative prometteuse aux approches centrées sur les données ou au fine-tuning complet pour améliorer les comportements conscients des différences. Cependant, les auteurs restent modestes, notant que les gains sont actuellement modestes (1 à 3 points de pourcentage), que le guidage ne se transfère pas proprement à toutes les architectures (spécifiquement Llama), et que les têtes identifiées ne représentent qu'une fraction (9 à 23 %) de l'effet total de liaison, impliquant qu'un circuit plus vaste reste à caractériser pleinement.