France or Spain or Germany or France: A Neural Account of Non-Redundant Redundant Disjunctions

1. Problématique et Contexte

L'article s'intéresse à un phénomène linguistique paradoxal : les disjonctions redondantes non redondantes.

• Le paradoxe : Une phrase comme « Elle ira en France ou en Espagne, ou peut-être en Allemagne ou en France » semble formellement redondante (la proposition « France » apparaît deux fois, rendant la structure logique équivalente à $A \lor B \lor C \lor A$).
• La résolution contextuelle : Cependant, dans un contexte structuré tel que « Mary ira à un programme de philosophie en France ou en Espagne, ou à un programme de mathématiques en Allemagne ou en France », la répétition de « France » devient acceptable et même naturelle.
• L'approche existante : Des analyses formelles (ex: Mandelkern, 2024) expliquent ce phénomène par des opérateurs modaux de possibilité intégrés à la sémantique de « ou », où chaque disjonction opère dans un domaine modal distinct.
• L'objectif de l'article : Proposer une explication neuronale alternative à cette analyse symbolique. Les auteurs cherchent à démontrer comment les mécanismes des réseaux de neurones (en particulier les grands modèles de langage ou LLM) résolvent cette tâche sans implémenter explicitement les opérateurs modaux formels, mais en utilisant l'apprentissage de liaisons contextuelles et l'attention.

2. Méthodologie

Les auteurs adoptent une approche hybride combinant des jugements comportementaux humains et des analyses mécanistiques sur des modèles de langage.

A. Expérience Comportementale (Humains et LLMs)

• Stimuli : Création d'items expérimentaux impliquant trois entités (X, Y, Z) et deux contextes distincts (ex: programmes de philosophie vs mathématiques).
  • Condition Critique : Une première phrase (S1) établit une structure disjonctive liant X à deux contextes différents. La phrase de complétion (S2) demande de répéter X.
  • Condition Contrôle : S1 est une simple liste sans structure disjonctive. Répéter X ici est une véritable redondance.
• Participants : 243 humains (via Prolific) et une gamme de 12 modèles de langage (Pythia, GPT-2, LLaMa2) de tailles variées (de 70M à 7B de paramètres).
• Tâche : Complétion de phrase. On mesure le taux de production de l'entité répétée (X) par rapport à d'autres options.

B. Analyse Mécanistique (Interprétabilité)

Pour comprendre comment les LLMs résolvent cette tâche, deux techniques d'interprétabilité causale sont utilisées :

1. Patchage d'activation (Activation Patching) :
   • Technique d'intervention causale où les activations d'un modèle lors d'un traitement de base ($b$) sont écrasées par les activations d'une source ($s$).
   • Hypothèse : Si le modèle lie « France » à son contexte spécifique (philosophie vs mathématiques), le patchage des activations de « France » dans un contexte spécifique devrait augmenter la probabilité du suffixe correspondant (ex: « pour la philosophie »).
2. Analyse des Têtes d'Induction (Induction Heads) :
   • Étude des têtes d'attention connues pour détecter les motifs de répétition (Elhage et al., 2021).
   • Objectif : Observer comment ces têtes s'activent et dirigent l'attention vers l'instance contextuellement pertinente de l'entité répétée pour permettre la copie, ou au contraire, supprimer cette copie dans les conditions de contrôle.

3. Résultats Clés

A. Performance Comportementale

• Humains : Les participants produisent l'entité répétée (X) à un taux significativement plus élevé dans la condition critique (72,3 %) que dans la condition contrôle (28,2 %). Cela confirme que le contexte disjonctif structurel lève la redondance.
• LLMs : Les modèles de grande taille reproduisent fidèlement ce comportement humain.
  • Effet d'échelle : Les modèles de moins de 400M de paramètres échouent souvent (tendance à la copie aveugle ou échec à distinguer le contexte). Au-delà de ce seuil, la capacité à lier le contexte émerge.
  • Effets d'ordre : Les LLMs montrent une sensibilité marquée à l'ordre des termes dans la deuxième disjonction (ZX vs XZ), un effet moins net chez les humains dans cette étude (bien que les auteurs notent un bruit potentiel dans les données humaines).

B. Preuves Mécanistiques

1. Liaison Contextuelle (Patchage) :
   • Les résultats du patchage montrent que les représentations de l'entité répétée (« France ») sont causalement liées à leur contexte immédiat.
   • Lorsqu'on injecte les activations de « France » du contexte « philosophie » dans le contexte « mathématiques », la probabilité du suffixe « pour la philosophie » augmente, prouvant que le modèle encode l'information contextuelle distincte dans la représentation du token lui-même.
2. Rôle des Têtes d'Induction :
   • Dans la condition critique, les têtes d'induction s'activent fortement et dirigent l'attention vers l'instance de X qui correspond au motif de surface de la phrase S2 (surtout si la deuxième disjonction correspond).
   • Dans la condition contrôle, cette activation est absente ou faible, empêchant la copie.
   • Cela explique mécanistiquement pourquoi la répétition est autorisée : le modèle ne copie pas aveuglément, mais sélectionne l'instance pertinente via l'attention.

4. Contributions Principales

1. Preuve de robustesse : Démonstration empirique que le phénomène de « non-redondance redondante » est robuste chez les humains et les grands modèles de langage.
2. Explication Neuronale : Proposition d'une alternative neuronale à l'analyse sémantique formelle de Mandelkern. Au lieu d'opérateurs modaux explicites, le modèle utilise :
   • Le liage contextuel : Intégration du contexte dans la représentation vectorielle de chaque token.
   • L'attention sélective : Utilisation des têtes d'induction pour copier uniquement l'instance contextuellement validée.
3. Corrélation Échelle-Phénomène : Identification d'un seuil de taille de modèle (~400M paramètres) nécessaire pour que cette capacité de liaison contextuelle complexe émerge.
4. Convergence Symbolique/Neuronale : Soutien à l'idée (Potts, 2025) que les phénomènes linguistiques peuvent être décrits avec la même précision via des outils neuronaux que via des outils symboliques, bien que les mécanismes sous-jacents diffèrent.

5. Signification et Conclusion

Cet article est significatif car il comble le fossé entre la linguistique formelle et l'interprétabilité des modèles de langage. Il démontre que les LLMs ne se contentent pas de mémoriser des patterns superficiels, mais qu'ils développent des mécanismes internes sophistiqués (liaison contextuelle et attention sélective) pour gérer la sémantique dépendante du contexte.

La conclusion souligne que, bien que les LLMs n'implémentent pas directement la logique modale de Mandelkern, ils atteignent le même résultat fonctionnel : traiter un matériel lexicale comme non redondant lorsque la structure contextuelle l'autorise. Cela valide l'approche de l'interprétabilité mécanistique comme un outil puissant pour comprendre la cognition linguistique artificielle et, par extension, humaine.