How Language Models Process Negation

Résumé technique : Comment les modèles de langage traitent la négation

Énoncé du problème
Les grands modèles de langage (LLM) échouent fréquemment sur des requêtes impliquant une négation (par exemple, « Un animal qui n'est pas un amphibien est un __ »), produisant souvent le concept positif (« grenouille ») au lieu du concept négé correct (« chien »). Alors que les travaux antérieurs en interprétabilité mécaniste (MI) ont établi que les modèles traitent la récupération de faits par une agrégation additive de preuves, la négation ne s'inscrit pas dans ce paradigme. L'article examine les mécanismes internes des LLM pour déterminer s'ils possèdent la capacité de traiter la négation et, le cas échéant, pourquoi ils échouent à manifester cette capacité dans leurs sorties finales. Les auteurs abordent deux hypothèses concurrentes concernant la manière dont les modèles gèrent la négation : l'hypothèse de suppression (le modèle promeut les concepts pertinents et supprime le token négé) et l'hypothèse de construction (le modèle construit explicitement une nouvelle représentation pour la phrase négée, par exemple en représentant « pas de gaz » comme un vecteur pour « solide »).

Méthodologie
L'étude utilise un jeu de données contrôlé de 648 invites sous la forme « X qui n'est pas Y est Z », en exploitant des modèles tels que Llama-3.1-8B, Mistral-7B et divers points de contrôle OLMo2. Les auteurs appliquent une série de techniques d'interprétabilité observationnelle et causale :

1. Métriques de sensibilité : Les auteurs définissent une métrique de sensibilité basée sur les différences de logits pour déterminer si les modèles distinguent intérieurement entre les invites positives et négatives, même lorsque la précision est faible.
2. Enfoncement de l'attention (Attention Sinking) : Une méthode d'ablation novatrice inspirée des phénomènes d'enfoncement de l'attention. En restreignant les têtes d'attention à ne s'attarder que sur elles-mêmes et le premier token, les auteurs annulent efficacement des modules d'attention spécifiques. Ils appliquent l'Enfoncement cumulatif de l'attention (ablation de toutes les couches à partir d'un point spécifique jusqu'à la fin) pour identifier les couches où résident les mécanismes de « raccourci ».
3. Patchage de chemin et LogitLens : Ces techniques sont utilisées pour tracer les voies causales. Le patchage de chemin remplace les sorties d'attention des invites négatives par celles des invites positives pour observer les inversions de prédiction. LogitLens projette les états cachés intermédiaires sur le vocabulaire pour interpréter le contenu sémantique des représentations internes.
4. Autoencodeurs épars (SAE) : Utilisés pour décomposer les sorties des MLP en caractéristiques latentes éparses, permettant d'identifier des neurones spécifiques qui promeuvent les concepts négés.
5. Annotation par LLM : Un pipeline automatisé utilisant un LLM externe (gpt-oss-120b) pour étiqueter si les tokens promus par les têtes d'attention internes sont sémantiquement liés à « pas Y » ou au concept original « Y ».

Résultats clés

• Coexistence des mécanismes : L'article démontre que les LLM possèdent des mécanismes internes capables de traiter correctement la négation, mais que ceux-ci sont souvent éclipsés par des mécanismes de « raccourci » dans les couches ultérieures.
• Têtes d'attention de raccourci : Les auteurs identifient des têtes d'attention spécifiques dans les couches intermédiaires à tardives (généralement >50 % de la profondeur du modèle) qui promeuvent des réponses positives sur des invites négatives. Ces têtes reposent sur des corrélations fallacieuses (par exemple, la co-occurrence de « amphibien » et de « grenouille ») plutôt que sur une négation logique. L'ablation de ces têtes via l'Enfoncement de l'attention améliore considérablement la précision négative (par exemple, passant d'environ 50 % à environ 68 % sur Llama-3.1-8B).
• Traitement dominant par construction : Le mécanisme principal pour une négation correcte est la construction, et non la suppression.
  • Couches précoces/moyennes : Les têtes d'attention déplacent la représentation du token de négation (« pas ») vers la position du concept étant nié (« Y »).
  • Construction en couche moyenne : Les modules d'attention causalement importants (autour de la couche 14 sur Llama-3.1-8B) construisent explicitement une représentation négée ($\bar{Y}$). L'analyse LogitLens montre que ces couches promeuvent des tokens sémantiquement liés au concept négé (par exemple, « solide » pour « pas de gaz ») dans plus de 80 % des cas.
  • Suppression : Bien que le modèle supprime le concept original « Y », cela se produit dans une moindre mesure que la construction du concept négé.
• Rôle des MLP : Les MLP des couches tardives amplifient la représentation négée construite, promouvant la réponse finale correcte. L'analyse SAE révèle des latents spécifiques qui instancient directement ces concepts négés.
• Origine pré-entraînement : Les mécanismes de raccourci responsables des échecs sont tracés jusqu'aux premières étapes du pré-entraînement, où les modèles développent un biais en faveur des réponses positives sur des invites négatives.

Contributions clés

1. Diagnostic des échecs de négation : Les auteurs montrent que les échecs des LLM sur la négation ne sont pas dus à un manque de capacité interne, mais plutôt à la domination des mécanismes de raccourci dans les couches ultérieures.
2. Méthode d'intervention : L'introduction de l'Enfoncement de l'attention comme intervention plug-and-play qui atténue les comportements de raccourci et restaure la précision de la négation sans entraînement supplémentaire.
3. Explication mécaniste : Une carte causale détaillée du traitement de la négation, établissant que les modèles mettent en œuvre à la fois la construction et la suppression, la construction étant le mécanisme dominant. L'article identifie systématiquement comment l'attention déplace « pas » vers « Y », construit $\bar{Y}$, et comment les MLP promeuvent la réponse finale.

Importance
L'article soutient qu'une faible précision en boîte noire peut masquer l'existence de mécanismes internes capables. En révélant que les LLM sont des ensembles de mécanismes concurrents (traitement correct de la négation contre heuristiques de raccourci), ce travail souligne la nécessité d'inspecter minutieusement les intérieurs des modèles pour auditer pleinement leurs capacités. Les résultats approfondissent la compréhension de la manière dont les LLM effectuent un raisonnement compositionnel et suggèrent que la « construction » est une stratégie computationnelle plus centrale pour la négation que ce qui était précédemment supposé. Les auteurs concluent que leur travail fournit une base pour construire des LLM plus robustes et fiables en comprenant et en atténuant ces mécanismes internes concurrents.