Do Language Models Encode Knowledge of Linguistic Constraint Violations?

Résumé technique : Les modèles de langage encodent-ils la connaissance des violations de contraintes linguistiques ?

Énoncé du problème
Bien que les grands modèles de langage (LLM) démontrent de solides performances sur les benchmarks linguistiques et généralisent les régularités grammaticales à partir de textes bruts, les mécanismes internes leur permettant de distinguer les phrases bien formées des phrases mal formées restent obscurs. Plus précisément, il reste à déterminer si les LLM, en particulier les architectures basées sur les Transformers, encodent des « caractéristiques détectrices » spécifiques qui s'activent lors de la rencontre de violations grammaticales pour pénaliser la vraisemblance logarithmique d'une phrase. Cette étude examine l'hypothèse selon laquelle les LLM possèdent des représentations latentes de violations de contraintes linguistiques (notées par la variable $G$ dans le cadre de Hu et al., 2026) qui sont activées de manière sélective lors du traitement d'entrées non grammaticales.

Méthodologie
L'étude adopte une approche d'interprétabilité mécaniste utilisant des autoencodeurs parcimonieux (SAE) pour décomposer les activations polysémantiques des LLM en caractéristiques parcimonieuses et monosémantiques.

• Jeu de données : Les auteurs utilisent le benchmark BLiMP (Warstadt et al., 2020), qui fournit 13 phénomènes linguistiques. Chaque phénomène consiste en des paires minimales où une phrase bien formée ($x_{good}$) et une phrase mal formée ($x_{bad}$) diffèrent par exactement un mot. Cette conception maintient le message sémantique ($m$) constant tout en faisant varier la contrainte grammaticale ($G$).
• Modèles : Les expériences ont été menées sur six modèles répartis en trois familles : GPT-2 (small), Gemma-3 (270M, 1B, 4B) et Qwen3.5 (2B, 9B).
• Décomposition des caractéristiques : Des SAE pré-entraînés (provenant de SAELens, Qwen Scope et Gemma Scope 2) ont été appliqués aux flux résiduels à des couches spécifiques (25 %, 50 %, 65 % et 85 % de la profondeur du modèle).
• Score de sensibilité ($\Phi$) : Un score de sensibilité a été introduit pour classer les caractéristiques des SAE en fonction de leur activation préférentielle sur les entrées violant les contraintes par rapport aux entrées bien formées. Les caractéristiques présentant des scores $\Phi$ positifs élevés ont été sélectionnées comme détecteurs de violations candidats.
• Cadre de falsification conjonctive : Pour valider si une caractéristique candidate encode véritablement un détecteur de violation, l'étude propose trois critères évalués conjointement via une ablation ciblée de caractéristiques :
  1. F1 (Effet causal sur les violations) : L'ablation des caractéristiques candidates doit augmenter significativement la vraisemblance logarithmique des phrases non grammaticales par rapport à un contrôle aléatoire.
  2. F2 (Stabilité des non-violations) : L'ablation ne doit pas dégrader significativement la vraisemblance logarithmique des phrases bien formées (seuil de stabilité $|\bar{M}_{good}| < 0.05$).
  3. F3 (Effet préférentiel) : La variation de la marge de préférence (bonne vs mauvaise) induite par l'ablation doit être strictement positive et significativement supérieure à celle d'un contrôle aléatoire, garantissant que l'effet est sélectif aux violations.

Contributions clés

1. Score de sensibilité ($\Phi$) : Une métrique non supervisée pour identifier les caractéristiques activées de manière préférentielle par des entrées violant les contraintes, permettant la sélection ciblée de caractéristiques de violations candidates sans supervision étiquetée.
2. Cadre de falsification conjonctive : Un test rigoureux à trois critères (F1, F2, F3) conçu pour distinguer les vrais détecteurs spécifiques aux violations des caractéristiques qui ne font que corréler avec la fluidité générale ou la vraisemblance de la phrase.
3. Analyse empirique : Une évaluation complète portant sur 13 phénomènes linguistiques et six modèles, révélant que si les modèles contiennent des informations relatives aux violations, ces informations ne sont pas nettement séparables en détecteurs unifiés et sélectifs sous le cadre d'intervention actuel.

Résultats
Les résultats empiriques sont largement négatifs concernant l'hypothèse de détecteurs unifiés et sélectifs de violations :

• Performance F1 : Le critère d'effet causal (F1) a été satisfait de manière large à travers les modèles et les phénomènes. Les caractéristiques à fort $\Phi$ sont corrélées aux entrées violant les contraintes, car leur suppression augmente la vraisemblance des phrases non grammaticales.
• Échecs de F2 et F3 : Les critères de stabilité (F2) et d'effet préférentiel (F3) ont échoué dans la plupart des cas. Les caractéristiques identifiées comme sensibles aux violations affectent souvent aussi de manière causale les phrases bien formées (violation de F2) ou affectent les phrases grammaticales et non grammaticales avec une ampleur comparable (violation de F3).
• Satisfaction conjointe : Le critère conjoint (F1 $\cap$ F2 $\cap$ F3) n'a été satisfait que par un seul phénomène (formes irrégulières sur GPT-2) à travers tous les modèles.
• Enchevêtrement des caractéristiques : Les résultats suggèrent que les caractéristiques liées aux violations ne sont pas isolées. Au contraire, elles semblent encoder des informations de fluidité générale ou être enchevêtrées avec des caractéristiques représentant le message général ($m$), rendant difficile l'isolement d'une variable pure de « grammaticalité » $G$ par ablation.

Signification et affirmations
L'article conclut que les LLM actuels ne semblent pas encoder un ensemble unifié de détecteurs de violations grammaticales qui seraient activés de manière sélective et causalement distincts des représentations générales de phrases. Bien que les modèles possèdent des informations pertinentes pour les violations grammaticales, ces informations ne sont pas nettement séparables des représentations plus larges au niveau de la phrase sous le cadre d'intervention actuel.

Les auteurs émettent l'hypothèse que les résultats négatifs pourraient découler de :

1. L'échec du score de sensibilité à révéler des caractéristiques satisfaisant F2 et F3.
2. L'échec des SAE à retrouver des caractéristiques correspondant à F2 et F3, qui pourraient être absorbées dans d'autres caractéristiques.
3. La distribution des caractéristiques pertinentes sur plusieurs couches plutôt que leur localisation dans une seule couche.

L'étude ne prétend pas réfuter l'existence de représentations grammaticales dans leur ensemble, mais met plutôt en lumière les limites des outils actuels d'interprétabilité mécaniste (spécifiquement les SAE et l'ablation) pour isoler ces variables latentes spécifiques. Le travail fait preuve de modestie dans ses affirmations, notant que la découverte principale est négative et que des cadres alternatifs ciblant le surprenant ou les anomalies sémantiques pourraient offrir des perspectives complémentaires.