Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

Résumé technique : Sonde de la structure de phase minimaliste dans les LLM

Énoncé du problème
Le sondage structurel a établi que les grands modèles de langage (LLM) encodent la structure syntaxique dans leurs représentations cachées, généralement entraînés pour récupérer les distances des arbres des Dépendances Universelles (UD). Cependant, l'UD est un schéma d'annotation, et non une grammaire générative ; il manque d'abstractions formelles-syntaxiques telles que les frontières de phase (du Programme Minimaliste) ou la cohésion intra-phase. Par conséquent, le sondage standard basé sur l'UD ne peut pas déterminer si les LLM encodent ces propriétés structurelles plus profondes. Si une sonde détecte une différence entre les conditions, il est unclear si cela reflète l'abstraction syntaxique cible ou simplement un ré-encodage des distances UD ou des propriétés de surface. Cet article aborde la question ouverte de savoir si les LLM encodent des abstractions formelles-syntaxiques au-delà de la portée du sondage basé sur l'annotation.

Méthodologie
Les auteurs conçoivent une expérience de sondage utilisant des stimuli de mouvement wh, où la distance de l'arbre UD entre les paires de mots sondées est maintenue invariante à travers les conditions par construction. Cela garantit que tout effet non nul détecté par la sonde reflète une information structurelle non capturée par l'UD.

1. Construction des stimuli :
   Trois conditions sont créées pour chaque élément, ordonnées par le nombre de frontières de phase du Programme Minimaliste (MP) que l'élément wh traverse :

   • Proposition réduite nue (Bare Small Clause) : (par exemple, What did she see him eat ?) – 0 phase supplémentaire.
   • Infinitive : (par exemple, What did she expect him to eat ?) – 1 phase supplémentaire (vP).
   • Finie : (par exemple, What did she think he ate ?) – 2 phases supplémentaires (vP et CP).

   Deux paires de sondage sont mesurées :

   • Inter-clause (wh–sujet enchâssé) : Teste le « gradient de comptage de phases » (profondeur structurelle).
   • Intra-clause (sujet enchâssé–verbe enchâssé) : Teste la « cohésion intra-phase ». Crucialement, la distance UD pour cette paire est exactement de 1 arête (nsubj) dans les trois conditions.

2. Protocole de sondage :

   • Des sondes linéaires sont entraînées sur l'arbre Web des Dépendances Universelles anglais (UD-EWT) pour mapper les états cachés vers un espace euclidien.
   • Ces sondes entraînées sont évaluées sur les stimuli de mouvement wh sans ajustement supplémentaire.
   • Les tailles d'effet ($\beta$) sont estimées via une régression OLS comparant les conditions Finie et Infinitive par rapport à la référence nue.
   • Rapport de couche canonique : Pour éviter la sélection opportuniste de couches (un problème courant où différents contrastes atteignent leur pic à différentes couches), les auteurs définissent une seule « couche canonique » ($L^*$) par modèle basée sur la couche maximisant le contraste le plus fiable ($\beta_{fin}$). Tous les autres contrastes sont rapportés à cette couche fixe.

3. Vérification causale :
   Une expérience de patching d'activation est menée. La représentation du flux résiduel du sujet enchâssé d'une source infinitive est patchée dans une cible nue. Si la représentation encode causalement l'information sur le type de clause, cela devrait déplacer la distance de la sonde dans la direction prédite.

4. Modèles :
   L'étude évalue 13 modèles de base uniquement décodeurs issus de quatre familles : Gemma-3, Llama-3, Mistral et Qwen.

Résultats clés

1. Gradient de comptage de phases (Inter-clause) :
   Sur 12 modèles sur 13, la distance de la sonde entre l'élément wh et le sujet enchâssé suit le gradient prédit : $\beta_{fin} > \beta_{inf} > 0$. Cela indique que les représentations du modèle reflètent le nombre croissant de frontières de phase traversées, même si les distances UD sont invariantes.

2. Asymétrie de signe (Intra-clause) :
   Sur la paire sujet enchâssé–verbe (où la distance UD est identique), une asymétrie de signe robuste 13/13 est observée :

   • Condition Finie : $\beta < 0$ (les représentations sont plus proches que la référence).
   • Condition Infinitive : $\beta > 0$ (les représentations sont plus éloignées que la référence).

   Ce modèle contredit les explications alternatives :

   • Distance UD : Prédit $\beta \approx 0$ (la distance est constante).
   • Distance linéaire : Prédit $\beta_{inf} > 0$ mais $\beta_{fin} \approx 0$ (finie et nue sont adjacentes ; l'infinitive a un 'to' intercalaire).
   • Complexité monotone : Prédit $\beta_{fin} > \beta_{inf} > 0$ (plus de structure = distance plus grande).

   Le $\beta_{fin}$ négatif observé est spécifiquement prédit par la cohésion intra-phase, une abstraction MP où les éléments au sein d'une même phase complétée (CP Finie) sont réalisés comme une unité cohésive, les rendant représentationnellement plus proches.

3. Corroboration causale :
   Le patching d'activation à la position du sujet enchâssé déplace avec succès les distances de la sonde dans la direction prédite pour 12 modèles sur 13. Cela confirme que les représentations identifiées sont causalement actives dans le calcul du modèle, répondant au scepticisme quant à savoir si les sondes récupèrent des représentations que le modèle utilise réellement.

Contributions clés

1. Sondage à distance UD invariante : Les auteurs démontrent une méthode pour sonder la structure syntaxique où les distances UD sont strictement contrôlées, garantissant que les effets détectés reflètent une structure au-delà de l'UD.
2. Rapport de couche canonique : Ils introduisent une norme de rapport plus stricte qui ancre tous les contrastes à une seule couche, éliminant un degré de liberté et révélant l'hétérogénéité (par exemple, l'échec de Qwen-3-4B) que le rapport de pic par contraste aurait dissimulée.
3. Preuve causale : Grâce au patching d'activation, ils fournissent une preuve directe que les représentations de la structure de phase sont computationnellement actives, et non simplement corrélées.

Signification et affirmations
L'article affirme que le pré-entraînement distributionnel induit des représentations alignées sur des abstractions formelles-syntaxiques (spécifiquement les frontières de phase et la cohésion intra-phase) qui sont invisibles pour l'annotation basée sur l'UD. L'asymétrie de signe 13/13 sur la paire intra-clause sert de preuve d'existence que les LLM encodent des informations structurelles inaccessibles au sondage standard.

Les auteurs concluent que les sondes ancrées dans l'UD fournissent une borne inférieure pour l'encodage syntaxique, et non une borne supérieure. Les résultats suggèrent que les LLM peuvent posséder une représentation syntaxique plus riche que celle capturée par les annotations de dépendance standard, pilotée par les régularités statistiques des données d'entraînement plutôt que par une instruction grammaticale explicite.

Limites
L'étude est limitée à l'anglais et à des classes de verbes spécifiques. Les auteurs notent que le gradient de comptage de phases est directionnel (prédisant l'ordre, et non les rapports de magnitude) et que les effets de mise à l'échelle au sein des familles de modèles sont hétérogènes. L'affirmation causale est conservative, limitée à l'effet de la représentation du sujet enchâssé sur les distances de la sonde en général, plutôt qu'à la preuve de mécanismes spécifiques pour l'asymétrie de signe.