Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

Technische Samenvatting: Het Onderzoeken van Minimalistische Fase-structuur in LLM's

Probleemstelling
Structurele probing heeft vastgesteld dat Large Language Models (LLM's) syntactische structuur coderen in hun verborgen representaties, doorgaans getraind om afstanden in Universal Dependencies (UD)-bomen te herstellen. Echter, UD is een annotatieschema, geen generatieve grammatica; het mist formeel-syntactische abstracties zoals fasegrenzen (uit het Minimalistische Programma) of cohesie binnen een fase. Bijgevolg kan standaard op UD gebaseerde probing niet bepalen of LLM's deze diepere structurele eigenschappen coderen. Als een probe een verschil tussen condities detecteert, is het onduidelijk of dit de target syntactische abstractie weerspiegelt of slechts een hercodering van UD-afstanden of oppervlakte-eigenschappen. Dit artikel adresseert de open vraag of LLM's formeel-syntactische abstracties coderen die buiten het bereik van op annotatie gebaseerde probing vallen.

Methodologie
De auteurs ontwerpen een probe-experiment met wh-bewegingsstimuli waarbij de UD-boomafstand tussen geprobede woordparen door constructie invariant wordt gehouden over de condities heen. Dit waarborgt dat elk door de probe gedetecteerd niet-nul effect structurele informatie weerspiegelt die niet door UD wordt vastgelegd.

1. Constructie van Stimuli:
   Drie condities worden voor elk item gecreëerd, gesorteerd op het aantal Minimalistische Programma (MP) fasegrenzen dat het wh-element passeert:

   • Bare Small Clause: (bijv. What did she see him eat?) – 0 extra fases.
   • Infinitief: (bijv. What did she expect him to eat?) – 1 extra fase (vP).
   • Finitief: (bijv. What did she think he ate?) – 2 extra fases (vP en CP).

   Twee geprobeerde paren worden gemeten:

   • Kruis-clausulair (wh–ingesloten subject): Test de "fase-telling gradiënt" (structurele diepte).
   • Binnen-clausulair (ingesloten subject–ingesloten werkwoord): Test "cohesie binnen een fase". Cruciaal: de UD-afstand voor dit paar is in alle drie de condities exact 1 rand (nsubj).

2. Probe-protocol:

   • Lineaire probes worden getraind op de Universal Dependencies English Web Treebank (UD-EWT) om verborgen staten af te beelden op een Euclidische ruimte.
   • Deze getrainde probes worden geëvalueerd op de wh-bewegingsstimuli zonder verdere aanpassing.
   • Effectgroottes ($\beta$) worden geschat via OLS-regressie waarbij de Finitieve en Infinitieve condities worden vergeleken met de Bare-baseline.
   • Rapportage van Kanonieke Laag: Om opportunistische selectie van lagen te vermijden (een veelvoorkomend probleem waarbij verschillende contrasten pieken op verschillende lagen), definiëren de auteurs één "kanonieke laag" ($L^*$) per model op basis van de laag die het meest betrouwbare contrast maximaliseert ($\beta_{fin}$). Alle andere contrasten worden op deze vaste laag gerapporteerd.

3. Causale Verificatie:
   Een activatie-patching experiment wordt uitgevoerd. De residual-stream representatie van het ingesloten subject uit een Infinitieve bron wordt gepatched in een Bare-doel. Als de representatie causaal clausule-type-informatie codeert, zou dit de probe-afstand in de voorspelde richting moeten verschuiven.

4. Modellen:
   De studie evalueert 13 decoder-only basismodellen uit vier families: Gemma-3, Llama-3, Mistral en Qwen.

Belangrijkste Resultaten

1. Fase-telling Gradiënt (Kruis-clausulair):
   Bij 12 van de 13 modellen volgt de probe-afstand tussen het wh-element en het ingesloten subject de voorspelde gradiënt: $\beta_{fin} > \beta_{inf} > 0$. Dit geeft aan dat de modelrepresentaties het toenemende aantal gepasseerde fasegrenzen weerspiegelen, zelfs al zijn de UD-afstanden invariant.

2. Teken-Asymmetrie (Binnen-clausulair):
   Bij het paar ingesloten subject–werkwoord (waarbij de UD-afstand identiek is), wordt een robuuste 13/13 teken-asymmetrie waargenomen:

   • Finitieve conditie: $\beta < 0$ (representaties zijn dichter dan de baseline).
   • Infinitieve conditie: $\beta > 0$ (representaties zijn verder dan de baseline).

   Dit patroon staat in tegenspraak met alternatieve verklaringen:

   • UD-afstand: Voorspelt $\beta \approx 0$ (afstand is constant).
   • Lineaire afstand: Voorspelt $\beta_{inf} > 0$ maar $\beta_{fin} \approx 0$ (finitief en bare zijn aangrenzend; infinitief heeft een tussenliggend 'to').
   • Monotone complexiteit: Voorspelt $\beta_{fin} > \beta_{inf} > 0$ (meer structuur = grotere afstand).

   De waargenomen negatieve $\beta_{fin}$ wordt specifiek voorspeld door cohesie binnen een fase, een MP-abstractie waarbij items binnen dezelfde voltooide fase (Finitieve CP) worden uitgesproken als een cohesieve eenheid, waardoor ze representatief dichter bij elkaar liggen.

3. Causale Bevestiging:
   Activatie-patching op de positie van het ingesloten subject verschuift de probe-afstanden succesvol in de voorspelde richting bij 12 van de 13 modellen. Dit bevestigt dat de geïdentificeerde representaties causaal actief zijn in de berekening van het model, en adresseert scepticisme over of probes representaties herstellen die het model daadwerkelijk gebruikt.

Belangrijkste Bijdragen

1. Invariant UD-afstand Probing: De auteurs demonstreren een methode om naar syntactische structuur te proppen waarbij UD-afstanden strikt worden gecontroleerd, zodat gedetecteerde effecten structuur weerspiegelen die verder gaat dan UD.
2. Rapportage van Kanonieke Laag: Zij introduceren een strengere rapportagestandaard die alle contrasten verankert aan één enkele laag, waardoor een vrijheidsgraad wordt verwijderd en heterogeniteit wordt blootgelegd (bijv. het falen van Qwen-3-4B) die per-contrast piekrapportage zou verbergen.
3. Causaal Bewijs: Via activatie-patching leveren zij direct bewijs dat de fase-structuurrepresentaties computationeel actief zijn, en niet louter correlatief.

Betekenis en Beweringen
Het artikel beweert dat distributieve pretraining representaties induceert die zijn afgestemd op formeel-syntactische abstracties (specifiek fasegrenzen en cohesie binnen een fase) die onzichtbaar zijn voor op UD gebaseerde annotatie. De 13/13 teken-asymmetrie op het binnen-clausulaire paar dient als een bestaan-bewijs dat LLM's structurele informatie coderen die ontoegankelijk is voor standaard probing.

De auteurs concluderen dat op UD gebaseerde probes een ondergrens bieden aan syntactische codering, geen bovengrens. De bevindingen suggereren dat LLM's een rijkere syntactische representatie kunnen bezitten dan wat wordt vastgelegd door standaard afhankelijkheidsannotaties, gedreven door de statistische regulariteiten van de trainingsdata in plaats van expliciete grammaticale instructie.

Beperkingen
De studie is beperkt tot het Engels en specifieke werkwoordklassen. De auteurs merken op dat de fase-telling gradiënt directioneel is (het voorspelt orde, niet grootteverhoudingen) en dat schalingseffecten binnen modelfamilies heterogeen zijn. De causale claim is conservatief, beperkt tot het effect van de representatie van het ingesloten subject op probe-afstanden in het algemeen, in plaats van het bewijzen van specifieke mechanismen voor de teken-asymmetrie.