Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

Riepilogo Tecnico: Sonda sulla Struttura delle Fasi nel Programma Minimalista negli LLM

Enunciato del Problema
Le sonde strutturali hanno stabilito che i Modelli Linguistici su Grande Scala (LLM) codificano la struttura sintattica nelle loro rappresentazioni nascoste, tipicamente addestrate per recuperare le distanze degli alberi delle Universal Dependencies (UD). Tuttavia, le UD sono uno schema di annotazione, non una grammatica generativa; mancano di astrazioni formali-sintattiche come i confini di fase (dal Programma Minimalista) o la coesione interna alla fase. Di conseguenza, le sonde standard basate sulle UD non possono determinare se gli LLM codificano queste proprietà strutturali più profonde. Se una sonda rileva una differenza tra le condizioni, non è chiaro se ciò rifletta l'astrazione sintattica target o semplicemente una ricodifica delle distanze UD o delle proprietà superficiali. Questo articolo affronta la questione aperta se gli LLM codifichino astrazioni formali-sintattiche oltre la portata delle sonde basate sull'annotazione.

Metodologia
Gli autori progettano un esperimento di sonda utilizzando stimoli di movimento wh, in cui la distanza dell'albero UD tra le coppie di parole sondate viene mantenuta invariata tra le condizioni per costruzione. Ciò garantisce che qualsiasi effetto non nullo rilevato dalla sonda rifletta informazioni strutturali non catturate dalle UD.

1. Costruzione degli Stimoli:
   Vengono create tre condizioni per ogni elemento, ordinate in base al numero di confini di fase del Programma Minimalista (MP) attraversati dall'elemento wh:

   • Proposizione Ridotta Nuda: (es. What did she see him eat?) – 0 fasi aggiuntive.
   • Infinitiva: (es. What did she expect him to eat?) – 1 fase aggiuntiva (vP).
   • Finita: (es. What did she think he ate?) – 2 fasi aggiuntive (vP e CP).

   Vengono misurate due coppie di sonda:

   • Inter-clausale (wh–soggetto incorporato): Testa il "gradiente del conteggio delle fasi" (profondità strutturale).
   • Intra-clausale (soggetto incorporato–verbo incorporato): Testa la "coesione interna alla fase". Crucialmente, la distanza UD per questa coppia è esattamente 1 arco (nsubj) in tutte e tre le condizioni.

2. Protocollo di Sonda:

   • Sonde lineari vengono addestrate sulle Universal Dependencies English Web Treebank (UD-EWT) per mappare gli stati nascosti nello spazio euclideo.
   • Queste sonde addestrate vengono valutate sugli stimoli di movimento wh senza ulteriore adattamento.
   • Le dimensioni dell'effetto ($\beta$) sono stimate tramite regressione OLS confrontando le condizioni Finita e Infinitiva rispetto alla linea di base Nuda.
   • Reporting del Livello Canonico: Per evitare la selezione opportunistica dei livelli (un problema comune in cui contrasti diversi raggiungono il picco a livelli diversi), gli autori definiscono un singolo "livello canonico" ($L^*$) per modello basato sul livello che massimizza il contrasto più affidabile ($\beta_{fin}$). Tutti gli altri contrasti vengono riportati a questo livello fisso.

3. Verifica Causale:
   Viene condotto un esperimento di patching dell'attivazione. La rappresentazione del flusso residuo del soggetto incorporato da una fonte Infinitiva viene inserita (patched) in un target Nudo. Se la rappresentazione codifica causalmente informazioni sul tipo di clausola, ciò dovrebbe spostare la distanza della sonda nella direzione prevista.

4. Modelli:
   Lo studio valuta 13 modelli base solo-decodificatori provenienti da quattro famiglie: Gemma-3, Llama-3, Mistral e Qwen.

Risultati Chiave

1. Gradiente del Conteggio delle Fasi (Inter-clausale):
   In 12 modelli su 13, la distanza della sonda tra l'elemento wh e il soggetto incorporato segue il gradiente previsto: $\beta_{fin} > \beta_{inf} > 0$. Ciò indica che le rappresentazioni del modello riflettono l'aumento del numero di confini di fase attraversati, anche se le distanze UD sono invarianti.

2. Asimmetria del Segno (Intra-clausale):
   Sulla coppia soggetto incorporato–verbo (dove la distanza UD è identica), viene osservata una robusta asimmetria del segno 13/13:

   • Condizione Finita: $\beta < 0$ (le rappresentazioni sono più vicine rispetto alla linea di base).
   • Condizione Infinitiva: $\beta > 0$ (le rappresentazioni sono più lontane rispetto alla linea di base).

   Questo pattern contraddice spiegazioni alternative:

   • Distanza UD: Prevede $\beta \approx 0$ (la distanza è costante).
   • Distanza lineare: Prevede $\beta_{inf} > 0$ ma $\beta_{fin} \approx 0$ (finita e nuda sono adiacenti; l'infinitiva ha un 'to' interposto).
   • Complessità monotona: Prevede $\beta_{fin} > \beta_{inf} > 0$ (più struttura = distanza maggiore).

   Il $\beta_{fin}$ negativo osservato è specificamente previsto dalla coesione interna alla fase, un'astrazione MP in cui gli elementi all'interno della stessa fase completata (CP Finita) vengono esplicitati come un'unità coesa, rendendoli rappresentazionalmente più vicini.

3. Corroborazione Causale:
   Il patching dell'attivazione alla posizione del soggetto incorporato sposta con successo le distanze della sonda nella direzione prevista per 12 modelli su 13. Ciò conferma che le rappresentazioni identificate sono causalmente attive nel calcolo del modello, affrontando lo scetticismo riguardo al fatto che le sonde recuperino rappresentazioni che il modello utilizza effettivamente.

Contributi Chiave

1. Sonda con Distanza UD Invariata: Gli autori dimostrano un metodo per sondare la struttura sintattica in cui le distanze UD sono strettamente controllate, garantendo che gli effetti rilevati riflettano strutture oltre le UD.
2. Reporting del Livello Canonico: Introducono uno standard di reporting più rigoroso che ancorà tutti i contrasti a un singolo livello, rimuovendo un grado di libertà e rivelando eterogeneità (es. il fallimento di Qwen-3-4B) che il reporting del picco per contrasto nasconderebbe.
3. Evidenza Causale: Attraverso il patching dell'attivazione, forniscono prove dirette che le rappresentazioni della struttura delle fasi sono computazionalmente attive, non meramente correlazionali.

Significato e Affermazioni
L'articolo afferma che il pre-addestramento distribuzionale induce rappresentazioni allineate con astrazioni formali-sintattiche (in particolare confini di fase e coesione interna alla fase) che sono invisibili all'annotazione basata sulle UD. L'asimmetria del segno 13/13 sulla coppia intra-clausale funge da prova di esistenza che gli LLM codificano informazioni strutturali inaccessibili alle sonde standard.

Gli autori concludono che le sonde basate sulle UD forniscono un limite inferiore alla codifica sintattica, non un limite superiore. I risultati suggeriscono che gli LLM possono possedere una rappresentazione sintattica più ricca di quella catturata dalle annotazioni di dipendenza standard, guidata dalle regolarità statistiche dei dati di addestramento piuttosto che da istruzioni grammaticali esplicite.

Limitazioni
Lo studio è limitato all'inglese e a specifiche classi di verbi. Gli autori notano che il gradiente del conteggio delle fasi è direzionale (prevede l'ordine, non i rapporti di grandezza) e che gli effetti di scala all'interno delle famiglie di modelli sono eterogenei. L'affermazione causale è conservativa, limitata all'influenza della rappresentazione del soggetto incorporato sulle distanze della sonda in generale, piuttosto che alla prova di meccanismi specifici per l'asimmetria del segno.