Implicit Representations of Grammaticality in Language Models

Riepilogo Tecnico: Rappresentazioni Implicite della Grammaticalità nei Modelli Linguistici

Enunciato del Problema
Nel linguaggio umano, la grammaticalità (conformità alle regole sintattiche) e la probabilità (frequenza statistica nel testo naturale) sono concetti distinti. Una frase può essere grammaticale ma altamente improbabile (significato complesso), o non grammaticale ma probabile (errore comune). I Modelli Linguistici (LM) preaddestrati sono sistemi probabilistici addestrati per massimizzare la probabilità del corpus. Sebbene si comportino bene in compiti di coppie minime (distinguere una frase grammaticale da una non grammaticale minimamente alterata), le loro probabilità grezze delle stringhe spesso non riescono a discriminare nettamente tra frasi grammaticali e non grammaticali in generale, poiché confondono la correttezza sintattica con la plausibilità semantica e la frequenza.

La domanda centrale affrontata è se gli LM, nonostante siano addestrati esclusivamente sulla probabilità, acquisiscano implicitamente una rappresentazione distinta della grammaticalità all'interno dei loro strati nascosti, separabile dalla probabilità della stringa.

Metodologia
Gli autori propongono un approccio di linear probing per investigare le rappresentazioni interne degli LM senza fare affidamento su costosi dataset di grammaticalità annotati da umani per l'addestramento.

1. Generazione di Dati di Addestramento Sintetici:

   • Fonte: 50.000 frasi sono state campionate dal Penn Treebank e da Project Gutenberg per servire come esempi "grammaticali".
   • Perturbazione: Esempi non grammaticali sono stati generati applicando tre funzioni di rumore alle frasi originali:
     • Inserimento: Inserimento casuale di 1–5 token dal corpus.
     • Cancellazione: Rimozione casuale di 1–5 token.
     • Mescolamento Locale: Permutazione casuale di una finestra contigua di 5 token.
   • Validazione: Un giudice LLM ha confermato che il 93,72% delle frasi perturbate era effettivamente non grammaticale.
   • Divisione: L'80% dei dati è stato utilizzato per l'addestramento e il 20% per lo sviluppo (ottimizzazione degli iperparametri).

2. Architettura del Probe:

   • Un classificatore di regressione logistica (probe lineare) è stato addestrato sugli stati nascosti dell'LM all'ultimo token di una frase.
   • Il probe è stato addestrato per prevedere l'etichetta binaria (grammaticale vs non grammaticale).
   • Gli esperimenti hanno utilizzato la regolarizzazione $\ell_2$ (standard) e la regolarizzazione $\ell_1$ (LASSO) per identificare sottoinsiemi sparsi di neuroni responsabili del segnale.

3. Quadro di Valutazione:

   • Modelli: Testati su modelli base con pesi aperti (OLMo-2/3, Llama-3.2/3.1, Gemma-2), escludendo le varianti addestrate su istruzioni per evitare confondimenti legati all'allineamento.
   • Benchmark:
     • Grammaticalità: BLiMP (coppie minime), CoLA e SyntaxGym (accettabilità autonoma).
     • Cross-linguale: Sei lingue (svedese, olandese, italiano, russo, giapponese, cinese) utilizzando il trasferimento zero-shot.
     • Plausibilità Semantica: Tre dataset in cui entrambi i membri della coppia minima sono grammaticali ma differiscono per plausibilità semantica.
   • Metriche: Accuratezza (ACC) per le coppie minime e Area Under the ROC Curve (AUC) per l'accettabilità autonoma.
   • Baseline: Confronto contro le log-probabilità delle stringhe dell'LM (log-probabilità cumulative normalizzate per lunghezza).

Risultati Chiave

• Superiorità rispetto alle Probabilità delle Stringhe: I probe addestrati sul dataset sintetico hanno superato significativamente le log-probabilità dell'LM sui benchmark di grammaticalità (BLiMP, CoLA, SyntaxGym). Ciò è valso sia per le impostazioni di coppie minime che per quelle non di coppie minime.
• Distinzione dalla Probabilità:
  • I punteggi del probe hanno mostrato una correlazione moderata (Spearman's $\rho \approx 0,23–0,47$) con le log-probabilità dell'LM, suggerendo che catturano informazioni distinte.
  • L'aggiunta delle log-probabilità come caratteristica extra al probe non ha migliorato in modo coerente le prestazioni, implicando che gli stati nascosti codificano già le informazioni sulla probabilità necessarie per la grammaticalità.
  • Al contrario, quando si prevedevano le log-probabilità dagli stati nascosti, la regressione ridge ha raggiunto un $R^2$ moderatamente alto ($0,51–0,73$), confermando che le informazioni sulla probabilità sono presenti nelle rappresentazioni.
• Selettività Semantica: Sui benchmark di plausibilità semantica, il probe di grammaticalità ha performato peggio rispetto alle probabilità delle stringhe. Ciò indica che il probe è selettivamente sintonizzato sull'accettabilità sintattica piuttosto che sulla probabilità semantica, disaccoppiando efficacemente i due concetti.
• Generalizzazione Cross-Linguale: Un probe addestrato esclusivamente su dati in inglese si è generalizzato a lingue tipologicamente diverse (svedese, olandese, italiano, russo, giapponese, cinese), spesso superando le probabilità delle stringhe native dei modelli.
• Localizzazione dei Neuroni: Utilizzando LASSO, gli autori hanno scoperto che i segnali di grammaticalità potevano essere catturati da sottoinsiemi estremamente piccoli di neuroni (fino allo 0,01% del totale, circa 10 neuroni), sebbene il segnale sia anche distribuito tra i livelli.

Significato e Affermazioni
Il documento sostiene che, sebbene gli LM siano fondamentalmente sistemi statistici addestrati sulla probabilità, il loro addestramento su larga scala induce una distinzione implicita di grammaticalità all'interno delle loro rappresentazioni nascoste.

• Sfida allo Scetticismo: I risultati sfidano la visione (ad es. Katzir, 2023) secondo cui la distinzione grammaticalità–probabilità è "completamente estranea" agli LM. Gli autori suggeriscono che gli LM acquisiscono una nozione di grammaticalità distinta dalle probabilità di output, anche senza supervisione linguistica esplicita.
• Contributo Metodologico: Lo studio dimostra che le perturbazioni sintetiche del testo naturale possono servire come un proxy robusto e scalabile per l'addestramento di probe di grammaticalità, aggirando la necessità di piccoli e costosi dataset curati da umani per l'addestramento (sebbene questi siano ancora utilizzati per la valutazione).
• Implicazioni per la Cognizione Linguistica: Sebbene gli autori evitino di affermare che gli LM siano modelli completi dell'acquisizione linguistica umana, ipotizzano che gli LM servano come un banco di prova fattibile per studiare come la conoscenza sintattica possa emergere dall'apprendimento distribuzionale. I risultati suggeriscono che il divario "competenza–esecuzione" osservato negli umani (dove un parlante conosce una regola ma può produrre errori) ha un parallelo negli LM, dove le rappresentazioni nascoste codificano la grammaticalità distinta dalla probabilità rumorosa delle stringhe superficiali.

Limitazioni Riconosciute dagli Autori

• I dati di addestramento sintetici non sono perfetti; le frasi originali possono contenere errori e le perturbazioni possono introdurre implausibilità semantica piuttosto che errori sintattici puri.
• Lo studio si concentra sulle lingue naturali e non affronta le lingue formali o le dinamiche di apprendimento di quando la grammaticalità viene acquisita durante l'addestramento.
• Il lavoro esamina rappresentazioni statiche al checkpoint finale, non l'evoluzione di queste rappresentazioni nel tempo di addestramento.