Do Language Models Encode Knowledge of Linguistic Constraint Violations?

Sintesi Tecnica: I Modelli Linguistici Codificano la Conoscenza delle Violazioni dei Vincoli Linguistici?

Enunciato del Problema
Sebbene i Large Language Models (LLM) dimostrino prestazioni elevate su benchmark linguistici e generalizzino regolarità grammaticali da testi grezzi, i meccanismi interni che permettono loro di distinguere frasi ben formate da quelle mal formate rimangono poco chiari. Nello specifico, è una questione aperta se gli LLM, in particolare le architetture basate su Transformer, codifichino specifici "rilevatori di caratteristiche" che si attivano allorché incontrano violazioni grammaticali per penalizzare la verosimiglianza logaritmica di una frase. Questo studio investiga l'ipotesi secondo cui gli LLM possiedono rappresentazioni latenti delle violazioni dei vincoli linguistici (denotate come la variabile $G$ nel quadro di Hu et al., 2026) che vengono attivate selettivamente durante l'elaborazione di input non grammaticali.

Metodologia
Lo studio adotta un approccio di interpretabilità meccanicistica che utilizza Autoencoder Sparsi (SAE) per decomporre le attivazioni polisemantiche degli LLM in caratteristiche sparse e monosemantiche.

• Dataset: Gli autori utilizzano il benchmark BLiMP (Warstadt et al., 2020), che fornisce 13 fenomeni linguistici. Ogni fenomeno consiste in coppie minime in cui una frase ben formata ($x_{good}$) e una frase mal formata ($x_{bad}$) differiscono esattamente per una parola. Questo disegno mantiene costante il messaggio semantico ($m$) mentre varia il vincolo grammaticale ($G$).
• Modelli: Gli esperimenti sono stati condotti su sei modelli appartenenti a tre famiglie: GPT-2 (small), Gemma-3 (270M, 1B, 4B) e Qwen3.5 (2B, 9B).
• Decomposizione delle Caratteristiche: SAE pre-addestrati (da SAELens, Qwen Scope e Gemma Scope 2) sono stati applicati ai flussi residui a livelli specifici (25%, 50%, 65% e 85% della profondità del modello).
• Punteggio di Sensibilità ($\Phi$): È stato introdotto un punteggio di sensibilità per classificare le caratteristiche degli SAE in base alla loro attivazione preferenziale su input che violano i vincoli rispetto a input ben formati. Le caratteristiche con punteggi $\Phi$ positivi elevati sono state selezionate come candidati rilevatori di violazioni.
• Quadro di Falsificazione Congiunta: Per validare se una caratteristica candidata codifichi effettivamente un rilevatore di violazioni, lo studio propone tre criteri valutati congiuntamente tramite ablazione mirata delle caratteristiche:
  1. F1 (Effetto Causale sulle Violazioni): L'ablazione delle caratteristiche candidate deve aumentare significativamente la verosimiglianza logaritmica delle frasi non grammaticali rispetto a un controllo casuale.
  2. F2 (Stabilità delle Non-Violazioni): L'ablazione non deve degradare significativamente la verosimiglianza logaritmica delle frasi ben formate (soglia di stabilità $|\bar{M}_{good}| < 0.05$).
  3. F3 (Effetto Preferenziale): La variazione del margine di preferenza (buono vs. cattivo) causata dall'ablazione deve essere strettamente positiva e significativamente maggiore di quella di un controllo casuale, assicurando che l'effetto sia selettivo per le violazioni.

Principali Contributi

1. Punteggio di Sensibilità ($\Phi$): Una metrica non supervisionata per identificare caratteristiche attivate preferenzialmente da input che violano i vincoli, consentendo la selezione mirata di caratteristiche candidate per le violazioni senza supervisione etichettata.
2. Quadro di Falsificazione Congiunta: Un rigoroso test a tre criteri (F1, F2, F3) progettato per distinguere veri rilevatori specifici delle violazioni da caratteristiche che correlano semplicemente con la fluidità generale o la probabilità della frase.
3. Analisi Empirica: Una valutazione completa su 13 fenomeni linguistici e sei modelli, che rivela che, sebbene i modelli contengano informazioni relative alle violazioni, queste informazioni non sono chiaramente separabili in rilevatori unificati e selettivi nell'attuale quadro di intervento.

Risultati
I risultati empirici sono ampiamente negativi riguardo all'ipotesi di rilevatori unificati e selettivi delle violazioni:

• Prestazioni F1: Il criterio dell'effetto causale (F1) è stato soddisfatto ampiamente tra i modelli e i fenomeni. Le caratteristiche ad alto $\Phi$ sono correlate con input che violano i vincoli, poiché la loro rimozione aumenta la probabilità delle frasi non grammaticali.
• Fallimenti di F2 e F3: I criteri di stabilità (F2) ed effetto preferenziale (F3) sono falliti nella maggior parte dei casi. Le caratteristiche identificate come sensibili alle violazioni spesso influenzano causalmente anche le frasi ben formate (violando F2) o influenzano frasi grammaticali e non grammaticali con magnitudine comparabile (violando F3).
• Soddisfazione Congiunta: Il criterio congiunto (F1 $\cap$ F2 $\cap$ F3) è stato soddisfatto da un solo fenomeno (forme irregolari su GPT-2) tra tutti i modelli.
• Intreccio delle Caratteristiche: I risultati suggeriscono che le caratteristiche relative alle violazioni non sono isolate. Piuttosto, sembrano codificare informazioni sulla fluidità generale o essere intrecciate con caratteristiche che rappresentano il messaggio generale ($m$), rendendo difficile isolare una pura variabile di "grammaticalità" $G$ tramite ablazione.

Significato e Affermazioni
Il paper conclude che gli attuali LLM non sembrano codificare un insieme unificato di rilevatori di violazioni grammaticali che siano attivati selettivamente e causalmente distinti dalle rappresentazioni generali delle frasi. Sebbene i modelli possiedano informazioni rilevanti per le violazioni grammaticali, queste informazioni non sono chiaramente separabili da rappresentazioni più ampie a livello di frase nell'attuale quadro di intervento.

Gli autori ipotizzano che i risultati negativi possano derivare da:

1. Il punteggio di sensibilità che non riesce a scoprire caratteristiche che soddisfano F2 e F3.
2. Gli SAE che non riescono a recuperare caratteristiche corrispondenti a F2 e F3, che potrebbero essere assorbite da altre caratteristiche.
3. Le caratteristiche rilevanti essere distribuite su più livelli anziché localizzate in un singolo livello.

Lo studio non afferma di smentire l'esistenza di rappresentazioni grammaticali in toto, ma piuttosto evidenzia i limiti degli attuali strumenti di interpretabilità meccanicistica (in particolare SAE e ablazione) nell'isolare queste specifiche variabili latenti. Il lavoro è modesto nelle sue affermazioni, notando che la scoperta principale è negativa e che quadri alternativi mirati allo stupore o alle anomalie semantiche potrebbero offrire prospettive complementari.