Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking

Riepilogo Tecnico: Differenze nell'Allineamento Tipologico nel Trattamento della Marcatura Differenziale degli Argomenti da parte dei Modelli Linguistici

Enunciato del Problema
Ricerche recenti indicano che i modelli linguistici (LM) addestrati su corpora sintetici possono esibire preferenze tipologiche che assomigliano a regolarità cross-linguistiche, in particolare in domini strutturali come l'ordine delle parole. Tuttavia, rimane incerto se queste tendenze si estendano a sistemi in cui la correttezza grammaticale dipende da fattori semantici piuttosto che da configurazioni puramente strutturali. Questo articolo indaga tale lacuna utilizzando la Marcatura Differenziale degli Argomenti (DAM), un fenomeno linguistico in cui gli argomenti ricevono una marcatura morfologica basata su proprietà semantiche come l'animazione, la definiteness e la pronominalità. Nello specifico, gli autori chiedono se i LM addestrati con obiettivi standard di previsione del token successivo sviluppino bias tipologici nella DAM che si allineano con le lingue umane e, in tal caso, se questi bias derivino dalle stesse fonti sottostanti delle tendenze tipologiche umane.

Metodologia
Gli autori impiegano un paradigma di corpus sintetico controllato utilizzando modelli GPT-2-small addestrati da zero.

• Costruzione del Corpus: Partendo da un sottoinsieme del corpus OpenSubtitles (inglese), gli autori estraggono circa 21 milioni di clausole SVO. Marcano gli argomenti per proprietà semantiche (animazione, definiteness, pronominalità) utilizzando classificatori basati su BERT.
• Iniezione delle Regole: Costruiscono 18 corpora sintetici distinti iniettando regole DAM nel testo inglese. Queste regole sono parametriche lungo quattro dimensioni:
  1. Innesco Semantico: Animazione, Definiteness o Pronominalità.
  2. Complessità della Dipendenza: Locale (la marcatura dipende dalla proprietà di un singolo argomento) vs. Globale (la marcatura dipende dalla prominenzza relativa di soggetto e oggetto).
  3. Direzione della Marcatura: Naturale (la marcatura colpisce argomenti semanticamente atipici/meno frequenti) vs. Inversa (la marcatura colpisce argomenti tipici).
  4. Argomento Bersaglio: Target sull'oggetto (marcatura del paziente) vs. Target sul soggetto (marcatura dell'agente).
• Valutazione: I modelli sono valutati sulla padronanza delle regole utilizzando coppie minime. Per ogni condizione, vengono generate 1.000 coppie di frasi tenute da parte, in cui una frase segue la regola DAM iniettata e l'altra la viola. La performance è misurata dalla proporzione di volte in cui il modello assegna un negative log-likelihood (NLL) inferiore alla frase grammaticale.
• Analisi Ausiliarie: Lo studio include test per l'accuratezza del posizionamento dei marcatori, sonde semantiche (per garantire che le informazioni semantiche non vengano perse) e compiti diagnostici BLiMP (per garantire che l'iniezione DAM non degradi l'apprendimento grammaticale generale).

Risultati Chiave
Gli esperimenti rivelano una dissociazione tra due dimensioni tipologiche principali della DAM:

1. Direzione della Marcatura (Allineamento Forte): I modelli riproducono in modo affidabile la preferenza tipologica umana per la marcatura naturale. Attraverso tutti gli inneschi semantici e i tipi di dipendenza, i modelli apprendono regole naturali (dove la marcatura esplicita colpisce argomenti atipici) in modo significativamente migliore rispetto alle regole inverse.

   • Accuratezza media migliore per le regole Naturali: ~85%.
   • Accuratezza media migliore per le regole Inverse: ~68%.
   • Questo vantaggio persiste anche controllando la frequenza di input, suggerendo che è guidato da dinamiche di apprendibilità piuttosto che dalla mera esposizione.

2. Preferenza dell'Argomento (Allineamento Debole/Assente): I modelli non riproducono la forte preferenza tipologica umana per i sistemi target sull'oggetto. Sebbene le regole target sull'oggetto mostrano un leggero vantaggio medio rispetto alle regole target sul soggetto (~79% vs. ~74%), questa differenza è sostanzialmente più piccola dell'effetto di marcatura e statisticamente meno significativa.

   • Le regole locali sono state apprese con maggior successo rispetto alle regole globali (~77% vs. ~59%), riflettendo un bias verso la località dell'informazione.
   • Il divario di performance tra le varianti naturali e inverse era più piccolo per le regole target sull'oggetto rispetto a quelle target sul soggetto, suggerendo che i modelli codificano le proprietà semantiche del soggetto in modo più robusto.

3. Risultati Ausiliari:

   • Posizionamento del Marcatore: I modelli hanno raggiunto un'accuratezza vicina al soffitto nel posizionare correttamente i marcatori, indicando che i fallimenti nella padronanza delle regole non sono dovuti all'incapacità di localizzare il marcatore nella stringa.
   • Sonde Semantiche: Le sonde lineari hanno confermato che i modelli mantengono le informazioni semantiche (animazione, definiteness, pronominalità) sia per i soggetti che per gli oggetti, escludendo il degrado semantico come causa delle differenze di performance.
   • BLiMP: L'iniezione DAM non ha compromesso in modo significativo la capacità dei modelli di apprendere altri fenomeni grammaticali.

Significato e Affermazioni
L'articolo sostiene che la dissociazione osservata fornisce prove riguardo alle fonti distinte delle asimmetrie tipologiche:

• Marcatura come Apprendibilità: Il forte allineamento con la marcatura naturale suggerisce che questa tendenza tipologica può emergere da regolarità distribuzionali e apprendibilità formale. I sistemi di marcatura naturale riducono l'incertezza predittiva (surprisal) fornendo segnali locali espliciti per configurazioni meno frequenti, allineandosi ai bias induttivi dei modelli autoregressivi ottimizzati per la previsione del token successivo.
• Preferenza dell'Argomento come Guidata dal Discorso: La mancanza di una forte preferenza per l'oggetto nei modelli suggerisce che questa asimmetria tipologica dipende da fattori non catturati dall'addestramento standard a token successivo, come la struttura del discorso, la prominenzza tematica e le pressioni comunicative (ad esempio, la tendenza degli oggetti ad assumere ruoli discorsivi atipici come la topicalità).
• Conclusione: Distinte tendenze tipologiche riflettono pressioni sottostanti diverse. Alcune, come la direzione della marcatura, sono accessibili ai LM attraverso l'apprendimento statistico locale, mentre altre, come la preferenza dell'argomento, richiedono probabilmente pressioni interazionali o diacroniche che gli obiettivi di addestramento standard non simulano.

Limitazioni
Gli autori notano diversi vincoli: l'uso di una singola architettura piccola (GPT-2-small), la dipendenza dall'inglese (una lingua SVO in cui la marcatura dei casi è meno critica rispetto alle lingue con ordine delle parole flessibile) e l'operazionalizzazione semplificata degli inneschi DAM (trattandoli come caratteristiche binarie indipendenti piuttosto che proprietà interagenti sensibili al discorso). Inoltre, la frequenza delle istanze marcate rispetto a quelle non marcate non è stata completamente controllata sperimentalmente, sebbene gli autori sostengano che la frequenza da sola non spieghi le asimmetrie osservate.