Vocabulary shapes cross-lingual variation of word-order learnability in language models

Titolo

La struttura del lessico modella la variazione cross-linguistica dell'apprendibilità dell'ordine delle parole nei modelli linguistici

1. Problema e Contesto

Le lingue umane presentano una straordinaria diversità tipologica, in particolare riguardo alla flessibilità dell'ordine delle parole (es. lingue a ordine libero come il ceco vs. lingue a ordine fisso come l'inglese). Una domanda centrale nella linguistica computazionale è: tutte le lingue sono ugualmente difficili da apprendere per i modelli linguistici (LM)?
Sebbene si sappia che le lingue variano in complessità morfologica e ordine delle parole, non è chiaro se le architetture attuali dei LM siano sistematicamente biasate verso certe caratteristiche linguistiche o se l'apprendibilità dipenda da fattori strutturali specifici.
Le ricerche precedenti hanno affrontato questo problema con due limiti principali:

1. Hanno spesso studiato la flessibilità dell'ordine delle parole e la complessità morfologica in isolamento, mentre sono intrinsecamente correlate.
2. Le perturbazioni sono state spesso eseguite a livello di subword (token), il che rompe l'integrità morfologica delle parole (es. spezzando parole flessive in frammenti privi di senso), confondendo gli effetti della sintassi con quelli della tokenizzazione.

2. Metodologia

Gli autori propongono un esperimento di perturbazione controllata su larga scala per isolare l'impatto dell'ordine delle parole sull'apprendibilità computazionale.

• Corpus e Lingue: Utilizzano il corpus Europarl (discorsi parlamentari europei) selezionando 10 lingue europee con diverse caratteristiche tipologiche (5 a ordine fisso: inglese, svedese, danese, francese, portoghese; 5 a ordine libero: lettone, ceco, ungherese, estone, finlandese).
• Generazione di Lingue Sintetiche: Invece di mescolare casualmente le parole, creano uno spettro continuo di varianti sintetiche dell'ordine delle parole utilizzando il modello di permutazione di Mallows.
  • Viene introdotto un parametro continuo $\theta$ che controlla la regolarità dell'ordine.
  • $\theta \to \infty$: Ordine originale.
  • $\theta = 0$: Ordine completamente irregolare (tutte le permutazioni equiprobabili).
  • $\theta \to -\infty$: Inversione completa della frase.
  • Cruciale: La mescolanza avviene a livello di parola intera (non subword), preservando l'integrità morfologica, il vocabolario e la morfologia originale delle lingue.
• Modelli: Vengono addestrati da zero modelli linguistici autoregressivi leggeri (architettura Transformer simile a LLAMA, ~50M parametri) su ciascuna variante sintetica.
• Metrica di Valutazione: L'apprendibilità è misurata tramite la surprisal (sorpresa) del modello. Una minore variazione di surprisal ($\Delta S$) rispetto alla lingua originale indica una maggiore robustezza (apprendibilità) alla perturbazione.

3. Contributi Chiave

1. Metodologia di Perturbazione Controllata: Sviluppo di un framework che utilizza il modello di Mallows per perturbare l'ordine delle parole a livello di parola intera, evitando la distruzione della morfologia e permettendo un controllo continuo sulla regolarità sintattica.
2. Analisi Cross-Linguistica: Studio sistematico su 10 lingue europee, superando la limitazione di studi precedenti focalizzati solo sull'inglese o su lingue artificiali non realistiche.
3. Identificazione dei Driver dell'Apprendibilità: Dimostrazione che la struttura del vocabolario (statistiche di copertura, lunghezza della frase, complessità morfologica) è un predittore molto più forte della semplice classificazione binaria "ordine fisso vs. ordine libero".

4. Risultati Principali

• Sensibilità all'Irregolarità: L'irregolarità dell'ordine delle parole aumenta sistematicamente la surprisal del modello (riducendo l'apprendibilità). Il picco di difficoltà si verifica quando l'ordine è completamente irregolare ($\theta = 0$).
• Invarianza all'Inversione: Sorprendentemente, l'inversione completa delle frasi ($\theta < 0$) ha un impatto minimo sulla apprendibilità rispetto alle permutazioni casuali. I modelli non sembrano essere fortemente sensibili alla violazione delle correlazioni tipologiche specifiche dell'inversione, mostrando una simmetria quasi perfetta rispetto all'ordine originale.
• Fallimento della Tipologia Categorica: La distinzione binaria tra lingue a "ordine libero" e "ordine fisso" non spiega le differenze cross-linguistiche nell'apprendibilità. Le lingue a ordine libero non sono significativamente più robuste alle perturbazioni rispetto a quelle a ordine fisso quando si guarda alla variazione di surprisal ($\Delta S$).
• Il Ruolo del Vocabolario:
  • Le metriche basate sulla struttura del vocabolario (in particolare la copertura di Zipf, la lunghezza della frase e la complessità morfologica) spiegano quasi interamente la varianza nell'apprendibilità ($R^2 = 0.97$).
  • Le lingue con una copertura lessicale più rapida (tipiche delle lingue a ordine fisso) mostrano una surprisal base più bassa, ma la robustezza alla mescolanza è legata a come il vocabolario e la morfologia interagiscono.
  • La complessità morfologica (misurata tramite fertilità, lunghezza media delle parole e numero di tipi unici) è il fattore dominante per spiegare la robustezza contro l'ordine delle parole altamente irregolare.
• Effetto della Tokenizzazione: La mescolanza a livello di subword (come fatto in studi precedenti) aumenta la surprisal in modo sproporzionato per le lingue morfologicamente complesse (es. lingue slave e uraliche), distorcendo i risultati. La mescolanza a livello di parola rivela che la struttura intrinseca del lessico è il vero driver.

5. Significato e Implicazioni

• Ridefinizione della Complessità Linguistica: Lo studio suggerisce che la difficoltà computazionale di una lingua non è determinata da una categoria tipologica grossolana (fisso/libero), ma da proprietà statistiche più fini del vocabolario e della morfologia.
• Bias Architettonici: I risultati indicano che i modelli autoregressivi hanno un forte bias verso la località e la regolarità sequenziale, ma sono sorprendentemente resilienti all'inversione completa, suggerendo che la loro sensibilità è legata alla struttura delle permutazioni locali piuttosto che alla direzione della frase.
• Implicazioni per la Progettazione dei Modelli: La scelta del tokenizzatore e la dimensione del vocabolario influenzano drasticamente la percezione della difficoltà di apprendimento delle lingue. Per studiare l'apprendibilità cross-linguistica, è fondamentale preservare l'integrità morfologica durante le perturbazioni.
• Futuro: Il lavoro apre la strada a un'analisi più sfumata della tipologia linguistica come gradiente piuttosto che come classe discreta, e invita a esplorare come diverse architetture (es. modelli mascherati vs. autoregressivi) interagiscano con queste strutture linguistiche.

In sintesi, il paper dimostra che la struttura del vocabolario è il motore chiave che determina quanto una lingua sia robusta alle perturbazioni dell'ordine delle parole per i modelli linguistici, superando le spiegazioni basate sulla semplice flessibilità sintattica.