What Kind of Language is Easy to Language-Model Under Curriculum Learning?

1. Enunciato del Problema

Il paper affronta una domanda centrale nella linguistica computazionale e nelle scienze cognitive: In che misura i bias induttivi dei Modelli Linguistici (LM) si allineano con la comunanza tipologica delle lingue naturali?

Studi precedenti (ad es. El-Naggar et al., 2025a,b) hanno suggerito che gli LM preferiscono naturalmente configurazioni di ordine delle parole comuni nelle lingue umane (ad es. Soggetto-Oggetto-Verbo), implicando che i bias di apprendimento potrebbero plasmare l'evoluzione del linguaggio. Tuttavia, questi studi hanno tipicamente addestrato i modelli su dati ordinati casualmente, il che non riflette l'acquisizione del linguaggio umano. Gli esseri umani, in particolare i bambini, spesso apprendono tramite Curriculum Learning (CL)—iniziando con strutture più semplici (ad es. frasi più brevi) e progredendo verso quelle complesse. Gli autori investigano se l'introduzione di uno scenario di apprendimento motivato dallo sviluppo (CL) alteri i bias induttivi apparenti degli LM e se l'allineamento precedentemente osservato con la tipologia sussista in queste condizioni.

2. Metodologia

2.1. Corpus di Lingua Artificiale (AL)

Lo studio utilizza un corpus di 96 Lingue Artificiali generate utilizzando la Grammatica Categoriale Generalizzata (GCG).

• Parametri: Ogni lingua è definita da 7 parametri binari che controllano l'ordine delle parole (ad es. Soggetto-Verbo, Oggetto-Verbo, Testa-Iniziale vs Testa-Finale).
• Generazione dei Dati: Le frasi sono generate casualmente e filtrate da un parser GCG per garantire la grammaticalità.
• Divisione del Dataset:
  • Addestramento: 80.000 frasi con lunghezze distribuite uniformemente tra 3 e 8 parole.
  • Valutazione:
    • Test Breve: Lunghezza 3–8 (in-distribution).
    • Test Medio: Lunghezza 9–10 (generalizzazione out-of-distribution).
    • Test Lungo: Lunghezza 11–20 (estensione basata su euristiche).
    • Test Mirati: Clausole relative ricorsive e annidate, più giudizi di grammaticalità (tipi di caso e verbi).

2.2. Impostazioni Sperimentali

Gli autori confrontano due regimi di addestramento su tre architetture di modello (RNN, LSTM, Transformer):

1. Impostazione Originale (Baseline): I dati di addestramento sono presentati in un ordine randomizzato.
2. Impostazione Curriculum Learning (CL): I dati di addestramento sono presentati in base alla lunghezza della frase.
   • Fasi: Sei fasi corrispondenti alle lunghezze delle frasi 3, 4, 5, 6, 7 e 8.
   • Progressione: I modelli si addestrano sequenzialmente, iniziando con la lunghezza 3 e muovendosi verso la lunghezza 8.
   • Meccanismo di Replay: Per prevenire l'oblio catastrofico, il 5% dei dati dalle fasi precedenti viene iniettato nella fase corrente (ad es., la Fase 3 contiene il 5% di lunghezza-3, il 5% di lunghezza-4 e il 90% di lunghezza-5).
   • Volume Totale: Il numero totale di token di addestramento è mantenuto identico alla baseline (80K) per garantire un confronto equo.

2.3. Metriche di Valutazione

• Perplessità (PPL): Una PPL più bassa indica una migliore modellazione di un specifico ordine delle parole.
• Allineamento Tipologico (TA): Calcolato come il coefficiente di correlazione di Pearson tra la PPL media del modello e la frequenza nel mondo reale di quell'ordine delle parole.
  • TA Negativa: Indica che il modello preferisce ordini delle parole comuni (migliore allineamento).
  • TA Positiva: Indica che il modello preferisce ordini delle parole rari.
• Generalizzazione: Prestazione sui set di test Medio/Lungo e su strutture sintattiche mirate.

3. Contributi Chiave

• Integrazione del CL negli Studi Tipologici: Questo è il primo studio a esaminare sistematicamente come uno scenario di apprendimento motivato dallo sviluppo (CL) interagisca con i bias induttivi degli LM riguardo alla tipologia dell'ordine delle parole.
• Rivalutazione del Bias Induttivo: Lo studio mette in discussione la robustezza delle scoperte precedenti secondo cui gli LM si allineano intrinsecamente con la comunanza tipologica, mostrando che tale allineamento è altamente sensibile all'ordine di presentazione dei dati.
• Interazioni Specifiche per Architettura: Il paper dimostra che l'impatto del CL non è uniforme; interagisce in modo sottile e diverso con le architetture RNN, LSTM e Transformer.

4. Risultati Chiave

4.1. Impatto sulle Preferenze di Ordine delle Parole

• Cambiamento nel Bias: L'introduzione del CL altera significativamente le preferenze di ordine delle parole degli LM. La correlazione tra i vettori PPL dei modelli addestrati con e senza CL è generalmente bassa (spesso vicina a zero), indicando che lo scenario di apprendimento cambia fondamentalmente il bias induttivo del modello.
• Generalizzazione vs Overfitting:
  • I modelli addestrati con CL hanno mostrato una PPL peggiore sui set di test Brevi (in-distribution) rispetto alla baseline, suggerendo un minor overfitting alle frasi brevi.
  • Al contrario, i modelli CL hanno mostrato una PPL comparabile o migliore sui set di test Medi e Lunghi, indicando una migliorata generalizzazione alla lunghezza.

4.2. Allineamento Tipologico (TA)

• Allineamento Degradato: Contrariamente all'ipotesi che il CL potrebbe simulare meglio l'apprendimento umano e quindi migliorare l'allineamento, i risultati mostrano che il CL peggiora generalmente l'Allineamento Tipologico.
  • Nei set di test Breve e Medio, i punteggi TA sono diventati significativamente meno negativi (o persino positivi) per RNN e LSTM, il che significa che i modelli sono diventati meno allineati con le frequenze tipologiche reali.
  • Eccezione: Nel set di test Lungo, la TA è rimasta significativamente negativa, suggerendo che la comunanza tipologica aiuta ancora la generalizzazione a frasi molto lunghe indipendentemente dal curriculum.
• Differenze Architetturali:
  • Transformer: Hanno mostrato un allineamento relativamente stabile ma leggermente degradato.
  • LSTM/RNN: Hanno mostrato cambiamenti drastici; ad esempio, i punteggi TA degli LSTM sono passati da negativi (allineati) nella baseline a positivi (non allineati) nell'impostazione CL sul set di test Breve.

4.3. Valutazioni Mirate

• Generalizzazione Sintattica: Nei test che coinvolgono clausole relative ricorsive e annidate, i modelli CL hanno generalmente mantenuto la relativa classificazione degli ordini delle parole, ma hanno esibito PPL complessivamente più elevate.
• Giudizi di Grammaticalità: Il CL ha ridotto costantemente l'accuratezza nei giudizi di grammaticalità per tipo di caso e tipo di verbo. Anche la correlazione tra accuratezza e comunanza tipologica si è indebolita o è diventata non significativa per alcuni modelli.

5. Significato e Discussione

• Riesame dei Bias di Apprendimento: I risultati suggeriscono che il "bias induttivo" di un LM non è una proprietà fissa dell'architettura da sola, ma è co-determinato dallo scenario di apprendimento. L'ordine di presentazione dei dati è un fattore critico nel plasmare ciò che un modello trova "facile" da apprendere.
• Sfida all'Ipotesi "Il Bias Plasma il Linguaggio": Se il CL basato sulla lunghezza è un proxy valido per l'acquisizione umana, lo studio implica che i precedenti studi non-CL potrebbero aver sovrastimato l'allineamento tra i bias degli LM e i modelli tipologici. Questo supporta ipotesi alternative secondo cui il design linguistico è guidato da fattori esterni (incidenti storici, geografia) piuttosto che esclusivamente dai bias dell'apprenditore.
• Limiti del CL Semplice: Gli autori sostengono che un curriculum basato semplicemente sulla lunghezza potrebbe essere troppo semplificato per catturare la complessità dell'acquisizione del linguaggio umano. Il più debole allineamento sotto CL suggerisce che sono necessarie strategie CL più sofisticate (ad es. basate sulla complessità costruttiva o sulla crescita della memoria di lavoro) per simulare accuratamente i bias di apprendimento umano.
• Direzioni Future: Il paper invita a esplorare strategie di curriculum più complesse e a rivalutare le metriche utilizzate per misurare l'allineamento tipologico per colmare meglio il divario tra la modellazione linguistica e la scienza del linguaggio umano.

Conclusione

Il paper conclude che il Curriculum Learning impatta sostanzialmente il bias induttivo apparente dei Modelli Linguistici. Mentre il CL migliora la generalizzazione a frasi più lunghe, interrompe l'allineamento tra le preferenze del modello e le frequenze tipologiche reali osservate nell'addestramento con ordine casuale. Ciò sottolinea la necessità di allineare gli scenari di addestramento degli LM con i modelli di sviluppo umano per trarre conclusioni valide sulle origini degli universali linguistici.