Language Models Generalize to Human-like Word Order Preferences

Immagina di cercare di insegnare a un robot a parlare una nuova lingua, ma decidi di fargli uno scherzo. Gli dai una biblioteca enorme di libri, ma con cura strappi via ogni singola pagina che contiene una frase con più di una descrizione per un sostantivo. Così, il robot impara che puoi dire "la palla rossa" o "la grande palla", ma non vede mai "la grande palla rossa" o "la rossa grande palla". Non ha alcuna prova diretta di come impilare insieme più descrizioni. Ora, la grande domanda è: se chiedi al robot di indovinare l'ordine per una nuova frase come "la grande palla rossa", indovinerà a caso? O riuscirà in qualche modo a capire la logica nascosta del linguaggio e sceglierà l'ordine corretto, proprio come farebbe un bambino umano?

Questo è il tipo di enigma che sta al cuore della linguistica e dell'intelligenza artificiale. Gli scienziati si sono spesso chiesti se nasciamo con un "chip del linguaggio" speciale nel nostro cervello che ci dice come ordinare le parole, o se impariamo tutto semplicemente notando i modelli in ciò che sentiamo. Per testarlo, i ricercatori usano quella che viene chiamata "Apprendimento di un Linguaggio Artificiale". È come un esperimento controllato in cui si insegna a persone o macchine un linguaggio minuscolo e inventato, con parti mancanti, per vedere come riempiono i vuoti. Se un apprendente seleziona un modello specifico anche senza averlo mai visto, ciò suggerisce che possiede un pregiudizio innato o un modo intelligente di indovinare basato sulla struttura del mondo, non solo sulla frequenza delle parole. Questo articolo approfondisce questo mistero utilizzando i moderni modelli linguistici di IA come nostri soggetti di test.

---

Il Grande Mistero dell'Ordine delle Parole

In questo studio, i ricercatori Amanda Popadich e Shane Steinert-Threlkeld hanno deciso di vedere se i programmi per computer, noti come modelli linguistici, potessero compiere lo stesso trucco di magia che compiono gli apprendisti umani. Volevano sapere: può una macchina imparare le "regole" di come impilare aggettivi e numeri senza aver mai visto un singolo esempio di una frase composta?

La regola specifica che stavano cercando è chiamata omeomorfismo di scope (scope-homomorphism). Questo è un modo complicato per dire che l'ordine delle parole in una frase deve corrispondere all'ordine del loro significato. Pensatelo come alle bambole russe. Se avete una "grande palla rossa", la parola "rossa" descrive direttamente la palla, e "grande" descrive la "palla rossa". In inglese, naturalmente, mettiamo prima la descrizione più esterna e grande ("grande") e la descrizione più specifica e interna ("rossa") più vicina al sostantivo. I ricercatori volevano vedere se i loro modelli di IA avrebbero naturalmente preferito questo ordine a "matrioska", anche se fossero stati addestrati su una dieta di sole frasi con una singola descrizione.

L'Esperimento: Una Dieta Linguistica

Per testare questo, il team ha creato un ambiente di addestramento molto rigoroso. Hanno preso un enorme pezzo di internet (nello specifico, il dump di Wikipedia del 2023) e lo hanno filtrato. Hanno usato un programma per conto trovare ogni frase con un sostantivo che aveva due o più modificatori (come "quei due cani pelosi") e le hanno scomposte. Hanno sostituito "quei due cani pelosi" con esempi separati come "quei cani", "due cani" e "cani pelosi".

Il risultato è stato una dieta di "povertà dello stimolo". Ai modelli sono state date 100 milioni di parole, ma non hanno mai visto una singola frase con un sostantivo dotato di due modificatori. Hanno imparato gli ingredienti individuali, ma non hanno mai visto la torta finita. Poi, i ricercatori hanno testato i modelli chiedendo loro di scegliere tra due versioni di una frase: quella che seguiva la logica della "matrioska" (omeomorfica rispetto allo scope) e quella che non la seguiva.

Hanno testato tre diverse dimensioni di modelli di IA: uno piccolo (52 milioni di parametri), uno medio (110 milioni) e uno grande (350 milioni).

I Risultati: L'IA ci azzecca

Le scoperte sono state sorprendentemente coerenti. Nonostante i modelli non avessero mai visto una frase con molteplici modificatori durante il loro addestramento, tutti e tre i modelli hanno costantemente preferito l'ordine "matrioska".

Quando i ricercatori hanno chiesto ai modelli di scegliere tra "quei due cani" (l'ordine logico) e "due quei cani" (l'ordine rimescolato), i modelli hanno scelto schiacciantemente quello logico.

• Il modello piccolo ci ha azzeccato circa il 76% delle volte.
• Il modello medio ci ha azzeccato circa il 73% delle volte.
• Il modello grande ci ha azzeccato circa il 70% delle volte.

Ciò suggerisce che i modelli non hanno solo memorizzato i dati di addestramento; hanno generalizzato una regola. Hanno capito che quando si hanno più descrizioni, esiste un modo specifico e logico per organizzarle, anche senza che l'ordine venga mostrato. Interessante è che la dimensione del modello non ha cambiato molto il risultato; il modello piccolo, medio e grande hanno tutti mostrato questo pregiudizio, suggerendo che sia una caratteristica robusta di come questi sistemi imparano.

Il Colpo di Scena: Non si tratta solo di accoppiamenti di parole

I ricercatori hanno poi posto una domanda di follow-up: Come hanno fatto i modelli a capirlo? Una teoria popolare è che gli apprendisti guardino semplicemente quanto spesso le parole "stanno insieme". Per esempio, forse "rossa" si trova solitamente proprio accanto a "palla", quindi dovrebbe sempre stare più vicina al sostantivo rispetto a "grande". Questo viene misurato da qualcosa chiamato Informazione Mutua Punto a Punto (PMI), che è essenzialmente un punteggio di quanto due parole siano associate tra loro.

Il team ha controllato la matematica. Hanno calcolato i punteggi di associazione per le parole nei loro dati di addestramento. Hanno scoperto che, sì, gli aggettivi sono fortemente associati ai sostantivi, mentre i numeri e i dimostrativi (come "quei") lo sono meno. Se i modelli stessero solo seguendo questi punteggi di associazione, avrebbero dovuto essere in grado di predire perfettamente l'ordine delle parole.

Ma ecco il colpo di scena: i punteggi di associazione non sono riusciti a predire le scelte dei modelli.

Quando i ricercatori hanno confrontato le scelte reali dei modelli con ciò che la matematica prevedeva, la correlazione era quasi nulla. I modelli stavano scegliendo l'ordine corretto, ma non lo facevano perché contavano quanto spesso le parole apparivano insieme. Questo suggerisce che i modelli stiano cogliendo qualcosa di più profondo — forse una comprensione strutturale di come funziona il linguaggio — che va oltre la semplice statistica delle coppie di parole.

Cosa Significa Questo

Questo studio dimostra che i modelli linguistici possono recuperare generalizzazioni linguistiche simili a quelle umane da input "impoveriti". Proprio come un bambino umano che potrebbe indovinare il giusto ordine delle parole in una nuova lingua senza aver visto tutte le possibili combinazioni, questi modelli di IA hanno trovato un modello che non era esplicitamente presente nel loro addestramento.

Tuttavia, gli autori avvertono con cautela che questo non prova che l'IA impari esattamente come gli esseri umani. I modelli non sono bambini coscienti; sono complessi motori statistici. Ma il fatto che abbiano sviluppato questo pregiudizio senza che gli venisse insegnato suggerisce che non è necessario un "chip del linguaggio" pre-programmato per imparare queste regole. A volte, le regole del linguaggio possono emergere naturalmente dall'esperienza di apprendimento, anche quando le prove sono incomplete.

I ricercatori hanno anche notato una piccola differenza tra l'IA e gli esseri umani: mentre gli umani mostrano solitamente la preferenza più forte per l'ordinamento di dimostrativi e aggettivi (come "quel grande cane"), i modelli di IA hanno mostrato la preferenza più forte per dimostrativi e numeri (come "quei due cani"). Ciò suggerisce che, sebbene la capacità generale di generalizzare sia presente, i "sapori" specifici del pregiudizio possono dipendere dai dettagli dei dati di addestramento.

In definitiva, questo articolo ci offre un nuovo strumento affascinante per comprendere il linguaggio. Nutrendo i modelli di IA con informazioni mancanti, possiamo vedere cosa "indovinano" da soli, aiutandoci a capire se le regole del linguaggio siano cablate o imparate dai modelli del mondo.