Measuring Form and Function in Language Models

Sintesi Tecnica: Misurare Forma e Funzione nei Modelli Linguistici

Enunciazione del Problema
Le valutazioni attuali dei Large Language Models (LLM) si basano prevalentemente su compiti di classificazione (ad esempio, giudizi di grammaticalità su coppie minime) che spesso non riescono a catturare gli aspetti funzionali e a livello di discorso della conoscenza linguistica. Inoltre, questi benchmark basati sulla classificazione mancano di una verità fondamentale rigorosa quando si confrontano gli LLM con l'acquisizione del linguaggio nei bambini, poiché i giovani bambini non possono fornire giudizi metalinguistici affidabili. Sebbene l'iniziativa "BabyLM" miri a costruire modelli efficienti dal punto di vista dei dati comparabili ai bambini, esiste un vuoto metodologico su come confrontare rigorosamente il comportamento esterno degli LLM con i dati di produzione naturalistici dei bambini. Nello specifico, rimane incerto se gli LLM possiedano un sistema grammaticale produttivo o se semplicemente memorizzino frammenti di input, e se utilizzino il linguaggio per funzioni comunicative appropriate oltre alla correttezza formale delle frasi.

Metodologia
Gli autori propongono un quadro che adatta metriche quantitative dalla ricerca sul linguaggio infantile per valutare gli LLM, concentrandosi sui determinanti inglesi (the vs. a/an), un dominio acquisito presto e con precisione dai bambini. La metodologia consta di tre componenti fondamentali:

1. Prompting di Scelta Alternativa Contestuale (CAC):
   Invece di chiedere ai modelli di classificare le frasi, gli autori utilizzano uno schema di prompting derivato dal compito psicolinguistico "cloze". Per ogni sito determinante-sostantivo (D×N) nell'utterance di un bambino nel Corpus di Manchester, al modello viene presentato l'intero contesto discorsivo precedente e gli viene chiesto di prevedere il determinante. Questo elicita una distribuzione probabilistica sulle scelte (the vs. a) piuttosto che un singolo etichetta binaria, consentendo l'analisi delle aspettative interne del modello in contesti identici a quelli utilizzati dai bambini.

2. Benchmark di Produttività Formale (Test di Sovrapposizione):
   Per distinguere tra una produttività grammaticale genuina e la memorizzazione meccanica, il paper impiega un test statistico basato su Yang (2013). Questo test calcola la "sovrapposizione" attesa (la proporzione di tipi di sostantivi che appaiono sia con the che con a) per un corpus di una data dimensione ($S$) e vocabolario ($N$), assumendo una grammatica produttiva in cui i determinanti si combinano indipendentemente con i sostantivi. Il test incorpora la Legge di Zipf per le frequenze dei sostantivi e un "bias" aggregato ($b$) che riflette la tendenza di specifici sostantivi a favorire un determinato determinante. Se la sovrapposizione empirica di un modello non differisce significativamente dalla sovrapposizione attesa derivata da queste proprietà statistiche, si considera che esprima produttività formale.

3. Benchmark Funzionale-Discorsivo (Probabilità Transizionale di Riferimento - TPR):
   Per valutare la conoscenza funzionale, gli autori misurano la TPR, definita come la probabilità che un parlante cambi il determinante quando il sostantivo del tema rimane costante attraverso i turni conversazionali. Questa metrica cattura l'uso appropriato della definitività e della specificità nel discorso. La TPR del modello è calcolata confrontando le sue scelte probabilistiche di determinante con l'utterance precedente del caregiver nel dialogo. Questo viene confrontato con una baseline stabilita da conversazioni adulto-adulto e con la TPR empirica dei bambini.

Contributi Chiave

• Innovazione Metodologica: L'introduzione del prompting CAC permette il confronto diretto tra LLM e bambini utilizzando dati di produzione naturalistici, aggirando la necessità di giudizi metalinguistici inaffidabili da parte dei bambini.
• Valutazione a Doppio Benchmark: Il paper stabilisce due benchmark indipendenti: produttività formale (sintassi) e appropriatezza funzionale-discorsiva (pragmatica), che non richiedono l'accesso ai dati di addestramento del modello, rendendoli applicabili a qualsiasi campione linguistico.
• Analisi Empirica: Lo studio valuta 45 modelli linguistici (inclusi baseline BabyLM, vincitori e modelli di riferimento) attraverso questi benchmark, fornendo una visione granulare delle prestazioni del modello rispetto ai bambini di 2-3 anni.

Risultati
La valutazione rivela una significativa dissociazione tra diverse facce della competenza linguistica negli LLM:

• Produttività Formale: Molti modelli, inclusi quelli addestrati su quantità di dati comparabili a quelle disponibili per bambini di 2-3 anni (circa 10–20 milioni di parole), superano il test di sovrapposizione formale. Ciò suggerisce che hanno imparato a combinare determinanti e sostantivi in modo produttivo piuttosto che semplicemente memorizzare le collocazioni.
• Funzione Discorsiva: Nessuno dei modelli addestrati su dati comparabili a quelli dei giovani bambini supera il test TPR. I loro valori TPR sono significativamente più alti delle baseline umane, indicando che scelgono i determinanti in modo stocastico senza riguardo per le restrizioni referenziali o il contesto discorsivo.
• Modelli Grandi: Solo due modelli addestrati su dataset significativamente più grandi (100M e 30B di parole) hanno superato entrambi i benchmark. Un modello addestrato su 156B di parole ha superato il test TPR ma ha fallito il test di sovrapposizione.
• Accuratezza vs. Competenza: Diversi modelli hanno raggiunto un'alta accuratezza nelle scelte di determinante di massima verosimiglianza (MLE) (corrispondendo ai bambini circa l'89% delle volte) ma hanno fallito i test TPR e di sovrapposizione. Ciò conferma che un'alta accuratezza di classificazione non equivale a una competenza linguistica simile a quella adulta o a una grammatica produttiva.

Significato e Affermazioni
Il paper sostiene che gli attuali LLM addestrati su dati plausibili dal punto di vista dello sviluppo non esibiscono ancora l'intero spettro di conoscenza linguistica dimostrato dai bambini umani all'età di 2-3 anni. Nello specifico, mentre i modelli possono apprendere la produttività sintattica formale, faticano con i vincoli funzionali e a livello di discorso dell'uso del linguaggio. Gli autori affermano che l'ottimizzazione per un aspetto della competenza (ad esempio, accuratezza predittiva o sintassi formale) non garantisce l'acquisizione di altri (ad esempio, funzione discorsiva).

Il lavoro funge da contributo metodologico, dimostrando che la ricerca sul linguaggio infantile fornisce quadri necessari per valutare gli LLM come modelli cognitivi. Gli autori suggeriscono che i traguardi precoci di acquisizione, come l'uso dei determinanti, servono come punti di controllo critici per il settore, evidenziando che gli LLM potrebbero richiedere traiettorie di apprendimento diverse o efficienze nei dati per modellare veramente l'acquisizione del linguaggio umano. Il paper conclude con modestia, notando che mentre alcuni modelli molto grandi soddisfano i benchmark, le cause del successo o del fallimento rimangono poco chiare, e sono necessarie ulteriori indagini su come il fine-tuning delle istruzioni e il reinforcement learning dal feedback umano (RLHF) possano interagire con questi specifici criteri linguistici.