Beyond Memorization: Assessing Semantic Generalization in Large Language Models Using Phrasal Constructions

Sintesi Tecnica: Oltre la Memorizzazione: Valutare la Generalizzazione Semantica nei Large Language Models attraverso le Costruzioni Frasali

Problema
Il pre-addestramento dei Large Language Models (LLM) su dati su scala web presenta una sfida critica di valutazione: distinguere tra una genuina competenza linguistica e la mera memorizzazione di pattern frequenti. Sebbene i modelli spesso ottengano buone prestazioni in compiti che coinvolgono dati ben rappresentati nei loro set di addestramento, la loro capacità di generalizzare a istanze linguistiche creative, meno comuni o fuori dominio rimane poco chiara. Nello specifico, è difficile determinare se i modelli comprendano realmente la semantica astratta delle strutture sintattiche o se si affidino a correlazioni statistiche derivate da elementi lessicali ad alta frequenza. I metodi di valutazione esistenti spesso faticano a garantire l'indipendenza del test dai dati di pre-addestramento o non riescono a isolare specifici fenomeni linguistici come la semantica costruttiva.

Metodologia
Per affrontare queste sfide, gli autori costruiscono un framework di valutazione diagnostica basato sulla Grammatica delle Costruzioni (CxG). La CxG postula che il linguaggio venga appreso attraverso l'uso, dove i parlanti astraggono su slot sintattici per interpretare e produrre nuove istanze di costruzioni, anche con elementi lessicali non familiari. Gli autori sfruttano questo framework per progettare due esperimenti utilizzando l'Inferenza Linguistica Naturale (NLI) come proxy per la comprensione:

1. Esperimento 1 (CxNLI): Questo esperimento testa la capacità del modello di generalizzare la semantica costruttiva a istanze creative e infrequenti di comuni costruzioni frasali. Il dataset consiste di 435 triple NLI derivate da 8 costruzioni inglesi ad alta frequenza (es. Risultativa, Causativa di Moto, Let-Alone). Le premesse utilizzano template costruttivi "radicati" (entrenched), ma sono istanziate con verbi o elementi lessicali atipici improbabili di apparire in quella specifica struttura all'interno del pre-addestramento. Il compito richiede al modello di determinare se un'ipotesi (derivata dal significato astratto della costruzione) implica, contraddice o è neutrale rispetto alla premessa.
2. Esperimento 2 (CxNLI-Distinction): Questo esperimento testa la capacità del modello di distinguere tra costruzioni sintatticamente identiche che possiedono significati divergenti. Il dataset contiene 99 triple NLI caratterizzate da costruzioni (es. Depittiva vs. Risultativa) che condividono la stessa sintassi superficiale (es. NP V NP ADJ) ma differiscono nel significato (es. stato risultante da un'azione vs. stato esistente durante un'azione). L'obiettivo è valutare se i modelli possano evitare di sovra-generalizzare la semantica di costruzioni altamente radicate a distrattori sintatticamente identici ma meno radicati.

La valutazione prevede il test di modelli allo stato dell'arte, inclusi GPT-4o, GPT-o1, GPT-3.5 e Llama 3 (8B e 70B), in contesti di apprendimento zero-shot e in-context learning (ICL). Gli ambienti ICL utilizzano esempi del dataset degli autori (CxNLI) e del dataset standard Stanford NLI (SNLI) per sondare l'affidamento dei modelli a specifiche conoscenze costruttive rispetto a capacità NLI generali.

Contributi Chiave

1. Nuovo Dataset Diagnostico: Gli autori introducono un dataset di 534 triple NLI validate manualmente, progettato specificamente per testare la generalizzazione e la distinzione costruttiva, andando oltre i compiti di identificazione metalinguistica per valutare la comprensione semantica sottostante.
2. Framework di Valutazione Basato su CxG: A differenza dei lavori precedenti che si concentrano su singole costruzioni o compiti metalinguistici, questo studio utilizza il consolidato compito NLI per sondare la comprensione funzionale del significato costruttivo, testando sia l'istanza creativa che l'ambiguità sintattica.
3. Valutazione Ampia dei Modelli: Lo studio valuta una gamma di modelli, inclusi i più grandi attualmente disponibili (GPT-o1, Llama 3 70B), fornendo una visione completa dello stato attuale della generalizzazione costruttiva negli LLM.
4. Risorse Aperte: Il dataset, i prompt e le risposte dei modelli sono resi pubblici per facilitare ulteriori ricerche sulla generalizzazione linguistica degli LLM.

Risultati
Gli esperimenti rivelano una discrepanza significativa tra le prestazioni umane e quelle dei modelli, in particolare nella capacità di distinguere costruzioni sintatticamente identiche:

• Esperimento 1 (Generalizzazione): I modelli, in particolare GPT-4o e GPT-o1, hanno dimostrato un'alta accuratezza (fino al 90%) nel generalizzare la semantica costruttiva a istanze creative. Le prestazioni sono migliorate con l'in-context learning utilizzando esempi specifici della costruzione, suggerendo che i modelli possono apprendere la mappatura astratta quando vengono forniti stimoli rilevanti.
• Esperimento 2 (Distinzione): Si è verificato un brusco calo delle prestazioni quando ai modelli è stato chiesto di distinguere tra costruzioni sintatticamente identiche. Anche i modelli più avanzati (GPT-o1, GPT-4o) hanno visto la propria accuratezza scendere di oltre il 40% rispetto all'Esperimento 1. Ad esempio, GPT-o1 è sceso dal 90% di accuratezza nell'Esp. 1 al 46% nell'Esp. 2.
• Significatività Statistica: I test A/B Bayesiani hanno confermato che il calo delle prestazioni nell'Esperimento 2 è statisticamente significativo e molto più pronunciato per gli LLM rispetto agli esseri umani. Mentre le prestazioni umane sono rimaste robuste (IAA di 83%), i modelli hanno faticato a rifiutare la semantica di costruzioni altamente radicate quando presentati con distrattori sintatticamente identici ma meno radicati.
• Analisi degli Errori: I modelli hanno spesso fallito nel distinguere tra costruzioni come la Risultativa (l'azione causa uno stato) e la Depittiva (lo stato esiste durante l'azione), spesso interpretando erroneamente la relazione causale. Ciò suggerisce un fallimento nel ragionamento causale e un eccessivo affidamento sulle associazioni lessico-semantiche più frequenti.

Significatività e Rivendicazioni
Gli autori sostengono che le loro scoperte evidenziano un limite fondamentale nelle attuali architetture di LLM: sebbene i modelli possano elaborare la semantica costruttiva fino a un certo punto, falliscono nel generalizzare questa comprensione a nuove istanze quando viene introdotta l'ambiguità sintattica. I risultati sfidano il paradigma "più dati è meglio", suggerendo che la scalabilità dei dati web-text possa rafforzare i bias verso i significati costruttivi frequenti piuttosto che favorire un vero ragionamento astratto.

L'articolo sostiene che l'incapacità di distinguere tra costruzioni sintatticamente identiche rappresenti un fallimento del ragionamento causale con potenziali implicazioni per la sicurezza, poiché fraintendere la differenza tra uno stato co-occorrente e un esito causato potrebbe portare a errori catastrofici negli agenti AI. Inoltre, lo studio sottolinea la necessità di benchmark diagnostici e contrastivi per valutare accuratamente la competenza linguistica, poiché i benchmark ad ampia copertura possono sovrastimare le reali capacità di un modello. Gli autori concludono che, sebbene i modelli attuali mostrino robustezza nel gestire le costruzioni radicate, la loro capacità di generalizzare il significato costruttivo a forme distinte e sintatticamente identiche rimane sostanzialmente inferiore alla conoscenza linguistica umana.