Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task

Sintesi Tecnica: I Modelli Linguistici Possono Risolvere la Riferimento in Modo Composizionale, ma non è la loro Forza Nativa

Problematica
Il documento affronta una questione critica nella valutazione dei Large Language Models (LLM): questi modelli acquisiscono realmente capacità composizionali per interpretare il linguaggio naturale, o i loro output derivano principalmente da un sofisticato riconoscimento di pattern? Mentre i benchmark esistenti si concentrano spesso o sulla traduzione del linguaggio naturale in rappresentazioni formali (compiti Intensionali) o sulla mappatura di descrizioni su referenti concreti (compiti Estensionali), pochi studi contrastano esplicitamente questi due aspetti del significato all'interno di un quadro unificato. Gli autori sostengono che la mancanza di un radicamento referenziale (referential grounding) nell'addestramento degli LLM possa essere un componente cruciale mancante per emulare la comprensione del linguaggio simile a quella umana, rendendo necessario un metodo per distinguere tra la capacità di un modello di computare un "senso" (la formula strutturale) e la sua capacità di risolvere un "riferimento" (l'entità specifica).

Metodologia
Gli autori hanno adattato il Personal Relation Task (PRT) (Paperno, 2022) per valutare sia gli LLM che i partecipanti umani. Il compito prevede un "universo" controllato di sei persone collegate da quattro tipi di relazioni: amico, nemico, genitore e figlio. Ai partecipanti viene presentato un sintagma nominale complesso (ad es., "L'amico del genitore di Amber") e viene chiesto di eseguire uno dei due compiti:

1. Task Estensionale: Identificare la persona specifica (referente) che la frase denota all'interno dell'universo fornito.
2. Task Intensionale: Generare una formula funzionale annidata che rappresenti il senso della frase (ad es., friend(parent(amber))).

Il design sperimentale ha manipolato quattro variabili chiave:

• Approccio: Estensionale vs. Intensionale.
• Rappresentazione: Inglese (usando nomi e relazioni standard) vs. Astratta (mappando nomi e relazioni su variabili arbitrarie, ad es., Amber $\to$ h, friend $\to$ x). La condizione Astratta funge da controllo per la contaminazione dei dati di pre-addestramento e aumenta la difficoltà del task Intensionale impedendo la manipolazione superficiale delle stringhe.
• Branching (Ramificazione): Sinistra (genitivo `'s, ad es., "Amber's parent's friend") vs. Destra (frasi preposizionali, ad es., "the friend of the parent of Amber").
• Complessità: Il numero di relazioni coinvolte più uno (testato ai livelli 3, 4, 5 e 6 per gli LLM; limitato al livello 3 per gli umani a causa di vincoli di budget).

Lo studio ha valutato cinque LLM, inclusi modelli standard ottimizzati per l'istruzione (instruction-tuned) e Large Reasoning Models (LRM), utilizzando una struttura di prompt standardizzata in quattro parti (introduzione, dataset, esempio svolto, domanda di test). I dati umani sono stati raccolti da 3 $\text{32}$ partecipanti tramite Prolific. Le prestazioni sono state analizzate utilizzando Modelli Lineari Generalizzati a Effetti Misti (GLMM) per valutare gli effetti del gruppo di partecipanti, dell'approccio al task, della rappresentazione e della complessità.

Contributi Chiave

• Framework Metodologico: Il documento introduce una metodologia unificata per valutare l'interpretazione composizionale intensionale rispetto a quella estensionale, permettendo un confronto diretto tra queste due distinte capacità semantiche.
• Dati Comparativi: Fornisce dati sulle prestazioni umane sugli stessi task in condizioni massimalmente comparabili agli LLM, colmando una lacuna in cui le capacità composizionali sono spesso valutate senza espliciti baseline umani.
• Valutazione Empirica: Lo studio offre una valutazione statistica di diversi LLM, evidenziando divergenze nelle potenzialità tra i modelli e i partecipanti umani, e investiga specificamente l'impatto delle architetture potenziate dal ragionamento.

Risultati
Lo studio rivela una divergenza fondamentale nei profili di prestazione tra umani e LLM:

• Forze Opposte: Gli umani sono risultati significativamente migliori nei task Estensionali (82,8% di accuratezza) rispetto ai compiti Intensionali (71,1%). Al contrario, gli LLM sono stati migliori nei compiti Intensionali (95,0%) rispetto ai compiti Estensionali (79,8%).
• Effetti della Rappresentazione: Entrambi i gruppi hanno trovato le rappresentazioni in inglese più semplici di quelle astratte. Tuttavia, il divario di difficoltà è stato più pronunciato per gli LLM nella condizione Estensionale Astratta (66,1% di accuratezza), che richiede di navigare l'universo e mappare simboli arbitrari, mentre il compito Intensionale in inglese (95% di accuratezza) è stato il più facile per gli LLM, somigliando a un compito di traduzione o riarrangiamento sintattico.
• Complessità e Ragionamento: Le prestazioni degli LLM sono degradate all'aumentare della complessità. Tuttavia, i modelli potenziati dal ragionamento (LRM) hanno mantenuto un divario di prestazione più stabile tra compiti Estensionali e Intensionali attraverso i livelli di complessità rispetto ai modelli standard, suggerendo che le capacità di ragionamento possono mitigare, sebbene non eliminare, la debolezza nella risoluzione referenziale.
• Branching: A differenza degli studi precedenti sulle reti neurali ricorrenti, i moderni LLM basati su Transformer non hanno mostrato un bias sistematico significativo tra strutture con ramificazione a sinistra e a destra.

Significatività e Rivendicazioni
Gli autori sostengono che i loro risultati supportino l'idea che la mancanza di radicamento referenziale nell'addestramento degli LLM sia un deficit critico per raggiungere una comprensione del linguaggio simile a quella umana. I risultati suggeriscono che gli LLM eccellono nella "traduzione" del linguaggio naturale in strutture formali (compiti Intensionali) perché il loro obiettivo di addestramento si concentra sulla predizione della forma superficiale e sui pattern sintattici. Al contrario, gli umani, il cui uso del linguaggio è radicato nell'interazione con il mondo reale, eccellono nell'identificare referenti concreti (compiti Estensionali) ma faticano quando sono costretti ad articolare esplicitamente le formule strutturali sottostanti.

Il documento postula che, sebbene gli LLM possano raggiungere un'alta accuratezza nei compiti composizionali, lo facciano attraverso un processo sottostante diverso da quello umano — sfruttando capacità di traduzione piuttosto che un genuino radicamento referenziale. Gli autori concludono che il riferimento arbitrario rimane una sfida evidente anche per i modelli all'avanguardia, rafforzando le argomentazioni secondo cui il radicamento referenziale è un componente importante mancante da integrare nei sistemi di IA. Lo studio è modesto nelle sue rivendicazioni, notando che l'assetto sperimentale è in parte artificiale e che sono necessari ulteriori lavori per confrontare più ampiamente i modelli base ottimizzati per l'istruzione con quelli potenziati dal ragionamento.