Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives

Il documento evidenzia una significativa discrepanza tra le rappresentazioni interne composizionali e le prestazioni funzionali nei modelli linguistici di grandi dimensioni, sottolineando la necessità di valutazioni contrastive per una comprensione completa delle loro capacità.

L'essenziale

Immagina che i grandi modelli linguistici (LLM), come quelli che usi per scrivere email o generare storie, siano come chef molto esperti in una cucina di lusso.

La domanda centrale di questo studio è: questi chef capiscono davvero come funzionano gli ingredienti, o sono solo bravissimi a imitare le ricette che hanno visto milioni di volte?

Gli autori del paper, Ruchira Dhar, Qiwei Peng e Anders Søgaard, hanno deciso di mettere alla prova questi "chef" con un compito specifico: capire come si combinano gli aggettivi con i sostantivi (ad esempio, "cane veloce" vs "cane da corsa").

Ecco cosa hanno scoperto, spiegato con parole semplici e qualche metafora creativa.

1. I Due Modi per Guardare lo Chef

Per capire se un modello è davvero intelligente, gli scienziati hanno usato due metodi di valutazione molto diversi, come se volessero giudicare lo chef in due modi opposti:

• Metodo 1: Il "Test di Gusto" (Valutazione Funzionale)
  Qui si chiede allo chef di cucinare un piatto e si vede se il cliente (il compito) è soddisfatto. Se il modello risponde correttamente alla domanda, passa il test. È come chiedere: "Se ti dico 'il ladro presunto è stato arrestato', capisci che non è un ladro vero?"
• Metodo 2: La "Radiografia della Mente" (Valutazione Rappresentazionale)
  Qui non ci importa del piatto finito. Ci interessa guardare dentro la testa dello chef mentre cucina. Analizziamo i suoi "pensieri" (i dati interni del modello) per vedere se, mentre mescola gli ingredienti, ha effettivamente creato una struttura logica che distingue "cane veloce" da "cane da corsa". È come usare una radiografia per vedere se le ossa dello chef sono allineate correttamente, anche se il piatto finale sembra perfetto.

2. La Grande Sorpresa: Il Paradosso

Ecco il colpo di scena che rende questo studio così interessante. I risultati mostrano una strana discrepanza:

• Nella "Radiografia" (Metodo 2): I modelli sembrano geniali. All'interno del loro cervello digitale, le informazioni sono organizzate perfettamente. Sanno esattamente come un aggettivo modifica un sostantivo. È come se lo chef, guardando gli ingredienti, sapesse esattamente come si comportano chimicamente. La loro "mente" è composizionale: capisce le regole.
• Nel "Test di Gusto" (Metodo 1): Quando si chiede loro di usare questa conoscenza per rispondere a una domanda, spesso falliscono. A volte, più il modello è grande o più è stato addestrato a seguire istruzioni, peggio si comporta nel compito pratico. È come se lo chef avesse la conoscenza perfetta della chimica degli ingredienti, ma quando arriva il momento di servire il piatto, lo bruci o lo serva al contrario.

3. L'Analogia del "Libro di Ricette vs. Intuito"

Immagina di avere un modello linguistico come un studente di medicina:

• La Radiografia ci dice che lo studente ha studiato l'anatomia a memoria: sa dove sono i muscoli, le ossa e i nervi. La sua conoscenza interna è solida.
• Il Test di Gusto è quando lo studente deve operare un paziente. Sorprendentemente, a volte, nonostante sappia tutto l'anatomia, sbaglia l'operazione o non riesce a collegare i puntini.

Il paper scopre che per questi modelli, sapere (internamente) e fare (esternamente) sono due cose diverse.

4. Cosa succede quando li rendiamo "più grandi"?

Spesso pensiamo che se rendiamo un modello più grande (aggiungendo più parametri) o lo addestriamo meglio a seguire le istruzioni, diventerà automaticamente più intelligente in tutto.
Gli autori hanno scoperto che non è così.

• Rendere il modello più grande o fargli seguire istruzioni a volte peggiora la sua capacità di rispondere correttamente a questi test di logica, anche se la sua "radiografia interna" rimane perfetta.
• È come se, rendendo lo chef più famoso e facendogli seguire regole rigide, diventasse più rigido e meno capace di applicare la sua intuizione naturale.

5. La Lezione Principale: Non fidatevi solo dell'aspetto esteriore

La conclusione fondamentale è che non possiamo giudicare un modello linguistico solo guardando se risponde giusto o sbagliato alle domande.

• Se guardiamo solo il risultato (il piatto finito), potremmo pensare che il modello non capisca la logica.
• Se guardiamo solo i dati interni (la radiografia), potremmo pensare che sia un genio.

La verità sta nel mezzo: il modello possiede la conoscenza, ma fatica a esprimerla correttamente quando gli chiediamo di farlo.

Perché è importante?

Questo studio ci avverte che quando usiamo l'Intelligenza Artificiale per cose serie (come diagnosi mediche, guida autonoma o decisioni legali), non basta dire "il modello ha risposto giusto 9 volte su 10". Dobbiamo capire come ragiona. Se c'è una discrepanza tra ciò che sa e ciò che fa, potremmo avere dei rischi nascosti.

In sintesi: I modelli hanno la "mente" giusta, ma a volte hanno la "bocca" sbagliata. Per capire davvero quanto sono intelligenti, dobbiamo guardare sia il loro comportamento che la loro struttura interna, non solo uno dei due.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives", redatta in italiano.

1. Il Problema

La composizionalità (la capacità di generare significati complessi a partire da parti più semplici) è considerata un pilastro fondamentale del linguaggio umano e della cognizione. Tuttavia, la valutazione della composizionalità nei Large Language Models (LLM) moderni presenta una lacuna critica: le due principali linee di ricerca esistenti vengono raramente confrontate direttamente sullo stesso set di modelli e compiti.

1. Valutazione Funzionale: Si basa sulle prestazioni del modello in compiti esterni (es. accuratezza su benchmark).
2. Valutazione Rappresentazionale: Analizza le strutture interne del modello (stati nascosti) per identificare se i segnali composizionali sono codificati.

Il paper si pone la domanda: le valutazioni funzionali e rappresentazionali forniscono evidenze convergenti sulla composizionalità degli LLM, o esiste una divergenza tra ciò che il modello "sa" internamente e ciò che "fa" esternamente?

2. Metodologia

Gli autori hanno adottato un quadro sperimentale unificato per confrontare le due prospettive su quattro famiglie di modelli (LLaMA-2, CodeLlama, Qwen2.5-Coder, Gemma2), analizzando varianti Base, Instruction-Tuned e Scaled (più grandi).

Il dominio di studio è la composizione Aggettivo-Sostantivo (AN), scelta per la sua trasparenza semantica e frequenza. Sono stati valutati tre aspetti chiave della composizionalità tramite tre dataset specifici:

• Sostituibilità (Substitutivity): Valutata con il dataset AddOne. Verifica se la sostituzione di un modificatore semanticamente compatibile preserva le relazioni di implicazione (entailment).
  • Esempio: "The runner set a new record" implica "The runner set a record".
• Sistematicità (Systematicity): Valutata con il dataset PLANE. Verifica se il modello può ricombinare relazioni semantiche note per inferire nuove relazioni (es. se "red car" implica "car" e "car" implica "vehicle", allora "red car" dovrebbe implicare "red vehicle").
• Sovrageneralizzazione (Overgeneralization): Valutata con un nuovo dataset introdotto dagli autori, COMPCOMB. Testa la capacità del modello di evitare di inferire la appartenenza a un tipo basandosi solo sulla sovrapposizione superficiale delle stringhe (es. distinguere tra "trenchcoat" che è un tipo di "coat" e "turncoat" che non lo è).

Approcci di Valutazione:

1. Funzionale: Misura le prestazioni comportamentali (accuratezza o F1-score) tramite prompt diversi per mitigare la sensibilità ai prompt.
2. Rappresentazionale: Esegue un'analisi layer-wise (livello per livello).
   • Per AddOne e PLANE: Addestrano un classificatore lineare sugli stati nascosti per prevedere l'etichetta di implicazione.
   • Per COMPCOMB: Calcolano la similarità coseno tra gli embedding dei token per valutare la discriminazione dei tipi.

3. Risultati Chiave

I risultati rivelano una divergenza sistematica e sorprendente tra le prestazioni funzionali e le rappresentazioni interne:

• Divergenza Prestazioni vs. Rappresentazioni:

  • Prestazioni Funzionali: Le prestazioni sui compiti composizionali sono instabili. In molti casi, l'aumento delle dimensioni del modello (scaling) o il fine-tuning con istruzioni (instruction tuning) hanno portato a un peggioramento delle prestazioni su AddOne e COMPCOMB, mentre su PLANE sono rimaste stabili. Non esiste una correlazione diretta tra le capacità generali del modello e il successo nei compiti composizionali.
  • Rappresentazioni Interne: Al contrario, le evidenze rappresentazionali sono altamente stabili e robuste attraverso tutte le varianti dei modelli (base, istruite, scalate). I segnali composizionali sono codificati in modo affidabile negli stati interni, con picchi di forza tipicamente negli strati intermedi della rete.

• Conclusione Empirica: Gli LLM sviluppano rappresentazioni composizionali robuste, ma falliscono nel tradurle coerentemente in successo funzionale sui compiti. Il modello "conosce" la struttura composizionale internamente, ma non la utilizza sempre correttamente per generare la risposta corretta.

4. Contributi Principali

1. Framework di Valutazione Contrastiva: È uno dei primi lavori a confrontare direttamente e sistematicamente valutazioni funzionali e rappresentazionali sullo stesso set di modelli e compiti, rivelando una discrepanza precedentemente sottovalutata.
2. Nuovo Dataset (COMPCOMB): Introduzione di un dataset per testare la robustezza contro la sovrageneralizzazione in frasi aggettivo-sostantivo, colmando un vuoto nella letteratura esistente.
3. Dimostrazione della Divergenza: Fornisce prove empiriche che le metriche di performance standard (come l'accuratezza su benchmark) possono essere fuorvianti se non integrate con analisi rappresentazionali, poiché un modello può possedere conoscenza composizionale senza manifestarla nel comportamento.
4. Analisi Scalabile: Dimostra che né lo scaling dei parametri né l'instruction tuning risolvono automaticamente le carenze comportamentali nella composizionalità, suggerendo che questi miglioramenti non si traducono uniformemente in capacità di ragionamento strutturale.

5. Significato e Implicazioni

Questo studio ha implicazioni profonde per la ricerca sugli LLM e il loro deployment:

• Limiti delle Valutazioni Attuali: Basarsi esclusivamente sulla performance del task (funzionale) o solo sul probing rappresentazionale offre una visione incompleta. Un modello potrebbe essere classificato come "non composizionale" in base ai test esterni, pur avendo le strutture interne per esserlo.
• Sicurezza e Affidabilità: Per applicazioni critiche (sicurezza, sistemi decisionali), è fondamentale comprendere la divergenza tra struttura interna e output esterno. Se un modello possiede la conoscenza ma non la applica, ciò può portare a errori imprevedibili o allucinazioni in contesti specifici.
• Futuro della Ricerca: Suggerisce la necessità di sviluppare strategie di valutazione ibride che integrino analisi funzionali e rappresentazionali per ottenere una comprensione più granulare e affidabile delle capacità dei modelli. Inoltre, evidenzia la necessità di indagare come e quando le rappresentazioni interne vengono attivate per influenzare le previsioni, andando oltre la semplice rilevazione della loro presenza.

In sintesi, il paper sostiene che la composizionalità negli LLM è una proprietà codificata ma non sempre esplicitata, e che la valutazione completa richiede una lente multi-prospettica che vada oltre la semplice accuratezza del output.