Grounded Concreteness: Human-Like Concreteness Sensitivity in Vision-Language Models

Sintesi Tecnica: Concreteness Fondata nei Modelli Vision-Language

Problematica
Il documento affronta una tensione centrale nella scienza cognitiva e nell'intelligenza artificiale: se il "significato" possa essere recuperato esclusivamente dal testo o se richieda una base percettiva (grounding). Mentre i grandi modelli linguistici (LLM) apprendono dalle distribuzioni testuali, i concetti umani variano in termini di "concreteness" (concretezza)—una dimensione graduata in cui le parole concrete (es. mela) sono strettamente legate alla percezione sensoriale, mentre le parole astratte (es. giustizia) sono relazionali e dipendenti dal contesto. Gli autori indagano se i modelli Vision-Language (VLM), che subiscono un pre-addestramento multimodale, sviluppino una sensibilità alla concretezza linguistica più simile a quella umana rispetto ai modelli LLM corrispondenti basati solo sul testo, anche quando valutati tramite prompt esclusivamente testuali.

Metodologia
Lo studio impiega un design di ablazione controllato per isolare l'effetto del grounding visivo.

• Confronto tra Modelli: Gli autori confrontano coppie accoppiate di modelli testuali Llama 3.1 di Meta (8B e 70B parametri) con i rispettivi controparti Llama Vision 3.2 (11B e 90B parametri). I modelli di visione utilizzano i modelli testuali come backbone, addestrati su dataset multimodali.
• Protocollo di Valutazione: Fondamentalmente, tutte le valutazioni utilizzano prompt esclusivamente testuali (nessuna immagine fornita durante l'inferenza). Ciò garantisce che eventuali differenze di prestazione derivino dalle rappresentazioni interne apprese durante il pre-addestramento multimodale, piuttosto che da un input visivo diretto durante il compito.
• Analisi a Tre Livelli: Gli autori triangolano le prove attraverso tre livelli complementari:
  1. Comportamento in Output: Misurazione dell'accuratezza nel Question Answering (QA) attraverso diversi benchmark (ARC, BoolQ, Winogrande, ecc.) suddivisi per punteggi di concretezza a livello di frase derivati da norme umane (Brysbaert et al., 2014).
  2. Geometria degli Embedding: Analisi dell'organizzazione delle rappresentazioni dei token in uno spazio a bassa dimensionalità (t-SNE) per testare se i token si raggruppino per livelli di concretezza.
  3. Dinamiche dell'Attenzione: Quantificazione della dipendenza contestuale tramite l'entropia dell'attenzione. In base alle teorie psicolinguistiche, l'ipotesi è che i token astratti richiedano un contesto più ampio (entropia maggiore), mentre i token concreti si affidino a un'attenzione focalizzata (entropia minore).
• Allineamento Umano: I modelli vengono sollecitati a generare valutazioni di concretezza a livello di token, che vengono confrontate con le distribuzioni delle norme umane utilizzando la divergenza KL simmetrica.

Risultati Chiave
In entrambe le scale dei modelli (8B/11B e 70B/90B), i VLM hanno dimostrato una sensibilità alla concretezza superiore rispetto ai loro controparti basati solo sul testo:

• Prestazioni QA: I VLM hanno superato gli LLM complessivamente, ma il divario di prestazione si è ampliato significativamente all'aumentare della concretezza della domanda. Il vantaggio è stato più pronunciato per domande che coinvolgevano entità percepibili e relazioni spaziali, suggerendo che il grounding visivo fornisca uno scaffold per la semantica concreta.
• Geometria della Rappresentazione: Nelle proiezioni t-SNE, le rappresentazioni dei token dei VLM hanno formato cluster più densi e contigui per le parole altamente concrete rispetto alla distribuzione diffusa osservata nei modelli LLM basati solo sul testo. Le misure quantitative della dispersione intra-cluster hanno confermato che i VLM ottengono una minore dispersione (clustering più stretto) per i token concreti.
• Pattern di Attenzione: I VLM hanno esibito una correlazione negativa più forte tra la concretezza del token e l'entropia dell'attenzione. I token concreti nei VLM mostravano un'entropia inferiore (attenzione più focalizzata), mentre i token astratti mostravano un'entropia superiore. Questa separazione era più netta nei VLM rispetto agli LLM, in particolare negli strati iniziali e medi della rete.
• Allineamento Umano: I VLM hanno generato valutazioni di concretezza che si allineavano più strettamente alle norme umane rispetto agli LLM. Questo allineamento è migliorato significativamente all'aumentare delle valutazioni di concretezza umane, mentre il trend di allineamento degli LLM era più debole e statisticamente meno affidabile.

Significatività e Rivendicazioni
Il documento sostiene di fornire una dimostrazione controllata del fatto che la supervisione visiva durante l'addestramento induce una sensibilità alla concretezza più simile a quella umana nei modelli di base. Mantenendo costante il backbone linguistico, lo studio isola il grounding visivo come fattore causale in:

1. Robustezza Comportamentale: Miglioramento delle prestazioni QA specificamente sui concetti concreti.
2. Struttura Rappresentazionale: Organizzazione degli embedding in una geometria che riflette la concretezza graduata.
3. Dinamiche di Elaborazione: Spostamento dei meccanismi di attenzione affinché si affidino meno a un contesto ampio per le parole concrete, in linea con le teorie del dual-coding e del grounded cognition (Paivio, 1990; Barsalou, 2008).

Gli autori posizionano la concretezza come un asse principiante e interpretabile per diagnosticare i comportamenti legati al grounding, offrendo un ponte tra la teoria cognitiva e la diagnostica computazionale. Sostengono che i VLM non si limitino a spostare le prestazioni globali, ma calibrino preferenzialmente le loro rappresentazioni interne e i loro giudizi per le parole percettivamente fondate.

Limitazioni
Gli autori riconoscono che lo studio è limitato a una singola famiglia di modelli (Llama), il che potrebbe restringere la generalizzabilità ad altre architetture o lingue. Inoltre, la frequenza lessicale agisce come un potenziale fattore di confondimento che non è stato completamente controllato a causa dell'inaccessibilità dei conteggi dei token del pre-addestramento. Infine, l'analisi si concentra sui checkpoint finali, lasciando inesplorata la traiettoria di sviluppo della sensibilità alla concretezza durante l'addestramento.