Sintesi Tecnica: Codificato ma non Instradato

Definizione del Problema

I modelli linguistici di grandi dimensioni multimodali (VLM) sono sempre più impiegati per la verifica di affermazioni scientifiche, un compito che richiede di determinare se un'affermazione è supportata o smentita dalle evidenze presenti in articoli di ricerca. Il lavoro precedente ha stabilito un divario di prestazioni significativo: i modelli performano sostanzialmente meglio quando l'evidenza è presentata come una tabella rispetto a quando è presentata come un grafico, anche quando i dati sottostanti sono identici.

La domanda centrale affrontata da questo articolo è se questo "divario tabella-grafico" derivi da un fallimento percettivo (il modello non riesce a estrarre o codificare l'informazione visiva dai grafici) o da un fallimento di utilizzo (il modello codifica l'informazione ma non riesce a instradarla efficacemente verso la fase di predizione). Distinguere tra questi due casi è critico, poiché richiedono interventi fondamentalmente diversi (ad esempio, migliori encoder visivi rispetto a cambiamenti architettonici nel routing delle informazioni).

Metodologia

Gli autori adottano un approccio diagnostico utilizzando il linear probing per livelli e l'analisi dell'attenzione su tre VLM a pesi aperti (Qwen2.5-VL-7B, Qwen2.5-VL-32B e InternVL3-8B) appartenenti a due diverse famiglie di modelli.

1. Dataset: Lo studio utilizza SciTabAlign+, un benchmark controllato per contenuto che accoppia 162 affermazioni scientifiche uniche con evidenze semanticamente equivalenti in due formati: tabelle JSON strutturate e quattro varianti di grafici (barre semplici, barre con simboli, linee e grafici invertiti).
2. Linear Probing:
   • Obiettivo: Determinare se i segnali rilevanti per il compito (Supportato/Smentito) siano decodificabili dagli stati latenti intermedi.
   • Configurazioni: I probe vengono addestrati in ogni livello $l$ utilizzando due strategie di aggregazione:
     • Last-token: Utilizzando lo stato latente dell'ultimo token di input (la posizione della predizione).
     • Mean-pool: Mediando gli stati latenti attraverso tutti i token di input per catturare l'informazione distribuita.
   • Controllo: I probe sono addestrati anche solo sul testo dell'affermazione per escludere la fuga di informazioni testuali (text leakage).
   • Metrica: Area sotto la curva ROC corretta per direzione (AUROC).
3. Analisi dell'Attenzione:
   • Gli autori calcolano la frazione di attenzione che l'ultimo token dirige verso i token dell'immagine, normalizzata rispetto alla base proporzionale (il rapporto tra i token dell'immagine e il totale dei token).
   • Questo misura se il modello presta attenzione alle evidenze del grafico in proporzione alla loro presenza nell'input.
4. Ablazione Chain-of-Thought (CoT):
   • I modelli vengono istruiti a descrivere verbalmente il grafico prima di effettuare una predizione per testare se la verbalizzazione esplicita colmi il divario.

Risultati Chiave

1. L'informazione del grafico è codificata ma non instradata

Il risultato principale è che i segnali rilevanti per il grafico sono recuperabili dalle rappresentazioni intermedie ma non riescono a raggiungere la posizione di predizione.

• Mean-pool vs. Last-token: I probe mean-pooled raggiungono un'alta AUROC (84–89%) sulle varianti di grafici in tutti i modelli, superando significativamente i probe last-token (64–73%). Al contrario, per le evidenze tabellari si osserva la tendenza opposta, con i probe last-token che performano meglio.
• Dissociazione: Un classificatore lineare addestrato sulle rappresentazioni mean-pooled spesso supera l'accuratezza di inferenza del modello stesso sulle varianti di grafici (ad esempio, InternVL3-8B: accuratezza del probe del 79,0% vs. accuratezza del modello del 56,2%). Ciò conferma che l'informazione è presente negli stati interni del modello ma non viene utilizzata efficacemente per la decisione finale.

2. Diversi modi di fallimento tra le famiglie di modelli

L'analisi dell'attenzione rivela che il "fallimento di routing" si manifesta diversamente a seconda dell'architettura del modello:

• Famiglia Qwen (Fallimento di Routing): Questi modelli mostrano un grave fallimento di routing dell'attenzione. Al livello finale, prestano attenzione ai token dell'immagine solo al 4–11% della base proporzionale. L'evidenza del grafico viene ampiamente bypassata durante la formazione della predizione.
• InternVL3-8B (Fallimento di Integrazione): Questo modello mantiene un'attenzione quasi proporzionale ai token dell'immagine (93% della base) attraverso la maggior parte dei livelli. Tuttavia, non riesce comunque a superare il proprio probe mean-pool. Ciò suggerisce un fallimento di integrazione post-attenzione: il modello presta attenzione al grafico ma non riesce a integrare quell'informazione attentata nella logica di predizione finale.

3. Impatto del Chain-of-Thought

L'ablazione CoT distingue ulteriormente i modi di fallimento:

• Modelli Qwen: Il prompting CoT degrada le prestazioni (il macro-F1 scende del 3,3–13,5%). Poiché questi modelli non prestano attenzione al grafico, forzarli a verbalizzare il contenuto porta a allucinazioni e descrizioni inaffidabili.
• InternVL3-8B: Il prompting CoT migliora le prestazioni (il macro-F1 aumenta del 4,6). Ciò indica che il modello può accedere e descrivere il contenuto del grafico, ma non lo utilizza spontaneamente per la predizione senza istruzioni esplicite.

Significato e Contributi

L'articolo inquadra il divario tabella-grafico non come un fallimento di codifica (percezione), ma come un fallimento di instradamento (utilizzo).

• Intuizione Diagnostica: Lo studio dimostra che la sola valutazione dell'output è insufficiente per diagnosticare la sensibilità al formato. È necessaria un'analisi interna (probing e attenzione) per distinguere tra modelli che "non vedono" il grafico e modelli che "vedono ma ignorano".
• Specificità Architetturale: Le scoperte evidenziano che diverse famiglie di modelli soffrono di distinti meccanismi interni di fallimento. Un singolo intervento (ad esempio, migliori encoder visivi) difficilmente risolverà il problema per tutti i modelli; invece, le soluzioni devono affrontare specifici colli di bottiglia di routing o integrazione.
• Implicazioni per la Verifica: Per i flussi di lavoro scientifici ad alto rischio, la presenza di informazioni codificate non garantisce il loro utilizzo nella decisione finale. I ricercatori devono esercitare cautela quando implementano VLM per la verifica basata su grafici, poiché i modelli possono possedere le informazioni necessarie internamente senza rifletterle nei propri output.

Gli autori concludono che il divario è un "fallimento di come l'informazione visiva codificata venga instradata al momento della predizione", un risultato che rende necessario esaminare il calcolo interno piuttosto che affidarsi esclusivamente alle metriche di prestazione del compito.