Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding

1. Il Problema

I Large Vision-Language Models (LVLMs) hanno mostrato progressi significativi nel Visual Document Understanding (VDU), un compito complesso che richiede l'integrazione di percezione visiva, riconoscimento del testo e ragionamento su layout strutturati. Tuttavia, la valutazione attuale si basa quasi esclusivamente sulla correttezza delle risposte generate dal modello.

Il paper identifica un problema fondamentale: l'accuratezza della risposta non riflette necessariamente se il modello ha effettivamente catturato e rappresentato internamente le informazioni necessarie per rispondere correttamente. Esiste un potenziale divario (gap) tra le rappresentazioni interne del modello (ciò che sa) e l'output generato (ciò che dice). Inoltre, non è chiaro in quale strato della rete neurale (LLM) queste informazioni siano più accessibili o meglio codificate.

2. Metodologia

Gli autori hanno indagato la natura di questo divario utilizzando una tecnica chiamata Linear Probing (sondaggio lineare) sulle rappresentazioni interne degli strati dell'LLM all'interno degli LVLMs.

• Analisi Strato per Strato: Invece di analizzare solo lo strato finale, sono stati costruiti classificatori lineari su ogni strato dell'LLM.
• Tipi di Token: Per ogni strato, sono stati testati diversi tipi di input per il classificatore:
  • Image-token: token derivati dalle rappresentazioni visive.
  • Text-token: token derivati dal testo della domanda.
  • All-token: media di tutti i token.
  • Last-token: l'ultimo token della sequenza.
• Compiti di Sondaggio: Sono stati definiti quattro compiti di classificazione binaria per valutare diverse capacità VDU:
  1. Riconoscimento di attributi visivi (es. colore, forma).
  2. Riconoscimento di parole (verifica della correttezza ortografica nel testo dell'immagine).
  3. Comprensione della struttura (identificazione di componenti del documento come titoli o tabelle).
  4. Comprensione di grafici (ragionamento relazionale su elementi grafici).
• Metriche:
  • Accuratezza del Linear Probing ($A_{LP}$): Quanto bene un classificatore lineare può prevedere la risposta corretta basandosi sulle rappresentazioni interne di uno strato specifico.
  • Accuratezza della Risposta ($A_{resp}$): La precisione effettiva del modello nel generare la risposta.
  • Gap: La differenza tra la massima accuratezza del linear probing attraverso tutti gli strati e l'accuratezza della risposta ($Gap = \max(A_{LP}) - A_{resp}$).
• Modelli Testati: Qwen2.5-VL, Gemma3 e LLaVA-NeXT.

3. Risultati Chiave dell'Analisi

L'analisi ha rivelato due scoperte fondamentali:

1. Esistenza del Divario: Esiste un divario chiaro e significativo tra le rappresentazioni interne e le risposte generate. In molti casi, le informazioni necessarie per risolvere il compito sono linearmente codificabili (quindi presenti internamente) con un'accuratezza molto superiore a quella della risposta generata dal modello. Questo indica che il modello "sa" la risposta ma non riesce a esprimerla completamente.
2. Importanza degli Strati Intermedi: Contrariamente all'ipotesi comune che le informazioni siano meglio rappresentate nello strato finale, l'analisi ha mostrato che le rappresentazioni più informative e linearmente separabili si trovano spesso negli strati intermedi dell'LLM, non in quello finale.
   • Gli strati inferiori gestiscono la elaborazione visiva di base.
   • Gli strati intermedi contengono le informazioni critiche per la risposta.
   • Gli strati superiori (e finali) sembrano ottimizzati per la previsione del prossimo token, il che può diluire o modificare i segnali lineari della risposta corretta a causa del processo di generazione autoregressiva.

4. Strategie di Fine-Tuning e Risultati Sperimentali

Motivati dalla scoperta che le informazioni utili risiedono negli strati intermedi, gli autori hanno esplorato strategie di fine-tuning mirato su questi strati specifici, confrontandole con il fine-tuning su tutti gli strati (all-layer fine-tuning).

• Configurazioni: Hanno testato il fine-tuning su gruppi di strati (Bassi, Medi, Superiori) e combinazioni di questi (es. "Medi", "Bassi+Medi", o approcci a due step).
• Risultati:
  • Il fine-tuning su tutti gli strati migliora l'accuratezza della risposta, ma non riesce a chiudere completamente il divario tra rappresentazioni interne e output.
  • Il fine-tuning sugli strati intermedi (o combinazioni che li includono, come "Medi" o "Bassi+Medi") ha dimostrato di essere superiore.
  • Questa strategia ha migliorato sia l'accuratezza del linear probing che quella della risposta, riducendo il divario in modo più efficace rispetto al fine-tuning completo.
  • Efficienza: Il fine-tuning selettivo degli strati intermedi ha ottenuto questi risultati con un numero inferiore di parametri aggiornabili e un tempo di training ridotto (fino al 35% in meno in alcuni casi), mantenendo alte prestazioni su task VQA (Document VQA).

5. Contributi Principali

1. Analisi Strato per Strato: Prima indagine dettagliata sulle rappresentazioni interne degli LVLMs per il VDU utilizzando il linear probing su tutti gli strati.
2. Dimostrazione del Divario: Evidenzia che un divario significativo esiste tra ciò che il modello rappresenta internamente e ciò che genera, e che questo non è risolvibile semplicemente con il fine-tuning completo.
3. Scoperta degli Strati Intermedi: Dimostra che le informazioni critiche per il VDU sono più accessibili e linearmente codificabili negli strati intermedi rispetto a quello finale.
4. Metodologia di Ottimizzazione: Propone e valida che il fine-tuning mirato agli strati intermedi è una strategia efficace per migliorare le prestazioni e allineare meglio le rappresentazioni interne con le risposte, offrendo anche vantaggi in termini di efficienza computazionale.

6. Significato e Implicazioni

Questo lavoro è significativo perché sfida la convenzione secondo cui l'output finale è l'unico indicatore affidabile della conoscenza del modello. Suggerisce che:

• I modelli LVLMs potrebbero avere una "comprensione" interna superiore a quanto dimostrato dalle loro risposte.
• Le strategie di addestramento future dovrebbero considerare la dinamica degli strati intermedi, non solo l'output finale.
• Migliorare l'allineamento tra rappresentazioni interne e risposte potrebbe portare a modelli più affidabili, interpretabili e sicuri, specialmente in ambiti critici come l'analisi di documenti.

In sintesi, il paper dimostra che per colmare il divario tra "sapere" e "dire" nei modelli multimodali, è necessario intervenire strategicamente sugli strati intermedi della rete, dove risiede la codifica più efficace delle informazioni necessarie al compito.