Selective Training for Large Vision Language Models via Visual Information Gain

Questo lavoro introduce il Visual Information Gain (VIG), una metrica basata sulla perplessità che quantifica il contributo visivo nell'addestramento dei Large Vision Language Models, permettendo un'addestramento selettivo mirato ai campioni e ai token più informativi per migliorare il grounding visivo e ridurre i pregiudizi linguistici.

L'essenziale

Il Problema: L'Intelligenza Artificiale che "Sogna a Occhi Aperti"

Immagina di avere un assistente molto intelligente, ma un po' distratto. Chiedigli: "Cosa c'è scritto su questo cartello?" mentre gli mostri una foto di un cartello che dice "STOP".
L'assistente guarda la foto, ma invece di leggere il cartello, risponde: "Probabilmente c'è scritto 'Ciao', perché di solito la gente saluta quando si incontra".

Questo è il problema che gli autori chiamano "Bias Linguistico" (o pregiudizio linguistico). I modelli di intelligenza artificiale che vedono immagini (chiamati LVLM) sono diventati così bravi a leggere e a parlare che, quando vedono una foto, spesso ignorano ciò che c'è davvero scritto o disegnato. Si affidano troppo a ciò che pensano dovrebbe esserci, basandosi su quello che hanno letto milioni di volte nei libri, invece di guardare davvero l'immagine. È come se un detective guardasse un crimine e dicesse: "Il colpevole è sicuramente il vicino, perché nei film è sempre il vicino", senza guardare le prove sulla scena.

La Soluzione: La "Bilancia della Verità Visiva" (VIG)

Gli autori di questo studio, Seulbi Lee e Sangheum Hwang, hanno inventato un nuovo strumento chiamato VIG (Visual Information Gain), che possiamo tradurre come "Guadagno di Informazione Visiva".

Immagina il VIG come una bilancia magica o un termometro della curiosità.
Ecco come funziona:

1. La Domanda: Chiediamo all'AI: "Cosa vedi qui?"
2. Il Test Senza Foto: Prima di mostrare la foto, chiediamo all'AI di rispondere basandosi solo sulla sua memoria (ad esempio: "Cosa c'è di solito in una cucina?").
3. Il Test Con Foto: Poi mostriamo la foto e chiediamo di nuovo.
4. La Misura: Il VIG misura quanto la risposta cambia e quanto diventa più precisa grazie alla foto.
   • Se la foto dice "C'è un gatto rosso" e l'AI prima pensava a un cane, il VIG è alto. La foto ha fatto una grande differenza!
   • Se la foto mostra un cielo azzurro e l'AI diceva già "C'è il cielo", il VIG è basso. La foto non ha aggiunto nulla di nuovo.

In pratica, il VIG ci dice: "Ehi, in questa frase, le parole 'rosso' e 'gatto' hanno bisogno davvero di guardare la foto per essere dette. Ma le parole 'il' e 'un' no, le puoi inventare a caso."

L'Esperimento: L'allenamento Selettivo

Fino a ora, per insegnare a queste intelligenze artificiali a guardare meglio, si usava un metodo brutale: "Leggiamo tutto il libro, pagina per pagina, parola per parola, sperando che imparino a guardare". Ma questo è inefficiente e spesso insegna all'AI a ignorare le immagini.

Gli autori propongono un metodo più intelligente, come un allenatore sportivo che seleziona solo gli esercizi giusti:

1. Filtrare i Campioni (Le Foto): Invece di usare tutte le 600.000 foto del loro database, ne scelgono solo il 70% che sono le più "interessanti" (quelle dove la foto fa davvero la differenza, cioè con un VIG alto).
2. Filtrare le Parole (I Token): Anche all'interno di una buona foto, non tutte le parole sono importanti. Se la domanda è "Cosa vedi?", la parola "rosso" è fondamentale (alto VIG), ma la parola "è" è inutile (basso VIG). L'AI viene addestrata a imparare solo dalle parole che dipendono davvero dall'immagine.

È come se, invece di far leggere a uno studente un intero libro di storia, gli dessi solo i capitoli dove ci sono le mappe e le foto, e gli chiedessimo di concentrarsi solo sulle didascalie delle immagini, ignorando le parti di testo generiche che può inventare da solo.

I Risultati: Più Bravi con Meno Sforzo

I risultati sono sorprendenti:

• Meno Allucinazioni: L'AI smette di inventare cose. Se c'è un gatto, non dice più "c'è un cane".
• Più Precisione: Riconosce meglio i colori, le posizioni e gli oggetti.
• Risparmio: Paradossalmente, addestrando l'AI su meno dati (solo quelli utili) e su meno parole (solo quelle importanti), l'AI diventa più intelligente di quando addestrata su tutto il database.

In Sintesi: La Metafora del Ricercatore

Immagina di dover insegnare a un ricercatore a trovare un ago in un pagliaio.

• Il metodo vecchio: Gli dai tutto il pagliaio e gli dici: "Cerca l'ago". Lui guarda tutto, si stanca, e alla fine dice: "Credo che l'ago sia qui" (basandosi sul fatto che di solito gli aghi sono in certi posti), senza averlo davvero visto.
• Il metodo VIG: Gli dai solo il pagliaio dove l'ago è davvero nascosto (selezione dei campioni) e gli insegni a guardare solo i punti dove l'ago potrebbe brillare (selezione delle parole).

Il risultato? Il ricercatore trova l'ago molto più velocemente, con meno fatica e senza inventare nulla.

Conclusione: Questo studio ci insegna che per rendere l'intelligenza artificiale più "umana" e affidabile nella visione, non serve farle leggere di più, ma farle guardare meglio. Bisogna insegnarle a fidarsi dei propri occhi (i dati visivi) più delle sue vecchie abitudini (il testo).

Sommario tecnico

1. Il Problema: Bias Linguistico e Allucinazioni nei LVLM

I Large Vision Language Models (LVLM) hanno mostrato progressi notevoli in compiti multimodali, ma soffrono di un problema fondamentale noto come bias linguistico. Nonostante la presenza di evidenze visive, questi modelli tendono a generare risposte basandosi eccessivamente su prior linguistiche (conoscenza pre-addestrata o contesto testuale) piuttosto che sull'immagine stessa.
Questo comportamento porta a:

• Ignoranza visiva: Il modello agisce come se fosse un modello solo testuale, ignorando i contenuti salienti dell'immagine.
• Allucinazioni: Il modello descrive con sicurezza oggetti, attributi o relazioni che non sono presenti nell'immagine.
• Inefficienza nei dati: I dataset di addestramento multimodale contengono un mix eterogeneo di campioni. Alcuni possono essere risolti con il senso comune o il contesto linguistico, mentre altri richiedono una comprensione visiva fine. Tuttavia, durante l'addestramento, tutti i token e i campioni sono trattati con uguale importanza, privando il modello di incentivi per distinguere tra segnali visivi dipendenti e pattern puramente testuali.

2. Metodologia: Visual Information Gain (VIG)

Gli autori propongono una soluzione incentrata sui dati, introducendo una nuova metrica chiamata Visual Information Gain (VIG) e uno schema di addestramento selettivo basato su di essa.

Definizione di VIG

Il VIG è una metrica basata sulla perplexity (perplessità) che quantifica quanto un input visivo riduca l'incertezza del modello nella previsione di una risposta.

• Concetto: Misura la differenza tra la perplexità del modello quando risponde a una domanda basandosi solo sul testo ($PPL(A|Q)$) e quando utilizza anche l'immagine ($PPL(A|Q, I)$).
• Formula:
  $$VIG = \log \left( \frac{PPL(A | Q)}{PPL(A | Q, I)} \right)$$
  In termini di perdita (loss), il VIG rappresenta la riduzione della Cross-Entropy Loss ottenuta includendo l'informazione visiva. Un valore VIG alto indica che l'immagine è cruciale per la risposta; un valore basso o negativo suggerisce che l'immagine non aiuta o addirittura confonde il modello (che potrebbe basarsi su prior testuali).
• Simulazione dell'assenza visiva: Per calcolare la perplexità senza immagine, gli autori utilizzano un'immagine sfocata (Gaussian blur) che rimuove i dettagli semantici, simulando l'assenza di informazioni visive all'interno dell'architettura del modello.

Analisi a Livello di Token

Il VIG non è solo una metrica a livello di campione, ma può essere decomposto a livello di token. Gli autori dimostrano che:

• I token con alto VIG (es. colori, relazioni spaziali, attributi fisici) mostrano una grande riduzione della perdita quando l'immagine è presente.
• I token con basso o negativo VIG (es. articoli, preposizioni, marcatori di discorso) sono prevalentemente guidati da prior testuali e non beneficiano dell'immagine.

Schema di Addestramento Selettivo Guidato da VIG

Sfruttando questa metrica, gli autori propongono un approccio di addestramento selettivo in due fasi:

1. Selezione dei Campioni (Sample-level): Si classificano tutti i campioni di addestramento multimodale in base al loro punteggio VIG totale. Si mantiene solo la frazione superiore (es. top 70%) e si scartano i campioni debolmente ancorati visivamente.
2. Selezione dei Token (Token-level): All'interno dei campioni selezionati, si calcola il VIG per ogni singolo token. La funzione di perdita (loss) viene calcolata esclusivamente sui token con un VIG superiore a una certa soglia $\tau_p$. I token "non informativi visivamente" non contribuiscono all'aggiornamento dei gradienti.

Questo approccio concentra l'ottimizzazione sui dati e sui token che offrono il massimo guadagno informativo visivo.

3. Contributi Chiave

1. Introduzione del VIG: Una metrica agnostica rispetto al modello che quantifica il contributo visivo riducendo l'incertezza del modello, permettendo un'analisi fine-granularità a livello di campione e token.
2. Validazione Empirica: Dimostrazione che il VIG si allinea con la dipendenza dalle modalità dei benchmark (es. COCO ha VIG alti, GQA ha VIG bassi) e identifica correttamente i token visivamente ancorati (colori, oggetti) rispetto a quelli testuali.
3. Efficienza dei Dati e Prestazioni: Lo schema di addestramento selettivo migliora l'ancoraggio visivo e riduce le allucinazioni, ottenendo prestazioni superiori rispetto all'addestramento su dati completi, utilizzando però una frazione significativa di supervisione (meno token attivi).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come LLaVA-1.5 (7B e 13B) e ShareGPT4V 7B.

• Efficienza dei Dati: Addestrando solo sul 70% dei campioni e filtrando ulteriormente i token, il modello LLaVA-1.5 7B ha utilizzato solo 38.45M token attivi (rispetto a 58.61M originali) ottenendo miglioramenti su tutti i benchmark di comprensione visiva (LLaVAW, MMVet, MMBench, DocVQA) e riducendo le allucinazioni (POPE, CHAIR, MMHal).
• Confronto con Metodi Esistenti: Il metodo VIG supera o è competitivo con approcci training-free (come VCD, PAI) e metodi basati sull'addestramento (come LACING), spesso senza richiedere modifiche architetturali o overhead durante l'inferenza.
• Combinabilità: Il VIG è ortogonale ad altre strategie; combinarlo con metodi esistenti (es. VIG + LACING) porta alle prestazioni migliori in assoluto.
• Analisi dell'Attenzione: I modelli addestrati con VIG mostrano una frazione di attenzione significativamente più alta sui token visivi, specialmente negli strati intermedi della rete, confermando un maggiore affidamento alle evidenze visive.
• Robustezza al Bias Testuale: In test di "blind faith in text" (dove il testo contraddice l'immagine), i modelli VIG-manipolati resistono meglio alle istruzioni testuali fuorvianti rispetto ai modelli base.

5. Significato e Implicazioni

Il lavoro dimostra che la qualità dei dati di addestramento multimodale non è uniforme e che l'addestramento indiscriminato su tutti i token può rafforzare il bias linguistico.

• Paradigma Shift: Sposta l'attenzione dalla modifica dell'architettura del modello o dall'inferenza complessa alla selezione intelligente dei dati.
• Efficienza: Permette di addestrare LVLM più robusti e meno inclini alle allucinazioni utilizzando meno risorse computazionali e meno dati supervisionati.
• Fondamentale: Fornisce uno strumento (VIG) per diagnosticare e quantificare l'ancoraggio visivo, aprendo la strada a futuri lavori su dataset più puliti e strategie di addestramento più mirate.

In sintesi, il paper propone che per costruire LVLM che "vedono" davvero, non basta addestrarli su più dati, ma bisogna addestrarli sui dati che contengono verità visiva, scartando attivamente le parti del processo di apprendimento che il modello può risolvere senza guardare l'immagine.