Information-Regularized Attention for Visual-Centric Reasoning

Riepilogo Tecnico: Attenzione Regolarizzata dall'Informazione per il Ragionamento Visivo-Centrico

Definizione del Problema
I modelli visione-linguaggio (VLM) si sono affermati come un paradigma per l'apprendimento multimodale, ma soffrono di significativi problemi di affidabilità, tra cui l'allucinazione di oggetti, un debole radicamento visivo (grounding) e l'oblio catastrofico a seguito del fine-tuning istruzionale a parametri completi. Gli autori sostengono che questi fallimenti derivino da una mancanza di controllo esplicito sull'apprendimento delle rappresentazioni visive durante l'obiettivo standard di predizione del next-token. Sotto gli attuali paradigmi di addestramento, le incapsulazioni (embeddings) visive vengono ottimizzate passivamente solo attraverso la supervisione linguistica. Ciò consente a segnali visivi irrilevanti o rumorosi di propagarsi attraverso i livelli di attenzione, portando a "sink di attenzione" (dove l'attenzione collassa su token semanticamente non informativi) e interazioni cross-modali spurie. Gli approcci esistenti di tipo data-centric, che si affidano all'espansione dei segnali di supervisione (ad esempio, l'ottimizzazione delle preferenze), non riescono a regolarizzare direttamente le rappresentazioni delle caratteristiche stesse.

Metodologia: Attenzione Regolarizzata dall'Informazione (IRA)
Per affrontare questi problemi, il documento propone l'Attenzione Regolarizzata dall'Informazione (IRA), un meccanismo di attenzione stocastica progettato per regolare esplicitamente la quantità di informazione visiva iniettata negli stati nascosti dei livelli intermedi del transformer.

• Formulazione Informatica: Il metodo inquadra il problema come un compito di inferenza variazionale. Invece di trattare gli stati nascosti $h$ come mappature deterministiche dell'input $x$, IRA introduce una variabile latente stocastica $z$ iniettando rumore casuale negli stati di valore (value states) del modulo di attenzione prima che entrino nella computazione dell'attenzione. Questo trasforma la propagazione deterministica delle incapsulazioni visive in un processo stocastico.
• Architettura: Una testa parametrica leggera è attaccata a ogni livello del transformer per produrre una distribuzione posteriore $q_\phi(z | v)$, dove $v$ rappresenta gli stati di valore. Questa posteriore è approssimata utilizzando il trucco della riparametrizzazione ($z = v + \Delta_\phi(v) + \sigma_q \epsilon$), consentendo al modello di apprendere perturbazioni adattive e stime di incertezza senza overhead di codifica aggiuntivo.
• Obiettivo di Regolarizzazione: L'obiettivo di addestramento include un termine di divergenza di Kullback-Leibler (KL) tra la posteriore appresa e una prior dipendente dai dati $p_\lambda(z | \lfloor v \rfloor)$. La prior è centrata sullo stato di valore originale staccato (utilizzando un'operazione di stop-gradient) per prevenire il collasso banale tra posteriore e prior.
• Pesatura Condizionata all'Incertezza: Riconoscendo che non tutti i token visivi richiedono una regolarizzazione uguale, gli autori introducono un meccanismo di pesatura per token. L'entità della regolarizzazione è regolata adattivamente in base a due fattori:
  1. Importanza: La massa media di attenzione assegnata a un token dai contesti linguistici.
  2. Incertezza: L'entropia della distribuzione dell'attenzione cross-modale.
     I token che sono poco importanti (bassa attenzione) e incerti (alta entropia) ricevono una regolarizzazione più forte, mentre i dettagli visivi critici vengono preservati.
• Applicazione Specifica per Livello: Gli esperimenti indicano che applicare IRA ai livelli medi-tardivi (specificamente il 60%-80% della profondità del transformer) produce le migliori prestazioni, poiché questi livelli bilanciano il ragionamento astratto con i segnali di radicamento visivo conservati.

Contributi Chiave

1. Meccanismo Novellativo: La proposta di IRA, che regola le rappresentazioni visive a livello di rappresentazione prima che entrino nell'attenzione cross-modale, controllando esplicitamente il flusso di informazione visiva durante il fine-tuning istruzionale a parametri completi.
2. Intuizioni Geometriche: La dimostrazione che IRA migliora la geometria delle rappresentazioni. Gli autori introducono una metrica di curvatura per analizzare le traiettorie neurali, riscontrando che IRA produce traiettorie più lisce e lineari attraverso i livelli, il che correla con dinamiche di addestramento stabili e un migliore grounding.
3. Mitigazione dei Sink di Attenzione: L'identificazione di una correlazione tra i sink di attenzione e la curvatura della rappresentazione. Si dimostra che IRA sopprime i sink di attenzione e riduce il rapporto di token che ricevono un'attenzione eccessiva e non informativa.

Risultati
Gli autori hanno valutato IRA su VLM open-source (InternVL2, InternVL2.5 e LLaVA-OneVision) attraverso vari benchmark:

• Prestazioni Generali: IRA ha costantemente superato il normale Supervised Fine-Tuning (SFT) nei benchmark intensivi di ragionamento (ad es., MMMU, STEM, General QA) e nei compiti intensivi di conoscenza (OK-VQA).
• Robustezza: Il metodo ha migliorato le prestazioni nei benchmark di rilevamento delle allucinazioni (POPE, HallusionBench) e ha ridotto il bias nei compiti di visione a basso livello (VLM-are-biased, VLM-are-blind).
• Generalizzazione: IRA ha dimostrato una migliore generalizzazione a compiti Out-of-Distribution (OOD), inclusa la comprensione multi-immagine (MuirBench, BLINK) e la comprensione video (MVBench).
• Analisi della Rappresentazione: L'analisi quantitativa ha mostrato che i modelli IRA esibivano cambiamenti di curvatura inferiori (traiettorie più dritte) e una riduzione significativa dei rapporti di sink di attenzione rispetto ai baseline SFT.
• Ablazione: La rimozione della pesatura guidata dall'incertezza o della prior dipendente dai dati ha portato a un degrado delle prestazioni, confermando la necessità di una regolarizzazione adattiva e dell'ancoraggio alle rappresentazioni pre-addestrate.

Significato e Rivendicazioni
Il documento sostiene che l'attenzione stocastica non è meramente un regolarizzatore, ma un contributore fondamentale all'apprendimento della rappresentazione all'interno delle architetture generative. Regolando esplicitamente l'informazione iniettata negli stati nascosti, IRA affronta la causa radice delle allucinazioni visive e dell'instabilità: la propagazione incontrollata di segnali visivi rumorosi. Gli autori postulano che migliorare l'affidabilità dei VLM richieda di andare oltre il post-training data-centric per regolarizzare direttamente le rappresentazioni delle caratteristiche all'interno dell'architettura generativa. Inoltre, il lavoro suggerisce che l'attenzione debba essere vista non solo come un meccanismo di pesatura, ma come una metrica per valutare la qualità della rappresentazione interna, offrendo una nuova direzione per la costruzione di sistemi multimodali più affidabili e interpretabili. Gli autori notano che, sebbene gli esperimenti attuali siano limitati a modelli da 8 miliardi di parametri a causa di vincoli di risorse, si aspettano che i risultati scalino su modelli più grandi.