TARAC: Mitigating Hallucination in LVLMs via Temporal Attention Real-time Accumulative Connection

1. Il Problema: Allucinazioni e Decadimento dell'Attenzione Visiva

I Large Vision-Language Models (LVLM) hanno dimostrato capacità eccezionali nella comprensione di immagini e testo, ma soffrono ancora di un problema critico: le allucinazioni. Queste si manifestano quando il modello genera descrizioni o risposte che non corrispondono ai fatti visivi presenti nell'immagine (es. inventare oggetti o dettagli).

L'analisi degli autori rivela una causa fondamentale di questo fenomeno: il decadimento temporale dell'attenzione visiva. Durante il processo di generazione sequenziale dei token, l'attenzione del modello verso i token dell'immagine tende a diminuire progressivamente man mano che vengono generati più token di testo. Di conseguenza, il modello diventa sempre più dipendente dai "priors" linguistici (ciò che si aspetta che sia scritto) piuttosto che dall'input visivo, portando a risposte allucinate.

Le soluzioni esistenti si dividono in:

• Metodi basati sull'addestramento: Richiedono risorse computazionali massicce e ri-addestramento dei modelli.
• Metodi senza addestramento (Training-free): Intervengono durante l'inferenza (es. decodifica contrastiva, backtracking), ma spesso introducono un overhead computazionale elevato (latenza aumentata di 2-8 volte) e un alto consumo di memoria, limitandone l'uso pratico.

2. Metodologia: TARAC

Gli autori propongono TARAC (Temporal Attention Real-time Accumulative Connection), un framework senza addestramento, leggero e "plug-and-play", progettato per contrastare il decadimento dell'attenzione visiva.

Il meccanismo si ispira al concetto psicologico della "curva dell'oblio" e funziona in tre fasi principali durante la generazione di ogni token:

1. Accumulazione dell'Attenzione Temporale:

   • Il sistema monitora l'attenzione che il token attualmente in generazione dedica ai token dell'immagine.
   • Invece di considerare solo l'attenzione corrente, TARAC mantiene una distribuzione di attenzione cumulativa storica.
   • Utilizza un fattore di aggiornamento della memoria $\alpha$ (simile a un tasso di decadimento esponenziale) per aggiornare l'attenzione accumulata:
     $$\hat{A}^t_l = \alpha \bar{A}^t_l + (1 - \alpha) \hat{A}^{t-1}_l$$
     Questo permette al modello di privilegiare le informazioni visive recenti ma di mantenere un contesto visivo stabile, prevenendo che l'attenzione svanisca completamente.

2. Iniezione dell'Attenzione Accumulata:

   • L'attenzione cumulata ($\hat{A}^t_l$) viene re-iniettata nel processo di inferenza del token corrente.
   • Viene applicata una moltiplicazione per un coefficiente $\beta$ per controllare l'intensità dell'iniezione:
     $$A^t_l[:, -1, i_s:i_e] = A^t_l[:, -1, i_s:i_e] + \beta \cdot \hat{A}^t_l$$
   • Questo passo forza il modello a "ricordare" e prestare attenzione alle regioni visive rilevanti anche quando sta generando parti successive della frase.

3. Ri-normalizzazione:

   • Poiché l'iniezione altera la distribuzione originale dell'attenzione, viene applicata una normalizzazione per riga (row-sum normalization) per mantenere le proprietà probabilistiche della matrice di attenzione (somma uguale a 1), preservando la distribuzione originale del modello mentre si potenzia il focus visivo.

Efficienza: A differenza dei metodi contrastivi che richiedono passaggi forward multipli o backtracking, TARAC opera in un singolo passaggio forward, accumulando pesi di attenzione in tempo reale.

3. Contributi Chiave

1. Nuovo Framework Training-Free: TARAC è la prima soluzione che affronta specificamente il decadimento temporale dell'attenzione visiva tramite un meccanismo di accumulo e re-iniezione dinamica, senza richiedere ri-addestramento.
2. Efficienza Estrema: Introduce un overhead di inferenza trascurabile (~4% di aumento del TPOT - Time Per Output Token) e un aumento di memoria quasi nullo (0.02 MB). Questo è drasticamente inferiore ai metodi concorrenti (es. OPERA ha un overhead di latenza di ~7.79x).
3. Generalizzabilità: Funziona come modulo plug-and-play su diverse architetture LVLM (LLaVA-1.5, Qwen2-VL, InternVL2) senza modifiche strutturali specifiche.
4. Validazione Empirica: Dimostrato efficace su benchmark multipli, riducendo le allucinazioni mantenendo alta la qualità del testo generato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come LLaVA-1.5-7B, Qwen2-VL-7B e InternVL2-8B su benchmark standard (CHAIR, AMBER, SHR, MME).

• Riduzione delle Allucinazioni (CHAIR):
  • Riduzione delle frasi allucinate (CS) del 25.2% rispetto alla baseline Greedy.
  • Riduzione degli oggetti allucinati (CI) dell'8.7%.
  • Supera significativamente metodi SOTA come VCD, AGLA e OPERA.
• Punteggio di Percezione (MME):
  • Miglioramento del punteggio di percezione di +10.65 su Qwen2-VL e +14.18 su LLaVA-1.5, indicando una migliore capacità discriminativa visiva.
• Efficienza Computazionale:
  • TPOT: +4% rispetto alla baseline (vs +121% per VCD, +779% per OPERA).
  • Memoria GPU: Aumento di soli 0.02 MB (vs centinaia di MB o GB per altri metodi).
• Qualità del Testo:
  • L'analisi della perplessità mostra che TARAC non degrada la fluidità linguistica; anzi, ottiene punteggi di perplessità migliori rispetto a molti metodi di mitigazione, avvicinandosi alla qualità delle ricerche a fascio (Beam Search).

5. Significato e Implicazioni

Il lavoro di TARAC è significativo perché offre una soluzione praticamente deployabile al problema delle allucinazioni negli LVLM.

• Superamento dei limiti computazionali: Risolve il compromesso tra efficacia e costo computazionale, rendendo possibile l'uso di tecniche di mitigazione delle allucinazioni in scenari real-time o con risorse limitate.
• Comprensione del meccanismo: Fornisce una nuova prospettiva teorica, identificando il decadimento dell'attenzione come causa primaria delle allucinazioni e proponendo un meccanismo di "rinforzo cognitivo" temporale.
• Versatilità: La capacità di funzionare su modelli diversi senza ri-addestramento lo rende uno strumento immediato per migliorare l'affidabilità dei sistemi di visione artificiale attuali.

In sintesi, TARAC rappresenta un passo avanti cruciale verso LVLM più affidabili, combinando un'innovazione metodologica elegante con un'efficienza operativa superiore rispetto allo stato dell'arte.