Sintesi Tecnica: VADER – Debiasing Adattivo per la Mitigazione delle Allucinazioni nei Video Large Language Models

1. Definizione del Problema

I Video Large Language Models (VideoLLM) hanno ottenuto un successo significativo in compiti di comprensione video open-ended, come la sintesi di eventi e il ragionamento temporale. Tuttavia, questi modelli rimangono soggetti a allucinazioni, generando risposte linguisticamente fluenti che mancano di supporto da parte di effettive prove video. Tali errori sono particolarmente prevalenti nel riconoscimento di azioni, nell'ordinamento degli eventi, nelle relazioni causali e nella coerenza temporale.

Le strategie esistenti di mitigazione delle allucinazioni affrontano due limitazioni primarie quando applicate ai video:

1. I metodi basati sull'addestramento richiedono un costoso riaddestramento, supervisione aggiuntiva o modellazione della ricompensa (reward modeling).
2. I metodi privi di addestramento (training-free) si affidano spesso a interventi visivi globalmente fissi o perturbazioni dell'input (ad esempio, rumore, rimozione di frame). Questi approcci non tengono conto delle sfide specifiche dei video:
   • Intervento Statico: Un intervallo di layer e una forza fissi non possono adattarsi alla profondità dipendente dal video in cui l'evidenza visiva compete con i prompt di sistema e il testo storico.
   • Evidenza Contrastiva Inadeguata: Le perturbazioni grossolane dell'input possono lasciare l'evidenza recuperabile attraverso frame vicini ridondanti, oppure possono interrompere le dipendenze temporali necessarie per un ragionamento coerente.

La sfida centrale è migliorare l'ancoraggio (grounding) video durante la decodifica senza riaddestrare il modello, affrontando al contempo la ridondanza e le dipendenze temporali uniche dei dati video.

2. Metodologia

Gli autori propongono VADER (Video-Adaptive Debiasing via Evidence Reweighting), un framework privo di addestramento che opera tramite un design a due rami per calibrare l'ancoraggio dell'evidenza e sopprimere le predizioni influenzate dai bias dei priori. Il framework consiste in due moduli complementari e un meccanismo di fusione:

2.1 Riassegnazione del Focus Visivo (VFR)

VFR tratta il potenziamento visivo come una politica automatizzata e condizionata dal video piuttosto che come una configurazione fissa. Determina dinamicamente dove (quali layer) e con quanta forza intervenire per ogni specifico input video-domanda.

• Diagnosi: Prima della generazione, VFR esegue un passaggio forward diagnostico utilizzando l'input video-domanda per calcolare una perdita diagnostica ($L_{diag}$) basata sulla predizione iniziale del modello. Calcola la salienza dell'attenzione combinando la massa dell'attenzione con la sua sensibilità del primo ordine rispetto a questa perdita.
• Derivazione della Politica: Misura il flusso di salienza cross-modale (flusso visivo-testuale) attraverso i layer del decoder. I top-$K$ layer con il più alto flusso normalizzato vengono selezionati come punti di intervento ($L_{sel}$).
• Ripesatura Adattiva: La forza dell'intervento ($a$) è derivata dal flusso di salienza aggregato dei layer selezionati utilizzando una mappatura logaritmica. VFR applica quindi una ripesatura moltiplicativa ai punteggi di attenzione pre-softmax:
  • I token di sistema sono soppressi da un fattore $\gamma_{sup} = 1 - a$.
  • I token video sono potenziati da un fattore $\gamma_{enh} = 1 + a$.
    Questo riassegna l'attenzione verso l'evidenza video specificamente dove il modello ne dipende per l'input corrente.

2.2 Cancellazione Selettiva dell'Evidenza (SEE)

Per costruire un robusto ramo "influenzato dai priori" (prior-biased) che non possa essere facilmente compensato dalla ridondanza temporale, SEE opera all'interno del decoder su base per-frame.

• Meccanismo: Invece di scartare frame o mascherare i token di input (che possono essere recuperati dai vicini), SEE identifica i token visivi ad alta importanza all'interno di ogni frame basandosi sui loro punteggi di attenzione rispetto alla posizione di decodifica corrente.
• Cancellazione: Mantiene solo i token con punteggio più basso (sfondo/contesto debole) e maschera i token ad alto punteggio (discriminanti) impostando i loro punteggi di attenzione a $-\infty$ in un layer di inserimento fisso ($l^*$).
• Risultato: Questo crea un ramo negativo ($z_{prior}$) che riflette le predizioni guidate dai priori del linguaggio e dal contesto di sfondo, rimuovendo efficacemente la specifica evidenza visiva che supporta la risposta pur preservando la struttura temporale.

2.3 Soppressione Contrastiva Temporale Congiunta

Il framework fonde gli output dei due rami:

• Ramo Ancorato ($z_{gnd}$): Prodotto da VFR, massimizza l'uso dell'evidenza video.
• Ramo Influenzato dai Priori ($z_{prior}$): Prodotto da SEE, riflette le predizioni guidate dai priori del linguaggio.
• Fusione: I logit finali ($\bar{z}$) sono calcolati come $\bar{z} = (1 + \lambda)z_{gnd} - \lambda z_{prior}$. Se un token è altamente sicuro in entrambi i rami, è probabilmente un priore del linguaggio ed è soppresso. Se è sicuro solo nel ramo ancorato, viene preservato o amplificato.

3. Contributi Chiave

1. Framework VADER: Un framework a due rami, privo di addestramento, per mitigare le allucinazioni nei VideoLLM che calibra l'ancoraggio dell'evidenza senza aggiornamenti dei parametri.
2. VFR (Riassegnazione del Focus Visivo): Un meccanismo innovativo che formula il potenziamento visivo come una politica di intervento condizionata dal video, selezionando automaticamente i layer di intervento e la forza della risposta in base al flusso visivo-testuale specifico dell'input.
3. SEE (Cancellazione Selettiva dell'Evidenza): Una tecnica di cancellazione interna al decoder, per-frame, che maschera i token visivi ad alta importanza per costruire un ramo influenzato dai priori resistente alla compensazione cross-frame.
   4 Performance: Il metodo ottiene miglioramenti significativi sui benchmark di allucinazione a livello di evento, raggiungendo specificamente una accuratezza del 72,60% su EventHallusion utilizzando LLaVA-Video-7B, superando metodi basati sull'addestramento come TPO e RRPO.

4. Risultati Sperimentali

Gli autori hanno valutato VADER su tre benchmark di allucinazione video (VidHalluc, VideoHallucer, EventHallusion) e su tre benchmark di comprensione video generale (MVBench, VideoMME, TVBench) su tre backbone (LLaVA-OneVision-7B, LLaVA-NeXT-Video-7B, Qwen3-VL-8B).

• Mitigazione delle Allucinazioni: VADER ha prodotto guadagni sostanziali, in particolare su EventHallusion (migliorando LLaVA-Video-7B dal 63,57% al 72,60%) e VideoHallucer. Ha superato i baseline rappresentativi privi di addestramento (TCD, DINO-HEAL) e persino i metodi basati sull'addestramento (TPO, RRPO) su EventHallusion senza alcun riaddestramento.
• Comprensione Generale: A differenza di alcuni interventi che degradano le prestazioni generali, VADER mantiene o migliora leggermente i punteggi nei benchmark di comprensione video generale (ad esempio, +1,5 punti sulla media di LLaVA-Video-7B), indicando che migliora la fedeltà senza sacrificare la percezione o il ragionamento ampio.
• Studi di Ablazione:
  • Rimuovere la politica adattiva (usando layer fissi) ha portato a guadagni inferiori, confermando il valore della selezione condizionata dal video.
  • Rimuovere SEE (solo VFR) o VFR (solo SEE) ha portato a prestazioni inferiori rispetto al modello completo, dimostrando la complementarità della riassegnazione dell'evidenza e della costruzione del ramo influenzato dai priori.
  • L'analisi di sensibilità ha mostrato che rapporti di ritenzione moderati per SEE (mantenendo circa il 30% dei token) producono risultati ottimali, bilanciando la rimozione dell'evidenza con la preservazione del contesto.

5. Significato e Rivendicazioni

Il paper sostiene che VADER affronti una lacuna critica nel deployment dei VideoLLM: la capacità di mitigare le allucinazioni in modo plug-and-play senza il costo del riaddestramento. Passando da interventi statici e globali a politiche adattive e specifiche per l'input, VADER gestisce efficacemente la natura complessa, ridondante e temporalmente dipendente dei dati video.

Gli autori sottolineano che il loro approccio non si limita a "correggere" gli errori, ma altera fondamentalmente la dinamica di decodifica per distinguere tra predizioni ancorate all'evidenza e allucinazioni guidate dai priori del linguaggio. I risultati suggeriscono che una mitigazione efficace delle allucinazioni nel video richiede non solo un'attenzione visiva più forte, ma anche un meccanismo per esporre e sopprimere esplicitamente le predizioni che si affidano ai priori quando l'evidenza visiva viene rimossa.

Limitazioni: Gli autori riconoscono che VADER comporta un carico computazionale e di memoria aggiuntivo durante l'inferenza a causa della selezione dei layer basata sul gradiente e dei passaggi forward multipli, suggerendo una stima della salienza più efficiente come direzione futura.