Riepilogo Tecnico: EVIDENT - Adattamento del Routing MLLM attraverso Evidenza Visiva Basata su Entità

1. Enunciato del Problema

Il documento affronta il fallimento della generalizzazione cross-dominio dei Modelli Linguistici Multimodali su Larga Scala (MLLM) nel Grounding Temporale Video (VTG). Sebbene gli MLLM pre-addestrati possiedano capacità innate di attenzione alle entità (la capacità di associare query linguistiche a entità visive pertinenti attraverso distribuzioni diverse), un fine-tuning ingenuo per compiti VTG spesso distrugge tale capacità.

Gli autori identificano un fenomeno che definiscono "disaccoppiamento attenzione-localizzazione". Quando vengono affinati su un dominio sorgente specifico (In-Domain, ID), gli MLLM apprendono a localizzare eventi affidandosi a scorciatoie specifiche del dataset (ad esempio, bias sulla posizione temporale, contesto della scena o bias sull'aspetto) piuttosto che sull'evidenza visiva sottostante. Di conseguenza, mentre le prestazioni ID migliorano, le prestazioni Out-of-Domain (OOD) degradano drasticamente.

Attraverso un'analisi empirica, il documento diagnostica che tale degradazione è principalmente guidata dallo spostamento del dominio visivo (differenze nella distribuzione visiva tra video sorgente e target) piuttosto che dalla presenza di concetti di query non visti. Il fine-tuning standard causa un overfitting del modello ai contesti di scena del dominio sorgente, fallendo nell'accoppiare la sua conoscenza appresa di localizzazione temporale con la sua attenzione alle entità pre-addestrata.

2. Metodologia: EVIDENT

Per risolvere ciò, gli autori propongono EVIDENT (Adattamento attentivo alle entità basato su evidenze), un framework efficiente in termini di parametri progettato per ancorare il grounding temporale all'attenzione alle entità intrinseca degli MLLM pre-addestrati. Il framework è composto da tre componenti principali:

A. Adattatore Collo di Bottiglia per Entità (EB Adapter)

Invece di affinare l'intero MLLM o rieseguire l'addestramento per istruzioni, EVIDENT inserisce un adattatore leggero negli strati iniziali del decoder MLLM.

• Meccanismo: Trasforma i token visivi densi in un insieme compatto di slot a livello di entità apprendibili utilizzando un meccanismo di Slot Attention.
• Funzione: Questo costringe il modello a decomporre la scena visiva in entità discrete e semanticamente coerenti (ad esempio, persona, oggetto) anziché elaborare token visivi grezzi e intrecciati.
• Ricostruzione: L'adattatore ricostruisce la sequenza di token originale da questi slot in modo privo di parametri, garantendo che il decoder LLM consumi solo rappresentazioni disintrecciate e centrate sull'entità.

B. Distillazione di Legame Entità (EB Distillation)

Gli autori osservano che lo spazio visivo dell'MLLM pre-addestrato è "intrecciato", il che significa che gli slot nel collo di bottiglia collasserebbero naturalmente in un'attenzione uniforme senza guida.

• Meccanismo: Viene introdotta una funzione di perdita di distillazione per guidare la formazione degli slot. Utilizza DINOv2 (un modello di visione auto-supervisionato) per generare mappe di cluster pseudo-verità di verità per le patch visive.
• Funzione: Attraverso l'abbinamento ungherese e la perdita di Entrobia Incrociata Binaria (BCE), il modello viene addestrato a legare ogni slot a un cluster specifico di entità semanticamente coerente. Questo infonde "priori di oggettività" nello spazio visivo dell'MLLM, garantendo che gli slot rappresentino entità distinte anche sotto spostamento di dominio.

C. Cancellazione da Entità a eVidenza (E2V)

Per sfruttare queste entità apprese per la localizzazione temporale, il framework introduce un meccanismo di cancellazione.

• Meccanismo: Per una data query in linguaggio naturale, il sistema estrae i concetti di soggetto e oggetto. Successivamente calcola un punteggio di co-occorrenza per ogni frame basato sulla similarità coseno tra le caratteristiche visive del frame e i token di soggetto/oggetto della query.
• Funzione: Questo punteggio agisce come un cancello, modulando il contributo dell'output dell'EB Adapter. I frame in cui le entità pertinenti alla query co-occorrono ricevono pesi più elevati. Questo inietta un bias induttivo secondo cui il momento temporale target è quello in cui le entità pertinenti sono visivamente presenti, indirizzando il modello lontano dalle scorciatoie del dataset.

Obiettivo di Addestramento: Il framework è addestrato end-to-end con il codificatore visivo congelato. I parametri dell'EB Adapter e di LoRA vengono aggiornati congiuntamente utilizzando una perdita combinata: $L_{total} = L_{CE} + \lambda L_{EBD}$, dove $L_{CE}$ è la perdita standard di entropia incrociata per la generazione di timestamp e $L_{EBD}$ è la perdita di distillazione di legame entità.

3. Contributi Chiave

1. Diagnosi del Fallimento OOD: Il documento dimostra sistematicamente che il fine-tuning ingenuo causa "disaccoppiamento attenzione-localizzazione" e identifica lo spostamento del dominio visivo come la causa principale della degradazione OOD, piuttosto che i gap concettuali.
2. Framework EVIDENT: Un metodo di adattamento efficiente in termini di parametri che instrada l'apprendimento VTG attraverso rappresentazioni a livello di entità senza rieseguire l'addestramento completo per istruzioni. Combina un Adattatore Collo di Bottiglia per Entità, una Distillazione di Legame Entità e un meccanismo di cancellazione da Entità a eVidenza.
3. Validazione Empirica: Esperimenti estesi mostrano che EVIDENT migliora costantemente la robustezza OOD attraverso diversi benchmark cross-dominio (Charades-STA, QVHighlights, DiDeMo) mantenendo prestazioni In-Domain competitive con un sovraccarico di parametri modesto (~2,36% del backbone da 7B).

4. Risultati Sperimentali

Gli autori hanno valutato EVIDENT in impostazioni cross-dominio (addestramento su un dataset, test su un altro).

• Prestazioni: EVIDENT supera significativamente gli MLLM affinati in modo ingenuo (ad esempio, Qwen2.5-VL) in scenari OOD. Ad esempio, sul compito Charades-STA $\to$ QVHighlights, la baseline ingenua ha subito un calo di oltre 23,9 punti in R1@0.5, mentre EVIDENT ha colmato questo divario, ottenendo un guadagno di +5,5 punti rispetto alla baseline.
• Confronto: EVIDENT supera gli MLLM zero-shot (che mancano di localizzazione temporale precisa) e i modelli specializzati basati su DETR (che spesso falliscono nel generalizzare attraverso i domini).
• Studi di Ablazione:
  • La rimozione della Distillazione EB porta al fallimento degli slot nel specializzarsi, confermando la necessità della perdita di distillazione per il legame entità.
  • La rimozione della cancellazione E2V riduce le prestazioni OOD, confermando il valore dell'uso delle entità come evidenza visiva esplicita.
  • L'inserimento dell'adattatore negli strati iniziali del decoder (0–10) si è rivelato ottimale, preservando l'allineamento pre-addestrato abilitando al contempo la decomposizione entità.

5. Significato e Affermazioni

Il documento afferma che per un VTG basato su MLLM robusto sotto spostamento del dominio visivo, la soluzione è un adattamento basato su evidenze che sfrutta appieno l'attenzione alle entità pre-addestrata, piuttosto che un adattamento diretto al contesto del dominio sorgente.

Gli autori posizionano EVIDENT come un passo verso la mitigazione degli spostamenti di distribuzione nella comprensione video imponendo un bias strutturale verso il ragionamento a livello di entità. Sostengono che, regolarizzando il fine-tuning per ancorare le previsioni all'evidenza visiva (entità) piuttosto che a pattern memorizzati, i modelli possono raggiungere una trasferibilità che il fine-tuning ingenuo non può ottenere. Il lavoro suggerisce che il grounding a livello di entità funge da efficace bias induttivo per la localizzazione temporale generalizzabile.

Il documento rimane modesto riguardo al suo ambito, notando che si concentra sugli spostamenti della distribuzione visiva e non affronta ancora altre sfide come video di lunga durata, prospettiche egocentriche o grounding a vocabolario aperto, che sono lasciati per lavori futuri.