SlotVTG: Object-Centric Adapter for Generalizable Video Temporal Grounding

1. Il Problema: Grounding Temporale e Generalizzazione Fuori Dominio (OOD)

Il Video Temporal Grounding (VTG) è il compito di localizzare momenti temporali specifici all'interno di video non tagliati, basandosi su query in linguaggio naturale. Sebbene i Multimodal Large Language Models (MLLM) abbiano mostrato prestazioni promettenti, la loro applicazione diretta al VTG presenta due criticità fondamentali:

1. Mancanza di comprensione temporale fine: I MLLM generici possiedono capacità di riconoscimento "grossolane" insufficienti per la precisione richiesta nel VTG, rendendo necessario un fine-tuning specifico.
2. Memorizzazione di scorciatoie (Shortcuts) e scarsa generalizzazione OOD: Il fine-tuning su dataset limitati (come Charades-STA o QVHighlights) porta i modelli a memorizzare scorciatoie specifiche del dataset (bias temporali, testuali o di aspetto) piuttosto che imparare a fondarsi genuinamente sul contenuto visivo.
   • Conseguenza: I modelli funzionano bene sui dati in dominio (ID), ma crollano drasticamente su dati fuori dominio (OOD) quando la distribuzione visiva cambia.
   • Evidenza empirica: Gli autori dimostrano che, su dati OOD, i modelli fine-tuned non reagiscono significativamente alla perturbazione del segmento ground-truth (aggiunta di rumore), indicando che ignorano il contenuto visivo reale e si affidano a pattern statistici appresi.

2. Metodologia: SlotVTG

Per risolvere il problema della generalizzazione, gli autori propongono SlotVTG, un framework leggero che integra l'apprendimento centrato sugli oggetti (Object-Centric) nei MLLM pre-addestrati con un costo computazionale minimo.

Architettura Principale

Il cuore del metodo è il Slot Adapter, inserito negli strati iniziali del decoder del LLM (dove avvengono le interazioni tra frame):

1. Decomposizione in Slot: Invece di elaborare direttamente i token visivi, il modello utilizza un meccanismo di Slot Attention iterativo. Un set di slot apprendibili (query) compete per spiegare i token visivi proiettati in uno spazio a dimensionalità ridotta (bottleneck).
2. Ricostruzione dei Token: Dopo l'aggregazione competitiva, i token visivi originali vengono ricostruiti tramite cross-attention dagli slot finali. Questo processo forza il modello a rappresentare l'informazione visiva attraverso entità semantiche distinte (oggetti, persone, sfondi) invece di feature visive grezze.
3. Integrazione con LoRA: Gli strati più profondi del decoder vengono fine-tuned utilizzando LoRA (Low-Rank Adaptation) per il ragionamento temporale e la generazione della risposta, mentre i token testuali bypassano lo Slot Adapter.

Loss di Allineamento degli Slot (Slot Alignment Loss - SA Loss)

Per garantire che gli slot formino cluster semanticamente coerenti (es. raggruppando tutti i pixel relativi a un "telefono" in un unico slot), viene introdotta una loss di regolarizzazione:

• Priors di Oggettività: Si utilizza un modello vision auto-supervisionato pre-addestrato (DINOv2) per estrarre mappe di affinità tra token basate sulla "oggettività".
• Obiettivo: La loss allinea le mappe di attenzione degli slot con le mappe di similarità di DINOv2. Questo incoraggia gli slot a raggruppare token visivamente coerenti, riducendo la dipendenza da pattern specifici del dataset.

3. Contributi Chiave

1. Analisi del Fallimento: Identificazione chiara che i MLLM fine-tuned falliscono su dati OOD perché memorizzano scorciatoie dataset-specifiche invece di ancorarsi al contenuto visivo.
2. SlotVTG: Proposta di un framework efficiente in termini di parametri che introduce la decomposizione centrata sugli oggetti nei MLLM senza richiedere il ri-addestramento dell'intera pipeline di allineamento visione-linguaggio.
3. Slot Adapter + SA Loss: Un meccanismo innovativo che scompone i token visivi in slot astratti e utilizza priors di DINOv2 per garantire coerenza semantica, agendo come un "filtro" contro i bias visivi.
4. Generalizzazione Robusta: Dimostrazione che questo approccio migliora significativamente le prestazioni OOD mantenendo prestazioni competitive in ID.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard (Charades-STA, QVHighlights, ActivityNet Captions) con configurazioni di training e test incrociati (es. training su Charades, test su QVHighlights).

• Prestazioni OOD: SlotVTG supera costantemente i modelli baseline (inclusi MLLM zero-shot e modelli specialisti basati su DETR) nelle impostazioni OOD.
  • Esempio: Addestrando su Charades-STA e testando su QVHighlights, SlotVTG (7B) raggiunge un R1@0.5 del 57.6% contro il 53.5% del baseline Chrono-Qwen, con un miglioramento di +4.1 punti.
  • Esempio: Su ActivityNet, il miglioramento è ancora più marcato (+4.0 punti R1@0.5 per il modello 7B).
• Prestazioni ID: Le prestazioni in dominio (ID) rimangono competitive o leggermente superiori rispetto ai baseline, dimostrando che la decomposizione non danneggia la capacità di apprendimento sul dominio sorgente.
• Efficienza: Il metodo aggiunge un numero trascurabile di parametri (circa lo 0.25% - 0.33% del totale del modello) e un overhead computazionale minimo.
• Analisi Visiva: Le visualizzazioni degli slot mostrano che il modello riesce a decomporre scene complesse in entità semantiche coerenti (persone, oggetti) anche su domini mai visti, confermando l'apprendimento di rappresentazioni trasferibili.

5. Significato e Impatto

Il lavoro di SlotVTG è significativo perché:

• Sposta il paradigma: Passa dall'addestramento di modelli che "imparano a indovinare" basandosi su bias statistici, a modelli che "imparano a vedere" attraverso rappresentazioni centrate sugli oggetti.
• Soluzione Pratica: Offre una soluzione leggera e plug-and-play per migliorare la robustezza dei grandi modelli multimodali esistenti, evitando il costo proibitivo di ri-addestrare intere pipeline di allineamento.
• Futuro della VTG: Stabilisce che la decomposizione semantica delle scene è fondamentale per la generalizzazione cross-dominio nel grounding temporale, aprendo la strada a sistemi di intelligenza artificiale più affidabili in scenari reali e non controllati.

In sintesi, SlotVTG risolve il problema della scarsa generalizzazione dei MLLM nel VTG imponendo una struttura visiva basata sugli oggetti, costringendo il modello a focalizzarsi sul contenuto reale del video piuttosto che su scorciatoie statistiche.