InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding

1. Il Problema

Gli attuali paradigmi di Pre-addestramento Vision-Language (VLP) eccellono nella comprensione globale delle scene ma falliscono nel ragionamento a livello di istanza (oggetto specifico).

• Limitazione principale: La maggior parte dei modelli esistenti si basa su supervisione "globale-only", allineando l'intero video o immagine con una didascalia. Questo porta a modelli che comprendono l'evento generale ma non riescono a localizzare o distinguere entità specifiche menzionate nel testo (es. non riescono a capire quale oggetto è la "pallina rossa" in una scena con un bambino e un cane).
• Conseguenze: Questa carenza limita le prestazioni in compiti downstream che richiedono un grounding preciso, come il recupero fine-grained, il grounding spaziale-temporale e il question answering incentrato sugli oggetti.
• Gap nei dati: I dataset video esistenti mancano di annotazioni dense e ancorate (grounded) che colleghino frasi libere a traiettorie spaziali e temporali specifiche degli oggetti.

2. Metodologia: InstAP e InstVL

Gli autori propongono InstAP, un framework di pre-addestramento consapevole delle istanze, supportato da un nuovo dataset chiamato InstVL.

A. Il Dataset InstVL

InstVL è una risorsa su larga scala progettata per colmare il divario nelle annotazioni:

• Scala: 2 milioni di immagini e 50.000 video.
• Dual-Granularity: Ogni campione visivo possiede due tipi di annotazioni testuali:
  1. Didascalia Globale (Global Caption): Descrive l'intera scena in modo olistico.
  2. Didascalie di Istanza (Instance Captions): Descrizioni dense e ancorate a regioni specifiche (bounding box per immagini) o traiettorie spaziali-temporali (per video).
• Pipeline di Creazione: Utilizza modelli di rilevamento open-vocabulary (GroundingDINO) e tracking (SAM2) per generare le regioni, che vengono poi inviate a un grande modello vision-language per generare descrizioni libere e dettagliate.

B. Architettura e Obiettivi di Addestramento

InstAP adotta un approccio ibrido che combina allineamento globale e locale:

1. Modellazione Mascherata Video (Self-Supervised):

   • Utilizza un framework "Teacher-Student". Uno studente (ViT) impara a ricostruire le rappresentazioni semantiche di un teacher (CLIP-ViT) su token non mascherati, utilizzando un masking guidato dall'attenzione per focalizzarsi sui token informativi. Questo rafforza la rappresentazione spaziale-temporale.

2. Allineamento Globale-Locale (Global-Local Alignment):

   • Obiettivi Globali: Allineamento classico Video-Testo (Contrastive Loss VTC, Matching Loss VTM, Masked Language Modeling MLM) tra l'intero video e la didascalia globale.
   • Obiettivi Consapevoli delle Istanze (Instance-Aware):
     • Il modello estrae feature per ogni oggetto (crop) e le fonde con il contesto globale tramite un meccanismo di Cross-Attention.
     • Viene introdotta una Loss di Allineamento Istanza-specifica che forza l'ancoraggio tra le menzioni testuali specifiche e le feature visive degli oggetti corrispondenti.
     • Gestione dei Falsi Negativi: Poiché più oggetti nello stesso video possono avere descrizioni simili, la loss maschera le didascalie non corrispondenti dello stesso video durante il calcolo del contrasto, evitando penalizzazioni ingiuste.

3. Funzione di Perdita Totale:
   La perdita finale è una combinazione ponderata della ricostruzione video mascherata, degli obiettivi globali e degli obiettivi specifici per le istanze:
   $$L = L_{rec} + L_{global} + L_{inst}$$

3. Contributi Chiave

1. InstVL Dataset: La prima risorsa su larga scala nel dominio generale con annotazioni a doppia granularità (scene e traiettorie di istanze) per video e immagini.
2. Framework InstAP: Un metodo di pre-addestramento che integra nativamente la consapevolezza delle istanze nel nucleo della rappresentazione, invece di aggiungerla come un modulo ausiliario post-hoc.
3. Dimostrazione di Sinergia: La prova che l'addestramento fine-grained migliora non solo il recupero di istanze, ma anche la comprensione globale della scena.

4. Risultati Sperimentali

Gli esperimenti dimostrano che InstAP supera lo stato dell'arte (SOTA) in diversi scenari:

• Benchmark InstVL: InstAP supera significativamente i modelli baselines (incluso UMT-L addestrato sullo stesso corpus) sia nel recupero di istanze che globale.
  • Esempio: Su InstVL-1K (video) per il recupero Istanza-Testo (T2V), InstAP raggiunge un R@1 del 60.63, contro il 40.38 del miglior baseline UMT-L (g+i).
  • Questo conferma che i guadagni derivano dall'architettura di allineamento e non solo dalla quantità di dati.
• Generalizzazione Zero-Shot:
  • Su benchmark standard come MSR-VTT (41.1 R@1) e DiDeMo (54.0 R@1), InstAP stabilisce nuovi record SOTA.
  • È cruciale notare che adattare (fine-tune) i baselines globali su InstVL degrada le prestazioni, mentre InstAP le migliora, dimostrando una rappresentazione più robusta.
• Grounding Visivo:
  • Nel task di localizzazione (predizione di bounding box), InstAP supera il baseline UMT-L con un miglioramento significativo dell'IoU@90 (da 14.44 a 25.13 su video), dimostrando una capacità superiore di mappare il testo a coordinate spaziali precise.
• Analisi Qualitativa: Le visualizzazioni mostrano che InstAP focalizza l'attenzione sulle regioni rilevanti menzionate nel testo, mentre i modelli globali mostrano un'attenzione diffusa e meno precisa.

5. Significato e Impatto

Il lavoro di InstAP segna un passo avanti fondamentale per la comprensione video-linguistica:

• Superamento del "Global-Only": Dimostra che la comprensione a livello di istanza non deve essere un task secondario, ma una proprietà intrinseca della rappresentazione appresa.
• Efficienza dei Dati: Mostra che un'architettura ben progettata (InstAP) su un dataset specifico (InstVL) batte modelli più grandi o baselines forti addestrati sugli stessi dati, isolando il valore dell'obiettivo di allineamento consapevole delle istanze.
• Applicazioni Future: Questo approccio è cruciale per applicazioni reali che richiedono precisione, come la guida autonoma (distinguere pedoni specifici), la robotica e i sistemi di ricerca video avanzati.

In sintesi, InstAP risolve il problema della "cecità alle istanze" nei modelli VLP attuali, fornendo un framework che apprende simultaneamente la struttura globale della scena e le dinamiche spaziali-temporali degli oggetti individuali.