INST-IT: Boosting Instance Understanding via Explicit Visual Prompt Instruction Tuning

1. Il Problema

I Modelli Multimodali su Larga Scala (LMM) hanno compiuto progressi significativi grazie al instruction tuning, permettendo loro di comprendere immagini e video a un livello olistico. Tuttavia, esiste una lacuna critica nella comprensione a livello di istanza (instance-level understanding).

• Limitazione attuale: I modelli esistenti faticano a identificare, localizzare e ragionare su elementi specifici (istanze) all'interno di un'immagine o di un video quando l'utente richiede dettagli fini. Spesso falliscono nel seguire istruzioni che richiedono di focalizzarsi su un oggetto specifico o sulle sue interazioni temporali.
• Sfida video: Comprendere le istanze nei video è ancora più complesso rispetto alle immagini, poiché richiede non solo la localizzazione spaziale, ma anche il tracciamento della dinamica temporale (movimenti, cambiamenti di stato, interazioni tra oggetti nel tempo).
• Carenza di dati: Mancano dataset su larga scala che forniscano annotazioni fini e guidate esplicitamente sulle singole istanze, sia per immagini che per video.

2. Metodologia

Gli autori propongono Inst-IT, un approccio completo che include un nuovo dataset, un benchmark di valutazione e una ricetta di addestramento specifica.

A. Pipeline di Annotazione Centrata sull'Istanza

Per colmare il vuoto nei dati, gli autori hanno sviluppato una pipeline automatizzata basata su GPT-4o:

• Prompting Visivo Esplicito (Set-of-Marks - SoM): Per guidare il modello di annotazione, le immagini e i video vengono arricchiti con prompt visivi che assegnano un ID numerico a ogni istanza rilevante (sovraimpresso sull'oggetto). Questo riduce le allucinazioni e focalizza l'attenzione del modello sull'istanza specifica.
• Annotazioni Multi-Livello: La pipeline genera diverse tipologie di dati per ogni campione:
  1. Descrizioni a livello di istanza: Dettagli su singoli oggetti (colore, forma, attributi).
  2. Descrizioni a livello di immagine/quadro: Contesto globale della scena.
  3. Dinamiche temporali: Descrizioni delle differenze tra frame consecutivi (movimenti, azioni).
  4. Riassunti a livello di video: Una narrazione coerente dell'intero video.
  5. Coppie Domanda-Risposta (QA): Domande aperte focalizzate su istanze specifiche e le loro relazioni.

B. Inst-IT Dataset

È il primo dataset di instruction tuning su larga scala che combina immagini e video con annotazioni fini basate sulle istanze.

• Composizione: 51.000 immagini (da SA-1B) e 21.000 video (da dataset di segmentazione e tracking come UVO, OVIS, VidOR, ecc.).
• Volume: Include oltre 207k didascalie a livello di quadro, 135k descrizioni temporali, 21k didascalie video e 335k coppie QA aperte.
• Qualità: Le annotazioni sono verificate manualmente e filtrate per diversità e accuratezza.

C. Inst-IT Bench

Un benchmark progettato per diagnosticare le capacità di comprensione a livello di istanza.

• Struttura: Contiene 1.000 coppie QA per 338 immagini e 1.000 per 206 video.
• Formati: Supporta sia risposte aperte (Open-Ended) che scelta multipla (Multiple-Choice), con domande che testano la capacità di riferirsi a istanze specifiche e di tracciarne i cambiamenti nel tempo.
• Valutazione: Utilizza GPT-4o per valutare la correttezza delle risposte aperte, prestando particolare attenzione alla precisione nel riferimento agli ID delle istanze e ai timestamp.

D. Ricetta di Addestramento (Instruction Tuning)

Gli autori propongono un paradigma di continuous instruction tuning:

• Architettura: Basata su LLaVA-NeXT.
• Integrazione: Il dataset Inst-IT viene combinato con dati di addestramento generici (LLaVA-NeXT-DATA).
• Strategia di freezing: Durante la fase di Supervised Fine-Tuning (SFT), i primi 12 strati del codificatore visivo vengono congelati. Questo previene lo shift di distribuzione causato dalle immagini con prompt visivi (SoM) e preserva le caratteristiche di basso livello realistiche.
• Formato di input: Le annotazioni vengono convertite in dialoghi multi-turno, dove il modello deve prima descrivere le istanze singole, poi la scena globale, e infine rispondere a domande specifiche.

3. Risultati Sperimentali

Gli esperimenti dimostrano che Inst-IT migliora significativamente le prestazioni sia nella comprensione specifica che in quella generale.

• Su Inst-IT Bench: I modelli addestrati con Inst-IT mostrano un miglioramento medio di quasi il 20% rispetto ai baseline (es. LLaVA-NeXT, ViP-LLaVA), superando anche modelli proprietari come GPT-4o in alcuni contesti di ragionamento sulle istanze.
• Su Benchmark Generici (Immagini):
  • AI2D: +4.4% di miglioramento.
  • ChartQA: +13.5% di miglioramento.
  • Questo indica che la comprensione fine delle istanze rafforza anche la capacità di ragionamento visivo generale.
• Su Benchmark Generici (Video):
  • Egoschema: +7.8% di miglioramento.
  • NExT-QA: +11.8% di miglioramento.
  • Dimostra che la capacità di tracciare le istanze nel tempo migliora la comprensione spaziotemporale complessiva.
• Generalizzazione: Il modello mantiene alte prestazioni su benchmark esterni come ViP-Bench e RefCOCOg in modalità zero-shot, confermando che non si tratta di un semplice overfitting sui dati di addestramento.

4. Contributi Chiave

1. Inst-IT Dataset: Il primo dataset di instruction tuning su larga scala per immagini e video, caratterizzato da prompt visivi espliciti (SoM) e annotazioni fini centrate sulle singole istanze.
2. Inst-IT Bench: Un benchmark umano-verificato progettato specificamente per valutare la comprensione a livello di istanza in LMM, coprendo sia immagini che video con formati di valutazione misti.
3. Ricetta di Addestramento Continuo: Una metodologia efficace che integra dati specifici sulle istanze con dati generici, migliorando la comprensione fine senza sacrificare le capacità generali del modello.

5. Significato e Impatto

Il lavoro di Inst-IT segna un passo avanti fondamentale per i modelli multimodali. Dimostra che la comprensione "olistica" non è sufficiente per applicazioni reali complesse, dove l'utente interagisce con oggetti specifici.

• Avanzamento Tecnico: Risolve il problema della "cecità alle istanze" (instance blindness) dei modelli attuali, fornendo un metodo scalabile per generare dati di addestramento di alta qualità.
• Applicazioni Pratiche: Abilita scenari reali come l'assistenza robotica (dove il robot deve manipolare oggetti specifici), l'analisi video forense, e assistenti virtuali capaci di rispondere a domande dettagliate su parti specifiche di una scena o di un video.
• Scalabilità: La metodologia proposta (uso di SoM e GPT-4o per l'annotazione) può essere estesa per creare dataset ancora più grandi e complessi, spingendo i limiti della comprensione visiva fine-granulare.

In sintesi, Inst-IT trasforma i LMM da "osservatori generali" a "analisti specifici", capaci di comprendere e ragionare sulle dinamiche individuali degli oggetti nel mondo visivo.