Persistent Object Narratives for Token-Efficient Video Language Models

Riepilogo Tecnico: Narrazioni di Oggetti Persistenti per Modelli Linguistici Video Efficienti nei Token

Problema

I Modelli Linguistici Video (Video-LLM) hanno fatto progressi nella comprensione video aperta, ma affrontano due limitazioni primarie nelle loro interfacce visive:

1. Intensità dei Token: Gli attuali metodi di costruzione frame-wise generano token visivi proporzionali alla risoluzione temporale e spaziale, risultando spesso in migliaia di token per video (ad es., LLaVA-OneVision, LLaVA-Video).
2. Mancanza di Struttura Esplicita degli Oggetti: Le tecniche di compressione esistenti (ad es., memoria sparsa, compressione spazio-temporale adattiva) riducono il numero di token ma non riescono a organizzare esplicitamente le evidenze ricorrenti degli oggetti. Di conseguenza, il modello linguistico deve inferire la corrispondenza e l'evoluzione dello stato degli oggetti da sequenze compresse senza un legame esplicito, portando ad ambiguità quando gli oggetti riappaiono dopo occlusioni o tagli di scena.

Sebbene l'apprendimento centrato sugli oggetti offra una base teorica per raggruppare le caratteristiche in slot simili a oggetti, gli approcci basati su slot esistenti trattano tipicamente gli slot come locali e scambiabili, fallendo nel collegare le osservazioni ricorrenti a istanze di oggetti persistenti nel tempo. Al contrario, i metodi che si affidano a pipeline esterne di rilevamento e tracciamento introducono una dipendenza da componenti non apprese.

Metodologia: SlotNarrative

Gli autori propongono SlotNarrative, un'interfaccia basata su slot e centrata sugli oggetti che organizza le evidenze video in narrazioni di oggetti persistenti. Il framework opera attraverso tre moduli funzionali:

1. Rappresentazione Video Centrata sugli Oggetti

Un encoder SigLIP congelato estrae le caratteristiche dei patch dai frame campionati. Un adattatore di caratteristiche e un encoder di slot ricorrente raggruppano queste caratteristiche in $K=11$ vettori di slot simili a oggetti ($S_t$) e mappe di attenzione normalizzate per patch ($A_t$).

• Stato Locale: Il sistema stima il moto locale, la geometria e la visibilità utilizzando il matching dei patch pesato dalle maschere e un encoder di traiettoria causale.
• Gestione delle Scene: In caso di rilevamento di tagli di scena, l'inizializzazione dello slot ricorrente viene resettata per evitare di trattare i tagli come movimenti estremi degli oggetti, mantenendo comunque la memoria a livello di clip.

2. Memoria di Oggetti Persistenti

Un modulo di memoria privo di parametri collega le osservazioni degli slot locali ai frame con le voci di oggetti persistenti a livello di clip.

• Re-identificazione: Quando uno slot passa da invisibile a visibile, il sistema lo confronta con le voci di memoria inattive utilizzando cinque indizi complementari: somiglianza delle caratteristiche dello slot, somiglianza dell'aspetto aggregato, somiglianza dello stato della traiettoria, somiglianza dell'osservazione recente e prossimità posizionale.
• Logica di Matching: Un punteggio pesato e privo di parametri determina la re-identificazione. Una strategia di matching greedy uno-a-uno impedisce duplicati. Se un oggetto riappare sotto un diverso indice di slot grezzo, la memoria preserva l'ID persistente, colmando efficacemente gli intervalli mancanti.
• Nessun Parametro Addestrabile: La memoria stessa non contiene pesi apprendibili; si affida a pesi fissi per gli indizi (ad es., 0.3 per le caratteristiche dello slot, 0.2 per l'aspetto) e soglie.

3. Tokenizzazione Tipizzata dello Stato dell'Oggetto

Per interfacciarsi con un modello linguistico congelato, le voci di oggetti conservate vengono serializzate in una sequenza visiva di dimensione fissa:

• Selezione dell'Inventario: Le voci sono classificate per durata di visibilità, cambiamento di stato e "oggettività" (una metrica che combina l'area dello slot e l'entropia dell'attenzione). Vengono mantenute le prime $M=16$ voci.
• Decomposizione dei Token: Ogni voce mantenuta è rappresentata da:
  • Un Token di Identità: Riassume l'aspetto persistente utilizzando caratteristiche del backbone aggregate nel tempo e pesate per visibilità.
  • $J=8$ Token di Stato: Codificano l'aspetto a livello di segmento, la geometria, la visibilità, lo stato della traiettoria ed eventi di re-identificazione.
• Budget Fisso: Questo design alloca esattamente $M(1 + J) = 144$ posizioni di token visivi per video, indipendentemente dal numero di frame campionati. Le posizioni non utilizzate vengono mascherate.

Strategia di Addestramento

Il modello viene addestrato in tre fasi sequenziali:

1. Fase 1: Apprende il raggruppamento simile agli oggetti e la coerenza locale utilizzando la ricostruzione delle caratteristiche, SlotContrast e l'Apprendimento della Rappresentazione Sinergica su clip non etichettate.
2. Fase 2: Addestra i moduli di traiettoria e presenza tramite la predizione delle osservazioni future e target derivati dalla confidenza.
3. Fase 3: Allinea la rappresentazione tipizzata dell'oggetto e dello stato con il modello linguistico (Qwen2-7B-Instruct). Vengono addestrati solo i proiettori di identità/stato, le normalizzazioni di strato e gli embedding tipizzati; il backbone visivo, la memoria e il modello linguistico rimangono congelati.

Contributi Chiave

1. Interfaccia Centrata sugli Oggetti Basata su Slot: Organizza le evidenze video attorno a voci di oggetti persistenti a livello di clip piuttosto che su frame o slot per frame scambiabili, utilizzando una memoria priva di parametri per associare le osservazioni ricorrenti senza pipeline esterne di tracciamento.
2. Rappresentazione Tipizzata Oggetto-Stato: Separa l'aspetto persistente dell'oggetto dallo stato variabile. Questa decomposizione produce un'interfaccia compatta e fissa di 144 token (1 token di identità + 8 token di stato $\times$ 16 oggetti) per un Video-LLM congelato.
3. Efficienza e Prestazioni: Dimostra un favorevole rapporto accuratezza-token visivi su molteplici benchmark, stabilendo le narrazioni di oggetti persistenti come un'interfaccia visiva strutturata.

Risultati Sperimentali

Gli autori hanno valutato SlotNarrative su tre benchmark di VideoQA aperti: MSVD-QA, MSRVTT-QA e ActivityNet-QA.

• Efficienza dei Token: Con solo 144 posizioni di token visivi allocate, SlotNarrative raggiunge:
  • 75.6% di accuratezza su MSVD-QA.
  • 69.8% di accuratezza su MSRVTT-QA.
  • 50.3% di accuratezza su ActivityNet-QA.
• Confronti:
  • Rispetto al baseline più vicino centrato sugli oggetti, Slot-VLM (192 token), SlotNarrative utilizza il 25% in meno di token migliorando rispettivamente l'accuratezza di 0.7, 0.2 e 2.0 punti.
  • Supera i metodi a token densi (ad es., LLaVA-OneVision con ~6.000 token) sui dataset di video brevi e rimane competitivo sui video più lunghi (ActivityNet-QA) nonostante la significativa riduzione dei token.
• Studi di Ablazione:
  • Traiettoria e Memoria: Entrambi i componenti migliorano significativamente le prestazioni. Rimuovere solo la memoria riduce l'accuratezza di circa 3.2 punti su MSVD-QA; rimuovere la traiettoria la riduce di circa 1.8 punti. La loro combinazione produce i risultati migliori.
  • Token Tipizzati: Separare i token di identità e di stato è cruciale. L'uso dei soli token di identità (16 token) o dei soli token di stato (128 token) comporta cali significativi di accuratezza (rispettivamente 44.1% e 42.4% su ActivityNet-QA) rispetto all'interfaccia completa da 144 token (50.3%).
  • Sensibilità al Budget: Ridurre la copertura degli oggetti ($M$) è più costoso rispetto alla riduzione della risoluzione temporale ($J$). Aumentare il budget oltre i 144 token produce rendimenti decrescenti.

Significato e Rivendicazioni

L'articolo sostiene che SlotNarrative stabilisce un nuovo paradigma per le interfacce dei Video-LLM dando priorità alle narrazioni di oggetti persistenti rispetto alle evidenze frame-wise. Il significato risiede in:

• Compressione Strutturata: Fornisce un'interfaccia visiva compatta, strutturata e organizzata temporalmente che collega esplicitamente le osservazioni ricorrenti, riducendo il carico sul modello linguistico per inferire la corrispondenza degli oggetti.
• Efficienza dei Token: Raggiunge prestazioni competitive con un budget fisso e basso di token (144 token), scindendo la lunghezza dell'input dalla durata e dalla risoluzione del video.
• Associazione Appresa: Dimostra che unità simili a oggetti possono essere scoperte e associate attraverso intervalli mancanti direttamente dalle caratteristiche visive senza fare affidamento su modelli esterni di rilevamento o tracciamento.

Gli autori riconoscono modestamente i limiti, notando che, sebbene l'interfaccia sia compatta, l'ordine temporale a lungo raggio e la frammentazione in scene affollate rimangono sfide. Suggeriscono che il lavoro futuro dovrebbe concentrarsi su una scoperta di oggetti e indizi di movimento più ricchi senza ricorrere a lunghe sequenze di frame-token.