🤖 AI

STORM: End-to-End Referring Multi-Object Tracking in Videos

Il paper introduce STORM, un modello MLLM end-to-end che risolve il problema del tracciamento multi-oggetto riferito (RMOT) integrando grounding e tracciamento in un unico framework, migliorando l'efficienza dei dati tramite una strategia di apprendimento per composizione di compiti e validando i risultati su un nuovo dataset denominato STORM-Bench.

Autori originali: Zijia Lu, Jingru Yi, Jue Wang, Yuxiao Chen, Junwen Chen, Xinyu Li, Davide Modolo

Pubblicato 2026-04-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zijia Lu, Jingru Yi, Jue Wang, Yuxiao Chen, Junwen Chen, Xinyu Li, Davide Modolo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere in una stanza piena di persone, animali e oggetti che si muovono. Tu indichi un punto e dici: "Voglio che tu segua il bambino con la maglietta rossa che sta correndo dietro al cane, e anche il gatto che dorme sul divano".

Fino a poco tempo fa, i computer faticavano moltissimo a fare questo. Se gli chiedevi di seguire tutti gli oggetti menzionati in una frase complessa, si confondevano, perdevano il gatto, scambiavano il cane per un altro, o smettevano di tracciare quando qualcosa si nascondeva dietro un mobile.

Il paper che hai condiviso presenta STORM, una nuova intelligenza artificiale che risolve questo problema in modo rivoluzionario. Ecco come funziona, spiegato con parole semplici e qualche analogia creativa.

1. Il Problema: Il "Cucito" vs. Il "Tessuto"

Fino ad oggi, i computer usavano un approccio a "pezzi staccati" (moduli separati).

Il primo modulo guardava l'immagine e diceva: "Ecco un bambino, ecco un cane".
Il secondo modulo prendeva quei dati e diceva: "Ok, ora segui il bambino".
Il terzo modulo cercava di capire cosa significava la tua frase.

Il problema? Era come cercare di cucire un vestito usando fili di colori diversi e aghi diversi: spesso i pezzi non si allineavano perfettamente, il computer perdeva il filo (o l'oggetto) e si perdeva. Inoltre, c'erano pochissimi "libri di istruzioni" (dati di allenamento) specifici per insegnare ai computer a fare tutto questo insieme.

2. La Soluzione: STORM, il "Regista Onnisciente"

STORM non usa pezzi staccati. È un unico cervello gigante (un modello linguistico multimodale) che fa tutto in una volta sola.

L'Analogia del Regista: Immagina un regista di cinema che guarda il video, legge la tua richiesta ("Segui il bambino rosso e il cane") e, invece di chiamare un operatore per la luce e un altro per la telecamera, lui stesso decide chi inquadrare, quando muovere la telecamera e come mantenere il focus su tutti gli oggetti contemporaneamente.
STORM capisce il linguaggio, vede il movimento e tiene traccia di chi è chi, tutto nello stesso momento. Non ha bisogno di "aiutanti esterni" (rilevatori di oggetti separati) perché è nato per fare tutto insieme.

3. Il Trucco dell'Apprendimento: "Imparare le Scale prima dell'Opera"

C'era un grosso ostacolo: per insegnare a un'intelligenza artificiale a fare cose così complesse, servono milioni di video con etichette precise. Ma creare questi video è costosissimo e lentissimo.

Gli autori hanno usato una strategia intelligente chiamata TCL (Task-Composition Learning), che possiamo paragonare all'allenamento di un atleta:

Fase 1 (Le Scale): Invece di far fare subito l'opera completa al computer, lo hanno fatto allenare su compiti più semplici e abbondanti. Prima ha imparato a riconoscere gli oggetti nelle foto (come imparare a suonare le scale al pianoforte). Poi ha imparato a seguire un solo oggetto che si muove (come imparare a suonare una melodia semplice).
Fase 2 (L'Opera): Una volta che il computer aveva imparato bene le basi, gli hanno dato un po' di video specifici per il compito difficile (seguire più oggetti con una frase complessa).

Grazie a questo metodo, STORM ha imparato a fare il compito difficile usando pochissimi dati specifici, perché aveva già costruito una solida base di competenze. È come se invece di insegnare a un bambino a cucinare un banchetto intero da zero, gli avessi prima insegnato a tagliare le verdure, a bollire l'acqua e a friggere, per poi fargli mettere insieme tutto per il piatto finale.

4. Il Nuovo "Gym" di Allenamento: STORM-Bench

Per allenare questo "regista", gli autori hanno creato un nuovo dataset chiamato STORM-Bench.

Il Problema dei vecchi dataset: Erano come libri di esercizi scritti male: frasi ambigue ("segui l'uomo") quando nella scena ce ne erano tre, o oggetti persi.
La soluzione: Hanno creato un processo automatico ("bottom-up") che prima guarda gli oggetti, poi chiede a un'intelligenza artificiale di descriverli in modo preciso, e infine verifica che la descrizione corrisponda davvero all'oggetto.
Il risultato è un "palestra" con 15.000 video e frasi molto specifiche (es. "il bambino che tiene il pallone mentre corre verso la macchina blu"), perfetta per addestrare STORM a non perdersi mai.

5. I Risultati: Il Supereroe del Video

Quando hanno messo alla prova STORM contro i migliori competitor esistenti:

Precisione: Ha vinto in tutte le categorie. Non perde gli oggetti quando si nascondono dietro un altro (occlusione) e non li scambia mai.
Complessità: Riesce a seguire frasi complicate come "il gatto che sta sotto il tavolo mentre il cane salta sopra".
Generalizzazione: Funziona bene anche in situazioni che non ha mai visto prima, perché ha imparato a ragionare sul movimento e sul linguaggio, non solo a memorizzare.

In Sintesi

STORM è come avere un assistente personale che guarda un video insieme a te. Tu gli dici: "Tieni d'occhio la ragazza con gli occhiali da sole e il suo ombrello che si sta chiudendo". Lui non solo trova subito la ragazza e l'ombrello, ma li segue per tutto il video, anche se si muovono, si nascondono o se la scena è affollata, senza mai perdere il filo del discorso.

È un passo avanti enorme verso computer che non solo "vedono" il mondo, ma lo capiscono e lo seguono con la stessa fluidità con cui lo facciamo noi umani.

1. Definizione del Problema

Il lavoro si concentra sul Referring Multi-Object Tracking (RMOT), un compito avanzato di visione artificiale che richiede di localizzare e tracciare nel tempo tutti gli oggetti in un video che corrispondono semanticamente a una specifica query testuale (espressione di riferimento).

A differenza del Referring Single-Object Tracking (RSOT), che si limita a seguire un unico target, o del Multi-Object Tracking (MOT) standard che traccia tutti gli oggetti senza guida linguistica, l'RMOT deve:

Comprendere espressioni linguistiche complesse che descrivono attributi, relazioni spaziali e temporali tra più oggetti.
Gestire l'ambiguità quando più oggetti condividono la stessa categoria.
Mantenere la coerenza temporale (identità) attraverso i frame del video.

Le sfide principali identificate dagli autori sono la scarsità di dati di training annotati per questo compito specifico, la natura frammentata delle soluzioni esistenti (che separano il grounding dal tracking) e la difficoltà di interpretare descrizioni linguistiche complesse in scenari reali.

2. Metodologia: STORM

Gli autori introducono STORM (Spatial-Temporal Object Referential Model), il primo framework end-to-end basato su un Large Multimodal Language Model (MLLM) progettato specificamente per l'RMOT.

Architettura

Modello Unificato: STORM unifica il grounding (localizzazione spaziale) e il tracking (associazione temporale) in un singolo modello MLLM, eliminando la necessità di moduli esterni come rilevatori di oggetti (detector) o tracker separati.
Componenti:
- Visual Encoder: Basato su ViT (Vision Transformer), estrae token visivi dai frame individuali.
- Projector: Un MLP a due livelli mappa i token visivi nello spazio del testo.
- LLM: Un modello basato su LLaMA riceve i token visivi e la query testuale, generando in modo autoregressivo le coordinate dei bounding box per tutti gli oggetti menzionati, frame per frame.
Output: Il modello genera una risposta strutturata in testo semplice che elenca gli oggetti identificati e le loro coordinate $(x1, y1, x2, y2)$ per ogni frame, indicando anche l'assenza temporanea di un oggetto (es. per occlusione) con un box vuoto.

Strategia di Apprendimento: Task-Composition Learning (TCL)

Per superare la carenza di dataset RMOT su larga scala, gli autori propongono una strategia di apprendimento a due stadi chiamata Task-Composition Learning (TCL):

Fase 1 (Pre-training su sottocompiti): Il modello viene addestrato su dataset abbondanti per compiti più semplici:
- Image Grounding: Per allineare testo e regioni visive.
- Single-Object Tracking (SOT): Per imparare la coerenza temporale.
- Referring Single-Object Tracking (RSOT): Per integrare la guida linguistica nel tracking di un singolo oggetto.
  Questo permette al modello di acquisire capacità fondamentali di allineamento cross-modale e consistenza temporale senza bisogno di annotazioni RMOT costose.
Fase 2 (Fine-tuning su RMOT): Il modello viene affinato su un dataset specifico per l'RMOT (STORM-Bench) utilizzando una strategia Chain-of-Thought (CoT). Il modello è guidato a generare tracce di ragionamento intermedie: prima localizza gli oggetti nel frame iniziale basandosi sulla descrizione, poi li traccia sequenzialmente nel tempo.

3. Contributi Chiave

STORM (Modello): Un framework MLLM end-to-end che risolve l'RMOT senza dipendere da detector esterni, permettendo un ragionamento coerente su aspetto, movimento e linguaggio.
Task-Composition Learning (TCL): Una strategia innovativa che riduce drasticamente la dipendenza da dati RMOT specifici. Sfrutta la conoscenza acquisita da sottocompiti (grounding e SOT) per generalizzare efficacemente al compito complesso di tracciamento multi-oggetto guidato dal linguaggio.
STORM-Bench (Dataset): Un nuovo dataset di alta qualità creato con una pipeline di annotazione "bottom-up".
- Pipeline: Invece di generare descrizioni e poi cercare oggetti (top-down), il processo localizza prima gli oggetti (usando annotazioni ground-truth esistenti come Vidor) e poi genera descrizioni di riferimento univoche tramite LLM, verificate per coerenza semantica.
- Statistiche: Include 15.093 video di training, 714 video di test, 0.2 milioni di espressioni di riferimento diverse e 73.7K oggetti tracciati. Copre 80 classi di oggetti (non solo pedoni/veicoli) e include espressioni complesse con relazioni spaziali e temporali.

4. Risultati Sperimentali

Gli esperimenti dimostrano che STORM supera lo stato dell'arte (SOTA) su diversi benchmark:

Image Grounding: Su RefCOCO, RefCOCO+ e RefCOCOg, STORM ottiene prestazioni SOTA, dimostrando che l'addestramento video non degrada le capacità di grounding statico.
Referring Single-Object Tracking (RSOT): Su Elysium, STORM supera i modelli esistenti, specialmente quando le query sono lunghe e complesse, grazie alla strategia TCL.
Referring Multi-Object Tracking (RMOT): Su STORM-Bench, STORM supera significativamente i baselines (come Grounding DINO, Qwen2.5-VL, VisionLLMv2 e LaMOT).
- Metriche: Miglioramento di +21.2 punti HOTA e +31.2 punti IDF1 rispetto ai metodi precedenti.
- Robustezza: Il modello gestisce meglio le occlusioni, i cambiamenti di scala e le espressioni ambigue rispetto ai metodi che separano rilevamento e tracking.

L'analisi di ablazione conferma che la strategia TCL è fondamentale: un modello addestrato solo su RMOT (senza pre-training su sottocompiti) performa molto peggio, mentre l'approccio proposto riduce la necessità di dati RMOT specifici di un ordine di grandezza mantenendo alte prestazioni.

5. Significato e Impatto

Il lavoro di STORM rappresenta un passo significativo verso l'integrazione completa della comprensione linguistica nella visione dinamica:

Paradigma End-to-End: Dimostra che i MLLM possono gestire compiti di visione complessi e temporali senza moduli ausiliari, semplificando l'architettura e migliorando la coerenza semantica.
Efficienza dei Dati: La strategia TCL offre una soluzione pratica al problema della scarsità di dati annotati per compiti di visione complessi, permettendo di trasferire conoscenze da domini ricchi di dati a domini specifici.
Nuovo Standard: La creazione di STORM-Bench colma un vuoto critico nella ricerca, fornendo un benchmark diversificato e privo di ambiguità per valutare futuri modelli di tracciamento multi-oggetto guidato dal linguaggio.

In sintesi, STORM stabilisce un nuovo standard per l'interazione uomo-macchina in scenari video complessi, permettendo agli utenti di specificare esattamente quali oggetti tracciare attraverso il linguaggio naturale, con una precisione e una robustezza senza precedenti.