ORMOT: A Dataset and Framework for Omnidirectional Referring Multi-Object Tracking

Questo lavoro introduce ORMOT, un nuovo compito di tracciamento multi-oggetto riferito a descrizioni linguistiche in immagini omnidirezionali, supportato dal dataset ORSet e dal framework basato su modelli visione-linguaggio su larga scala denominato ORTrack, progettati per superare i limiti del campo visivo delle telecamere convenzionali.

L'essenziale

Immagina di dover seguire una persona in un video, ma con una regola speciale: devi seguire solo quella persona descritta da una frase che ti viene detta. Ad esempio: "Segui il signore con la giacca rossa che sta correndo verso le scale".

1. Il Problema: La "Finestra" Troppo Piccola

Fino a poco tempo fa, i computer che fanno questo lavoro (chiamati sistemi di tracciamento) guardavano il mondo attraverso una finestra rettangolare (come la telecamera del tuo smartphone).

• L'analogia: Immagina di cercare un amico in una folla guardando solo attraverso un tubo di cartone. Se il tuo amico si sposta un po' a sinistra o a destra, scompare dal tubo. Tu lo perdi di vista, e il computer si confonde: "Dov'è finito? È sparito? O è un'altra persona?".
• Il limite: Se la frase dice "Lui apre la porta e poi sale le scale", ma la telecamera non vede la porta perché è troppo stretta, il computer non capisce la storia completa. Segue la persona sbagliata o perde il filo.

2. La Soluzione: La "Sfera" Magica (ORMOT)

Gli autori di questo studio hanno detto: "E se invece di un tubo, avessimo una sfera trasparente che ci permette di vedere tutto intorno, a 360 gradi?".
Hanno creato un nuovo compito chiamato ORMOT (Tracciamento Multi-Oggetto con Riferimento Omnidirezionale).

• L'analogia: Ora immagina di essere al centro di una stanza con le pareti fatte di specchi curvi o di essere su una piattaforma rotante. Vedi tutto: davanti, dietro, a sinistra, a destra, sopra e sotto.
• Il vantaggio: Se la persona che stai cercando esce dal lato sinistro della stanza, non sparisce nel nulla! Semplicemente, riappare dal lato destro. Il computer può seguire la storia intera: "Ah, ecco che apre la porta (che ora vedo!) e sale le scale". Non perde mai il contatto.

3. Il Nuovo Libro di Istruzioni: Il Dataset ORSet

Per insegnare a queste nuove intelligenze artificiali a lavorare in questo mondo a 360 gradi, gli autori hanno creato un nuovo "libro di esercizi" chiamato ORSet.

• Cosa contiene: È come un enorme archivio di video girati con telecamere speciali a 360°.
• Le istruzioni: Hanno scritto 848 descrizioni diverse. Non sono solo "c'è un uomo", ma frasi complesse come: "La persona che scompare dal bordo sinistro e riappare su quello destro" o "Il cameriere che cammina in senso orario intorno alla camera".
• Perché è speciale: In un video normale, dire "scompare a sinistra" non ha senso. In un video a 360°, è una descrizione normale e fondamentale. Questo dataset insegna al computer a capire la geometria strana di queste immagini.

4. Il Cervello: ORTrack (L'Intelligenza Artificiale)

Hanno anche costruito un nuovo "cervello" chiamato ORTrack.

• Come funziona: Invece di usare un vecchio metodo che cerca solo cose che conosce già (es. "cerca solo persone"), ORTrack usa un Modello Linguistico Visivo (un'intelligenza artificiale molto potente che legge e vede insieme).
• L'analogia: Immagina un detective molto colto. Se gli dai una foto distorta (perché è a 360°) e gli dici: "Cerca la persona che sta bevendo un caffè mentre cammina dritto", il detective non si spaventa per la distorsione dell'immagine. Usa il suo "senso comune" linguistico per capire che, anche se la strada sembra curva nell'immagine, la persona sta camminando dritto nella realtà.
• Il trucco: ORTrack taglia l'immagine in due pezzi: uno grande per vedere il contesto (dove si trova la persona rispetto alla stanza) e uno piccolo per vedere i dettagli (la giacca rossa). Poi unisce queste due informazioni per non perdere mai il target.

5. I Risultati: Chi vince?

Hanno fatto una gara tra il loro nuovo sistema (ORTrack) e i vecchi sistemi migliori.

• Il verdetto: ORTrack ha vinto a mani basse, specialmente quando le descrizioni erano lunghe e complesse.
• Perché: Perché i vecchi sistemi si perdevano quando la telecamera si muoveva o quando la scena era troppo grande. ORTrack, grazie alla visione a 360° e alla sua capacità di "leggere" la scena, ha mantenuto il filo del discorso e ha seguito la persona giusta, anche se questa faceva cose strane o attraversava i bordi dell'immagine.

In Sintesi

Questo paper ci dice che per far capire bene all'Intelligenza Artificiale le storie complesse (come "chi apre la porta e sale le scale"), non basta una telecamera normale. Serve una visione completa a 360 gradi e un cervello che sappia collegare le parole alle immagini in modo intelligente. Hanno creato il primo "palestra" (dataset) e il primo "allenatore" (framework) per insegnare alle macchine a farlo.

È come passare dal cercare un ago in un mucchio di fieno guardando solo un quadrato, a guardare tutto il mucchio da sopra, sapendo esattamente dove si trova l'ago anche se si muove.

Sommario tecnico

1. Il Problema: Limitazioni del Tracking Multi-Oggetto Riferito (RMOT)

Il Multi-Object Tracking (MOT) è un compito fondamentale nella visione artificiale, ma le metodologie esistenti, sebbene efficaci in scenari visivi generali, faticano in contesti visione-linguaggio. Il compito di Referring Multi-Object Tracking (RMOT) mira a tracciare oggetti specifici basandosi su descrizioni linguistiche.

Tuttavia, i metodi RMOT attuali presentano limitazioni critiche:

• Campo Visivo (FoV) Limitato: Sono sviluppati su dataset catturati da telecamere convenzionali. Quando la telecamera si muove o gli obiettivi escono dall'inquadratura, il tracciamento si frammenta.
• Perdita di Contesto: Le descrizioni linguistiche a "lungo orizzonte" (es. "Persone che aprono la porta e poi salgono le scale") richiedono la visione di azioni sequenziali complete. Le telecamere convenzionali perdono i dettagli chiave (come l'azione di aprire la porta) se l'oggetto esce dal campo visivo, portando a errori di tracciamento e confusione semantica.
• Mancanza di Adattamento 360°: Non esistono soluzioni specifiche per gestire le distorsioni geometriche e le transizioni di bordo tipiche delle immagini omnidirezionali.

2. Metodologia Proposta: ORMOT e ORTrack

Gli autori propongono una nuova task chiamata Omnidirectional Referring Multi-Object Tracking (ORMOT), che estende il RMOT alle immagini omnidirezionali (360°), e un framework per risolverlo.

A. Il Dataset: ORSet

Per supportare questa ricerca, è stato costruito ORSet, un dataset specifico per il tracking riferito omnidirezionale:

• Origine: Basato sul dataset JRDB (JackRabbot), ma arricchito con annotazioni linguistiche.
• Statistiche: 27 scene omnidirezionali diverse, 848 descrizioni linguistiche e 3.401 oggetti annotati con bounding box e traiettorie spazio-temporali.
• Annotazioni Uniche: Include descrittori specifici per l'ambiente 360°, come:
  • Movimenti attraverso i bordi: Oggetti che escono a sinistra e riappaiono a destra (a causa della proiezione equirettangolare).
  • Cue orientativi circumferenziali: Uso di coordinate assolute (es. "ore 12") invece di relative ("sinistra/destra").
  • Disambiguazione semantica: Correzione della curvatura apparente di strade o edifici dovuta alla distorsione della proiezione.
  • Transizioni di FoV: Distinzione tra l'uscita dallo spazio fisico e l'uscita dal campo visivo limitato.

B. Il Framework: ORTrack

ORTrack è un framework guidato da Large Vision-Language Models (LVLM) progettato per il tracciamento in ambienti 360°.

1. Rilevamento Guidato dal Linguaggio (via LVLM):
   • Utilizza un LVLM (es. Qwen2.5-VL) come rilevatore a vocabolario aperto.
   • Invece di categorie predefinite, il modello riceve una descrizione linguistica e localizza gli oggetti corrispondenti direttamente nell'immagine 360°, sfruttando la capacità di ragionamento multimodale.
2. Estrazione delle Caratteristiche a Due Stadi (Two-stage Cropping):
   • Per gestire la distorsione e mantenere il contesto, il sistema estrae due tipi di regioni per ogni oggetto rilevato:
     • Regione Globale: Un ritaglio espanso che include il contesto circostante (fondamentale per capire la posizione nell'ambiente 360°).
     • Regione Locale: Il ritaglio preciso dell'oggetto per i dettagli fini.
   • Entrambe le regioni vengono elaborate da un encoder visivo CLIP (frozen) per generare feature globali e locali, che vengono poi fuse.
3. Associazione Cross-Frame:
   • Le identità vengono mantenute calcolando la similarità coseno tra le feature degli oggetti in frame consecutivi.
   • Viene utilizzato l'algoritmo Hungarian per l'assegnazione ottimale delle identità, garantendo la coerenza del tracciamento anche attraverso le distorsioni dei bordi dell'immagine equirettangolare.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset ORSet in condizioni zero-shot (senza addestramento specifico sul dataset target), confrontando ORTrack con metodi RMOT open-source esistenti (come TransRMOT e TempRMOT).

• Performance Complessiva (SOTA): ORTrack supera significativamente gli stati dell'arte.
  • HOTA (Higher Order Tracking Accuracy): 9.97% (vs 2.41% di TransRMOT).
  • DetA (Detection Accuracy): 6.37% (vs 1.40%).
  • AssA (Association Accuracy): 16.15% (vs 4.24%).
• Analisi degli Abitanti (Ablation Study):
  • L'uso di LVLM più grandi (Qwen2.5-VL 7B) migliora drasticamente le prestazioni rispetto a modelli più piccoli o altri LVLM, confermando l'importanza del ragionamento linguistico-visivo.
  • L'uso di CLIP come encoder di feature offre un ottimo compromesso tra accuratezza ed efficienza computazionale rispetto all'uso diretto dell'LVLM per l'estrazione delle feature.
  • La strategia di associazione di ORTrack supera di gran lunga l'uso di OC-SORT con lo stesso rilevatore LVLM.
• Qualità: I risultati qualitativi mostrano che il modello riesce a tracciare correttamente oggetti in scenari complessi, come persone che attraversano i bordi dell'immagine o azioni emotive sottili, dimostrando una forte capacità di generalizzazione.

4. Contributi Chiave

1. Nuova Task (ORMOT): Definizione e formalizzazione del tracciamento multi-oggetto riferito in scenari omnidirezionali, superando i limiti del FoV delle telecamere tradizionali.
2. Dataset ORSet: Creazione di un dataset completo con annotazioni linguistiche specifiche per il 360°, che include sfide uniche come i movimenti attraverso i bordi e la correzione della distorsione prospettica.
3. Framework ORTrack: Sviluppo di un sistema basato su LVLM che combina rilevamento a vocabolario aperto, estrazione di feature contestuali e associazione robusta, raggiungendo prestazioni SOTA in zero-shot.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

• Superamento del Limite del FoV: Dimostra che l'uso di telecamere omnidirezionali, combinato con modelli linguistici avanzati, risolve il problema della perdita di contesto e della frammentazione del tracciamento, essenziale per applicazioni reali come la sorveglianza e la robotica autonoma.
• Capacità di Comprensione a Lungo Orizzonte: Il framework permette di comprendere e tracciare azioni complesse e sequenziali che richiedono la visione di un'intera scena 360°, non solo di una porzione.
• Nuovo Standard: Fornisce un benchmark (ORSet) e una baseline (ORTrack) per la ricerca futura nel campo del tracking riferito in ambienti 360°, aprendo la strada a sistemi più intelligenti e contestualmente consapevoli.

In sintesi, il paper stabilisce un nuovo paradigma per il tracking multi-oggetto, spostando il focus dalle telecamere tradizionali a quelle omnidirezionali e sfruttando la potenza dei Large Vision-Language Models per una comprensione semantica profonda e robusta.