ORMOT: A Dataset and Framework for Omnidirectional Referring Multi-Object Tracking

Deze paper introduceert ORMOT, een nieuwe taak voor het volgen van meerdere objecten op basis van taalbeschrijvingen in omnidirectionele beelden, en presenteert het bijbehorende ORSet-dataset en het ORTrack-framework om de beperkingen van het gezichtsveld in traditionele camera's te overwinnen.

De kern

Stel je voor dat je een videobewakingssysteem hebt dat werkt als een normale camera. Deze camera kijkt alleen recht vooruit, net als wanneer je door een raam naar buiten tuurt. Als iemand links uit beeld loopt, is die persoon voor de camera "verdwenen". De camera weet niet dat die persoon gewoon om de hoek is gegaan; voor het systeem is het alsof de persoon de wereld heeft verlaten.

Nu stel je voor dat je die camera vervangt door een 360-graden camera (een omnidirectionele camera). Dit is alsof je een koepel hebt die je volledig omringt. Je kunt naar links, rechts, achter en boven kijken zonder je hoofd te draaien. Niemand verdwijnt zomaar uit beeld; alles blijft zichtbaar.

Dit is precies wat het papier ORMOT introduceert. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blind Vlek" van de Taal

Vroeger konden computers wel mensen volgen in video's, maar ze hadden moeite als je ze een taalkundige opdracht gaf.

• Voorbeeld: Als je zegt: "Volg de persoon die de deur opent en daarna de trap op gaat."
• Met een normale camera: De camera ziet misschien alleen de trap. De persoon die de deur opent, was al uit beeld voordat de actie begon. De computer raakt in de war en denkt: "Oh, iedereen die de trap op gaat, is degene die ik moet volgen." Het verliest het verhaal kwijt.
• De oplossing: Met een 360-graden camera zie je alles. Je ziet de persoon de deur openen én de trap op gaan. Het verhaal is compleet.

2. De Nieuwe Spelregels: ORMOT

De auteurs noemen dit nieuwe vakgebied ORMOT (Omnidirectional Referring Multi-Object Tracking).

• Referring: Het gaat om het volgen van specifieke dingen die je met woorden beschrijft (bijv. "de man met de rode hoed").
• Omnidirectional: Het gebeurt in een 360-graden wereld.
• De kern: Het systeem moet niet alleen kijken, maar ook luisteren naar je beschrijving en dat koppelen aan een wereld waar geen grenzen zijn.

3. De Nieuwe "Boek": ORSet

Om dit te leren, hebben de onderzoekers een enorme trainingsboek gemaakt genaamd ORSet.

• Stel je voor dat je een boek hebt met 27 verschillende verhalen (scènes).
• In dit boek staan 848 specifieke zinnen die beschrijven wat er gebeurt.
• Er zijn 3.401 mensen (objecten) in deze verhalen die allemaal een ID-nummer hebben.
• Het unieke: De zinnen zijn speciaal geschreven voor 360-graden video's. Bijvoorbeeld: "De persoon die links uit beeld verdwijnt en rechts weer verschijnt." Bij een normale camera zou dit onmogelijk zijn, maar hier is het een normaal verhaal.

4. De "Superheld": ORTrack

Om dit boek te lezen en de mensen te volgen, hebben ze een slimme robot gebouwd genaamd ORTrack.

• Hoe werkt het? Stel je voor dat ORTrack een vertaler is die ook een detective is.
  1. De Vertaler (LVLM): Hij leest je zin ("Zoek de persoon met de rugzak") en begrijpt wat je bedoelt, zelfs als het een rare zin is. Hij is niet beperkt tot een lijstje met bekende woorden; hij begrijpt de betekenis.
  2. De Detective (De Camera): Hij kijkt naar de 360-graden beelden. Omdat de beelden soms vervormd zijn (alsof je op een bol kijkt), snijdt ORTrack stukjes uit het beeld om de persoon scherp te zien.
  3. De Koppeling: Hij houdt de persoon vast in zijn geheugen. Zelfs als de persoon om de hoek loopt en weer terugkomt, weet ORTrack: "Ah, dat is nog steeds dezelfde persoon!"

5. Waarom is dit belangrijk?

Tot nu toe waren slimme camera's beperkt door hun "kijkrichting". Ze konden geen lange verhalen vertellen.

• Vergelijking: Een normale camera is als een telelens. Je ziet alleen wat er direct voor je staat.
• ORMOT is als een panoramisch raam. Je ziet het hele verhaal van begin tot eind.

De resultaten tonen aan dat ORTrack veel beter is dan oude methoden. Het kan zelfs complexe emoties of acties volgen, zoals "De persoon die blij is en wacht tot iemand anders vraagt".

Samenvatting in één zin

Deze paper introduceert een nieuwe manier om computers te leren mensen te volgen in een 360-graden wereld op basis van wat je zegt, zodat ze het hele verhaal kunnen zien en niet alleen een klein fragment, net zoals een mens dat zou doen als hij rondkijkt in een kamer.

Technische samenvatting

Probleemstelling

Bestaande methoden voor Multi-Object Tracking (MOT) presteren goed in algemene visuele scènes, maar hebben aanzienlijke beperkingen wanneer ze worden toegepast op Visueel-Taal scenario's, specifiek bij Referring Multi-Object Tracking (RMOT). Bij RMOT moet het systeem objecten volgen die worden beschreven door natuurlijke taal (bijv. "De persoon die de deur open duwt en de trap op gaat").

De huidige uitdagingen zijn:

1. Beperkt Zichtveld (FoV): Bestaande RMOT-datasets en methoden zijn gebaseerd op conventionele camera's met een beperkt gezichtsveld. Wanneer camera's bewegen of objecten het kader verlaten, wordt de tracking onderbroken. Dit leidt tot gefragmenteerde trajecten en het verlies van contextuele informatie die essentieel is voor het begrijpen van complexe, langetermijntaalbeschrijvingen.
2. Semantische Verwarring: Door het beperkte zichtveld mist het model vaak cruciale context (bijv. het zien van de actie "deur open duwen" voordat de persoon de trap op gaat), wat leidt tot foutieve tracking van alle bewegende objecten in plaats van de specifieke beschreven entiteit.
3. Gebrek aan 360° Context: Er ontbreekt een gestructureerde aanpak om taalgedreven tracking toe te passen op omnidirectionele (360°) beelden, die weliswaar een continu ruimtelijk overzicht bieden, maar ook last hebben van projectievervorming.

Methodologie

Het paper introduceert een nieuwe taak, een dataset en een framework om deze problemen op te lossen.

1. ORMOT Taak (Omnidirectional Referring Multi-Object Tracking)

De auteurs definiëren ORMOT als een uitbreiding van RMOT naar omnidirectionele beelden. Dit biedt twee voordelen:

• Continu ruimtelijk dekking: Objecten blijven zichtbaar, zelfs als ze de rand van het beeld passeren (door de 360° aard).
• Verbeterde taalbegrip: Het bredere ruimtelijke context en de relaties tussen objecten helpen bij het begrijpen van langetermijnbeschrijvingen die acties, ruimtelijke relaties en groepsdynamiek omvatten.

2. ORSet Dataset

Om ORMOT te ondersteunen, hebben de auteurs ORSet ontwikkeld, gebaseerd op het JRDB-dataset.

• Inhoud: 27 verschillende omnidirectionele scènes, 848 taalbeschrijvingen en 3.401 geannoteerde objecten met bounding boxes en spatiotemporale trajecten.
• Unieke Kenmerken: De dataset introduceert specifieke beschrijvers voor omnidirectionele beelden:
  • Grensoverschrijdende beweging: Objecten die aan de linker rand verdwijnen en aan de rechter rand verschijnen.
  • Circulaire oriëntatie: Richtingen aangeven via een 360°-systeem (bijv. "op 12 uur").
  • Projectiebewuste semantiek: Correctie van visuele vervormingen (bijv. rechte wegen die gebogen lijken door de projectie).
  • FoV-overgangsmarkering: Het onderscheiden tussen het verlaten van de fysieke ruimte en het verlaten van het zichtveld.
• Annotatie: Een driedelige pijplijn met AI-ondersteuning (GPT-4o) voor het genereren van feitelijke beschrijvingen en menselijke verificatie voor nauwkeurigheid.

3. ORTrack Framework

ORTrack is een framework dat wordt aangedreven door Large Vision-Language Models (LVLMs) en bestaat uit drie hoofdstappen:

1. Taalgeleide Detectie via LVLM: In plaats van een detector met vooraf gedefinieerde klassen, gebruikt ORTrack een LVLM (zoals Qwen2.5-VL) als een "open-vocabulary" detector. Deze modelleert visuele en tekstuele informatie om bounding boxes te voorspellen die overeenkomen met de natuurlijke taalbeschrijving.
2. Tweestaps Cropping-gebaseerde Feature Extractie: Om de vervorming in omnidirectionele beelden te compenseren en context te behouden:
   • Stap 1 (Globaal): De gedetecteerde box wordt uitgebreid om omringende context op te vangen.
   • Stap 2 (Lokaal): De exacte doelbox wordt geëxtraheerd.
   • Beide regio's worden verwerkt door een ingevroren CLIP-encoder, waarna de features worden gefusioneerd.
3. Cross-frame Associatie: Objecten worden over frames gekoppeld via cosine-相似heid (cosine similarity) en het Hungarian-algoritme om consistente identiteiten te behouden, zonder afhankelijk te zijn van IoU-matching die onbetrouwbaar is bij 360°-projecties.

Belangrijkste Resultaten

De auteurs hebben ORTrack geëvalueerd op de ORSet-dataset onder zero-shot condities (zonder fine-tuning op de dataset):

• State-of-the-Art (SOTA) Prestaties: ORTrack presteert significant beter dan bestaande open-source RMOT-methoden (zoals TransRMOT en TempRMOT).
  • HOTA (Higher Order Tracking Accuracy): 9.97 (vs. 2.41 en 2.00 bij concurrenten).
  • DetA (Detection Accuracy): 6.37 (vs. 1.40 en 0.45).
  • AssA (Association Accuracy): 16.15 (vs. 4.24 en 9.01).
• Robuustheid: Het framework toont sterke generalisatie naar ongeziene objecten en complexe 360°-scènes. Het slaagt erin om subtiele emotionele beschrijvingen en complexe acties (zoals "de deur open duwen en de trap op gaan") correct te koppelen aan de juiste objecten.
• Ablatie Studies:
  • De keuze van de LVLM is cruciaal; Qwen2.5-VL-7B presteert het beste.
  • Het gebruik van CLIP als feature-encoder biedt een betere balans tussen snelheid (FPS) en nauwkeurigheid dan het gebruik van de LVLM zelf voor feature-extractie.
  • De specifieke associatiestrategie van ORTrack overtreft standaard methoden zoals OC-SORT.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Definitie van een Nieuwe Taak: ORMOT introduceert een nieuwe standaard voor taalgedreven tracking in 360°-omgevingen, wat de beperkingen van conventionele camera's oplost en de mogelijkheid biedt om langere, complexere taalbeschrijvingen te verwerken.
2. ORSet Dataset: Een uitgebreid, divers en zorgvuldig geannoteerd dataset dat specifiek is ontworpen voor omnidirectionele visueel-taal taken. Het vult een belangrijke leemte in de literatuur en dient als een essentieel platform voor onderzoek naar zero-shot generalisatie en temporele grounding.
3. ORTrack Framework: Een effectieve, LVLM-gedreven architectuur die bewijst dat grote multimodale modellen zeer geschikt zijn voor complexe trackingtaken in vervormde 360°-scènes, zonder dat er specifieke retraining nodig is voor objectklassen.

Conclusie:
Dit werk markeert een belangrijke stap voorwaarts in computer vision door de kieren tussen taalbegrip, multi-object tracking en omnidirectionele waarneming te overbruggen. Het biedt zowel een dataset als een baseline-model dat toekomstig onderzoek naar robuuste, contextbewuste tracking in realistische, brede omgevingen mogelijk maakt. De code en dataset zijn open-source beschikbaar gesteld.