RT-RMOT: A Dataset and Framework for RGB-Thermal Referring Multi-Object Tracking

Deze paper introduceert RT-RMOT, een nieuwe taak voor referentiële multi-object tracking onder moeilijke omstandigheden, gepaard met het eerste RGB-Thermal dataset (RefRT) en het RTrack-framework dat multimodale features combineert met geavanceerde RL-strategieën voor verbeterde prestaties.

De kern

Stel je voor dat je een vriend hebt die je helpt om mensen te vinden in een drukke menigte. Als het daglicht is, is dat makkelijk: je ziet hun kleren, hun gezicht en je kunt ze volgen. Maar wat als het donker wordt, als er rook is, of als het mistig is? Dan raakt je vriend de mensen uit het oog. Hij kan ze niet meer zien.

Dit is precies het probleem dat dit nieuwe onderzoek oplost. De auteurs hebben een slimme oplossing bedacht die werkt als een superheld met twee soorten ogen: één voor het daglicht (RGB) en één voor warmte (Thermisch).

Hier is het verhaal van hun werk, vertaald in simpele taal:

1. Het Probleem: De "Nachtelijke Blindheid"

Vroeger konden computers alleen mensen volgen op basis van wat ze zagen (kleur, vorm). Maar in het donker of in de rook werkt dat niet meer. Het is alsof je probeert een spook te vinden in een donkere kamer met je ogen dicht. De computer zegt dan: "Ik zie niets, ik kan niet volgen."

2. De Oplossing: Een Team van Twee (RT-RMOT)

De onderzoekers hebben een nieuw systeem bedacht, genaamd RT-RMOT.

• De "Dag-oog" (RGB): Dit ziet de details. Het ziet dat iemand een rode jas draagt of dat het een fiets is.
• De "Nacht-oog" (Thermisch): Dit ziet warmte. Zelfs als het donker is, ziet deze oog de warme contouren van een mens of een auto.

Het systeem combineert deze twee. Het is alsof je een vriend hebt die zegt: "Ik zie een persoon in een rode jas (dag-oog), en ik voel ook warmte op die plek (nacht-oog). Laten we die persoon samen volgen." Zo werkt het ook als het regent, mistig is of 's nachts.

3. De Nieuwe Speelplaats: De "RefRT" Bibliotheek

Om dit systeem te trainen, hadden ze een enorme bibliotheek nodig met voorbeelden. Maar zo'n bibliotheek bestond niet.
Dus hebben ze RefRT gemaakt.

• Wat is het? Een verzameling van 388 verhalen (beschrijvingen) en 1.250 mensen en voertuigen die door 72 verschillende scènes lopen (van schoolpleinen tot steden).
• Het unieke: Elke scène heeft zowel een "dagfoto" als een "warmtefoto" die perfect op elkaar liggen, net als twee lagen van een transparant vel papier.
• De taal: Mensen kunnen zeggen: "Volg de twee mensen die crouchen in de struiken" en het systeem moet weten wie dat zijn, zelfs als je ze nauwelijks kunt zien.

4. De Slimme Motor: RTrack met een "Leermeester"

Hoe leer je een computer dit? Ze hebben RTrack gebouwd.
Stel je voor dat RTrack een zeer slimme robot is die een grote taalboek (een Large Language Model) heeft gelezen. Hij begrijpt wat je zegt.

• Hoe werkt het? Jij zegt: "Zoek de fietser." De robot kijkt naar de dag- en warmtebeelden, gebruikt zijn taalbegrip om te weten wat een fietser is, en combineert dat met zijn "warmte-zicht" om de fietser te vinden.
• De training (GSPO & CAS): Aanvankelijk maakte de robot soms gekke fouten, zoals paniek of het verliezen van de fietser. De onderzoekers hebben een slimme trainingsmethode gebruikt (vergelijkbaar met een streng maar eerlijke coach):
  • CAS (De Rem): Als de robot te enthousiast wordt en fouten maakt, remt deze methode de "paniek" af zodat hij rustig blijft leren.
  • Beloningen: De robot krijgt een "sterretje" als hij de juiste persoon vindt én als hij zijn antwoord netjes opschrijft. Als hij te veel praat of de verkeerde persoon kiest, krijgt hij geen sterretje.

5. Het Resultaat: De Onzichtbare Spoorzoeker

De tests tonen aan dat dit systeem veel beter werkt dan oude methoden.

• Vroeger: In het donker gaf de computer op.
• Nu: Met RTrack kan de computer mensen volgen die in het donker lopen, door rook bewegen of in de regen zitten. Het is alsof je een magische bril hebt die je laat zien waar iedereen is, ongeacht het weer of het tijdstip.

Kortom:
Dit onderzoek heeft een nieuwe manier bedacht om computers te leren mensen te volgen in de ergste omstandigheden, door hun "zicht" te koppelen aan hun "warmte-gevoel" en ze te trainen met slimme taalbeschrijvingen. Het is een grote stap naar veiligere systemen die 24 uur per dag kunnen werken, of het nu nacht is of er een brand is.

Technische samenvatting

, `, coördinaten) en controleert de lengte.
* Comprehensive Detection Reward: Balanceert exploratie en exploitatie door zowel het aantal gedetecteerde doelen (Output Encouragement) als de nauwkeurigheid (IoU-based Precision) te belonen.

Belangrijkste Bijdragen

• Nieuwe Taak (RT-RMOT): Introductie van een taak die de semantische kracht van taal, de verschijningsdetails van RGB en de contourinformatie van thermische beelden combineert om tracking 's nachts en in slechte weersomstandigheden mogelijk te maken.
• RefRT Dataset: De creatie van het eerste dataset voor deze taak, wat een essentiële benchmark biedt voor onderzoek in multimodale tracking.
• RTrack Framework: Een nieuw systeem dat MLLM's gebruikt voor cross-modale fusie, versterkt door een innovatieve RL-strategie (GSPO met CAS en gespecialiseerde beloningen) voor stabiel en nauwkeurig leren.

Resultaten

Experimenten op het RefRT dataset tonen aan dat RTrack State-of-the-Art (SOTA) prestaties levert:

• HOTA (High-level Tracking Accuracy): RTrack behaalt een score van 15.53, wat een verbetering is van 6.84% ten opzichte van de beste bestaande methoden.
• Detectie en Associatie: Er zijn aanzienlijke verbeteringen in DetA (+9.8%), DetRe (+17.1%) en AssRe.
• Vergelijking: RTrack overtreft zowel traditionele RMOT-methoden (die alleen RGB gebruiken) als combinaties van bestaande RGBT-trackers met iKUN. Zelfs de basis Qwen2.5-VL (zonder fine-tuning) presteert beter in RGBT-modus dan gespecialiseerde trackers, maar met de voorgestelde RL-finetuning stijgt de prestatie drastisch.
• Ablatiestudies: Bevestigen dat zowel de RGBT-input als de specifieke RL-componenten (CAS, Structured Output Reward, Detection Reward) essentieel zijn voor de uiteindelijke prestaties.

Betekenis

Dit werk is significant omdat het de beperkingen van traditionele visuele tracking doorbreekt in uitdagende omgevingen. Door thermische beelden te integreren in een taalgestuurd trackingframework, maakt het all-day tracking mogelijk, wat cruciaal is voor toepassingen zoals autonoom rijden, beveiliging en reddingsoperaties. Het introduceert bovendien een nieuwe benchmark (RefRT) en een robuust framework (RTrack) dat de weg vrijmaakt voor toekomstig onderzoek in multimodale taal-vision interacties.