RT-RMOT: A Dataset and Framework for RGB-Thermal Referring Multi-Object Tracking

Die Autoren stellen RT-RMOT vor, eine neue Aufgabe für die RGB-Thermische Referenz-Multi-Objekt-Verfolgung, die durch den ersten entsprechenden Datensatz RefRT und das darauf aufbauende, mittels RL-Optimierung verfeinerte Framework RTrack gelöst wird, um die Verfolgung auch unter schwierigen Sichtbedingungen wie Dunkelheit oder Rauch zu ermöglichen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der in einer dunklen, nebligen Stadt nach bestimmten Personen sucht, die Sie nur durch eine Beschreibung kennen, zum Beispiel: „Suche die zwei Männer in roten Jacken, die über die Kreuzung laufen."

Das ist im Grunde die Aufgabe, die sich die Forscher in diesem Papier gestellt haben. Aber es gibt ein großes Problem: Wenn es Nacht ist, Rauch aufsteigt oder es neblig ist, funktionieren normale Kameras (die nur das sichtbare Licht sehen, also „RGB") nicht mehr gut. Die Bilder sind dunkel, unscharf, und Sie können die Personen kaum noch erkennen.

Hier kommt die Lösung des Papiers ins Spiel, die wir uns wie einen Super-Detektiv mit zwei verschiedenen Arten von Augen vorstellen können.

1. Das neue Spiel: RT-RMOT

Bisher konnten Computer nur mit den „normalen Augen" (RGB-Kamera) suchen. Das neue Konzept heißt RT-RMOT.

• RGB-Augen: Sehen Farben und Details, wenn es hell ist.
• Thermale Augen: Sehen Wärme. Egal ob es Nacht ist oder Rauch, warme Objekte (wie Menschen oder Autos) leuchten einfach auf, wie Geister in einer Wärmekamera.

Die Idee ist, diese beiden Augen zu kombinieren. Wenn das normale Auge versagt, schaltet das thermische Auge ein. So kann der Detektiv den ganzen Tag über suchen, egal wie das Wetter ist.

2. Der neue Trainingsplatz: RefRT-Datensatz

Damit man diesen Super-Detektiv trainieren kann, braucht man ein riesiges Übungsbuch. Bisher gab es so etwas für diese spezielle Kombination aus Sprache, Farbe und Wärme nicht.
Die Forscher haben RefRT erstellt. Stellen Sie sich das wie einen riesigen Videobestand vor, der aus:

• 388 Geschichten (Sprachbeschreibungen wie „Suche den Polizisten"),
• 1.250 Personen und Objekten, die verfolgt werden müssen, und
• über 166.000 Videosequenzen besteht, bei denen jedes Bild sowohl farbig als auch wärmebildlich aufgenommen wurde.

Das ist wie ein riesiges Trainingslager, in dem der KI-Detektiv lernt, wie man bei schlechtem Licht trotzdem genau weiß, wer wo ist.

3. Der Super-Detektiv: RTrack

Wie lernt der Computer das? Die Forscher haben ein System namens RTrack gebaut. Man kann sich das wie einen sehr intelligenten Assistenten vorstellen, der drei Dinge gleichzeitig macht:

1. Der Beobachter (Wahrnehmung): Er schaut sich die Bilder an (sowohl farbig als auch warm) und liest die Spracheingabe. Er versucht zu verstehen: „Ah, der Nutzer sucht nach jemandem, der sich bewegt und schwarz gekleidet ist."
2. Der Prophet (Vorhersage): Wenn er weiß, wo eine Person vor einer Sekunde war, rechnet er aus, wo sie jetzt sein müsste. Das ist wie ein Sportler, der den Ball im Auge behält und weiß, wohin er fliegen wird, bevor er dort ist.
3. Der Identifikator (Zuordnung): Er sorgt dafür, dass er nicht verwirrt wird. Wenn zwei Personen sich kreuzen, weiß er, wer wer ist, und verwechselt sie nicht.

4. Der geheime Trick: RL und Belohnung

Das System wurde nicht nur einfach „ausgebildet", sondern es hat gelernt, wie ein Kind, das ein Spiel spielt.

• GSPO (Gruppen-Policy-Optimierung): Stellen Sie sich vor, der KI werden mehrere Lösungen für ein Problem gezeigt. Sie vergleicht sie und wählt die beste aus, um sich zu verbessern.
• CAS (Klippen-Verstärkung): Manchmal lernt eine KI zu wild und macht riesige, chaotische Sprünge. Diese Strategie ist wie ein Dämpfer am Fahrrad. Wenn die KI zu schnell lernt und stolpert, bremst sie sanft ab, damit sie nicht stürzt.
• Belohnungssystem: Wenn die KI die Person richtig findet, bekommt sie einen „Goldstern" (Belohnung). Wenn sie die Box falsch setzt oder zu viele falsche Personen findet, gibt es keine Punkte. So lernt sie, präzise zu sein.

Warum ist das wichtig?

Stellen Sie sich vor, Sie sind in einer Fabrikhalle voller Rauch, oder Sie müssen nachts in einem Wald nach vermissten Personen suchen. Ein normales Handy oder eine normale Kamera wäre blind. Mit diesem neuen System (RTrack) und den neuen Daten (RefRT) könnte ein Roboter oder eine Überwachungskamera trotzdem sagen: „Ich sehe die Person in der roten Jacke hinter dem Baum, auch wenn es dunkel ist."

Zusammenfassend:
Die Forscher haben eine neue Art von „Augen" für Computer erfunden, die sowohl sehen als auch Wärme spüren können. Sie haben eine riesige Trainingsbibliothek gebaut und einen intelligenten Algorithmus entwickelt, der lernt, Menschen und Objekte auch unter den schwierigsten Bedingungen (Nacht, Rauch, Dunkelheit) genau zu finden, nur weil man ihm eine Beschreibung gibt. Das ist ein großer Schritt hin zu sichereren und intelligenteren Überwachungssystemen für den Alltag.

Technische Zusammenfassung

, `, Koordinaten-Listen) und kontrolliert die Länge der Antwort.
* Umfassende Detektions-Belohnung: Balanciert Exploration (Erkennung vieler potenzieller Ziele) und Exploitation (hohe IoU-Genauigkeit) durch eine Kombination aus Output-Encouragement und Precision Detection Reward.

3. Der RefRT-Datensatz

Da es für diese Aufgabe keine geeigneten Daten gab, stellten die Autoren den ersten Datensatz für RGB-Thermal Referring Multi-Object Tracking vor: RefRT.

• Umfang: Enthält 72 Szenen, 388 Sprachbeschreibungen, 1.250 verfolgte Ziele und 166.147 Triplets aus Sprache, RGB- und Thermal-Bildern.
• Besonderheiten: Die Daten umfassen diverse Szenarien (Campus, Stadtgebiete) und Bedingungen (Nacht, Regen, Schnee).
• Annotation: Ein dreistufiger Prozess wurde verwendet: (1) Manuelle Vorauswahl und Bounding-Box-Annotation, (2) GPT-gestützte Generierung von Attributbeschreibungen (Kategorie, Bewegung, Position), (3) Menschliche Verifizierung und Verfeinerung.

4. Ergebnisse

Die Experimente wurden auf dem RefRT-Datensatz durchgeführt und verglichen mit State-of-the-Art (SOTA) Methoden (z. B. TransRMOT, TempRMOT, iKUN) sowie anderen MLLM-Baselines.

• Leistung: RTrack erzielt die besten Ergebnisse in allen fünf Bewertungsmetriken.
  • HOTA (Gesamtbewertung von Detektion und Tracking): 15,53 (im Vergleich zu 4,98 bei der ungetraineten Baseline und <10 bei anderen RGBT-Methoden).
  • DetA (Detektionsgenauigkeit): 12,39.
  • DetRe (Detektions-Recall): 20,15.
• Vergleich: RTrack übertrifft die reine RGB-Baseline um über 10% im HOTA-Score und zeigt deutlich bessere Ergebnisse als Kombinationen aus herkömmlichen RGBT-Detektoren und Trackern (z. B. DeformCAT + SORT).
• Ablationsstudie: Die Studie bestätigt, dass die Kombination aus RGBT-Eingabe, dem MLLM-Backbone (Qwen2.5-VL) und den RL-Optimierungen (CAS, Reward-Design) essenziell für den Erfolg ist.

5. Bedeutung und Beiträge

Das Paper leistet drei wesentliche Beiträge zur Computer-Vision-Community:

1. Neue Task-Definition: Einführung von RT-RMOT, das die Lücke zwischen sprachgesteuertem Tracking und robuster Allwetter-/Allzeit-Überwachung schließt.
2. Benchmark-Datensatz: Bereitstellung von RefRT, dem ersten Datensatz mit pixelgenauer RGB-Thermal-Ausrichtung und sprachlichen Beschreibungen, der als Standard für zukünftige Forschung dient.
3. Innovatives Framework: Entwicklung von RTrack, das zeigt, wie MLLMs durch gezieltes Reinforcement Learning (mit CAS und speziellen Rewards) für komplexe multimodale Tracking-Aufgaben optimiert werden können.

Fazit: Die Arbeit demonstriert, dass die Fusion von RGB- und Thermal-Daten in Verbindung mit modernen Sprachmodellen die Robustheit von Tracking-Systemen in extremen Umgebungen (Nacht, Rauch) signifikant steigert und einen neuen Standard für referenzielles Multi-Object-Tracking setzt.