RT-RMOT: A Dataset and Framework for RGB-Thermal Referring Multi-Object Tracking

Cet article présente RT-RMOT, une nouvelle tâche de suivi multi-objets référé fusionnant les modalités RGB et thermique, accompagnée du premier jeu de données dédié RefRT et du cadre RTrack optimisé par apprentissage par renforcement pour assurer un suivi robuste en toutes conditions d'éclairage.

L'essentiel

🌟 Le Problème : La "Cécité" Nocturne des Caméras

Imaginez que vous essayez de retrouver un ami dans une foule en lui disant : "Cherche l'homme en chemise rouge qui marche vers la gauche."

• En plein jour (Caméra RGB classique) : C'est facile. Vous voyez les couleurs, les visages, tout est clair.
• La nuit, dans le brouillard ou la fumée : C'est le cauchemar. La caméra classique ne voit plus rien. Elle est comme un humain qui porte un bandeau. Elle ne peut plus distinguer la "chemise rouge" car tout est noir ou flou.

Les chercheurs ont dit : "Stop ! Il faut que nos caméras puissent voir même quand il fait noir ou qu'il y a du brouillard."

🔥 La Solution : Le Super-Héros "Thermique"

C'est là qu'intervient l'idée géniale de ce papier : RT-RMOT.

Au lieu de s'arrêter à la caméra classique (qui voit les couleurs), ils ajoutent une caméra thermique.

• L'analogie : Imaginez que votre caméra classique est un peintre qui voit les couleurs. La caméra thermique, elle, est un détective qui voit la chaleur.
• Même dans le noir total, un humain ou une voiture émet de la chaleur. La caméra thermique les voit comme des taches lumineuses brillantes, peu importe la lumière ambiante.

Le but du projet est de fusionner ces deux mondes : la beauté des couleurs (pour reconnaître les détails) et la robustesse de la chaleur (pour voir dans le noir).

📚 La Nouvelle "Bibliothèque" : RefRT

Pour entraîner un robot à faire cela, il faut des exemples. Avant ce papier, personne n'avait de "livre de recettes" pour apprendre à une IA à suivre des objets en parlant, avec des images thermiques ET des images classiques.

Les chercheurs ont donc créé RefRT :

• C'est une immense bibliothèque de vidéos.
• Chaque vidéo contient deux versions de la même scène : une en couleurs et une en thermique.
• Le plus important : chaque vidéo est accompagnée d'une phrase descriptive (ex: "Trouve le chien qui court").
• C'est comme si on donnait à l'IA un livre d'images avec des instructions écrites pour chaque page, mais en double (couleur + chaleur).

🤖 Le "Cerveau" : RTrack (Le Chef d'Orchestre)

Pour utiliser cette bibliothèque, ils ont créé un système intelligent appelé RTrack. Voici comment il fonctionne, avec une analogie culinaire :

1. Le Chef (Le Modèle de Langage) : C'est un cerveau très intelligent (une IA de type "Grand Modèle de Langage") qui comprend le français. Il lit la phrase "Trouve le chien".
2. Les Sens (Fusion RGB-Thermique) : Le chef ne regarde pas juste une assiette. Il a deux yeux : un qui voit les couleurs et un qui voit la chaleur. Il combine les deux pour avoir une image parfaite, même si l'assiette est dans le noir.
3. L'Entraînement par Récompense (GSPO & CAS) : C'est la partie la plus astucieuse.
   • Imaginez que vous apprenez à un enfant à jouer aux échecs. S'il fait un mouvement, vous dites "Bravo" ou "Non".
   • Ici, les chercheurs ont créé un système de récompenses très fin. Si l'IA trouve le bon chien, elle gagne des points. Si elle trouve un chat par erreur, elle perd des points.
   • Le petit truc en plus (CAS) : Parfois, l'IA devient trop excitée et fait des erreurs énormes (comme un enfant qui crie trop fort). Les chercheurs ont ajouté un "frein" (une stratégie appelée Clipped Advantage Scaling) pour calmer le jeu et éviter que l'IA ne devienne folle pendant l'apprentissage.

🏆 Le Résultat : Pourquoi c'est génial ?

Quand ils ont testé leur système :

• Avant : Les anciennes caméras échouaient totalement la nuit ou dans le brouillard.
• Aujourd'hui (RTrack) : Le système trouve les objets avec une précision incroyable, même dans les pires conditions. Il est comme un gardien de nuit qui ne cligne jamais des yeux.

En résumé :
Ce papier dit : "Ne laissez plus vos caméras devenir aveugles la nuit. Ajoutez-leur des lunettes thermiques, donnez-leur un cerveau qui comprend le langage, et entraînez-les avec une bibliothèque spéciale. Résultat ? Vous pourrez demander à votre caméra de 'trouver le bus rouge' même s'il pleut des cordes et qu'il fait nuit noire."

C'est un pas de géant vers des voitures autonomes et des systèmes de sécurité qui fonctionnent 24h/24, sans jamais avoir peur de l'obscurité.

Résumé technique

, , coordonnées [x1, y1, x2, y2]`) et contrôle la longueur de la réponse.

• Récompense de Détection Complète : Combine une récompense d'encouragement à l'exploration (détecter plus de cibles) et une récompense de précision (IoU élevé), équilibrant ainsi la complétude et la justesse des détections.

3. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données RefRT en utilisant plusieurs métriques standards (HOTA, DetA, AssA, etc.).

• Performance SOTA : RTrack dépasse toutes les méthodes de l'état de l'art, y compris les approches RMOT basées sur RGB (TransRMOT, TempRMOT) et les combinaisons de trackers RGB-T classiques.
• Améliorations Clés : Par rapport aux meilleures méthodes comparables, RTrack améliore la métrique HOTA de 6,84 %, DetA de 9,8 %, et DetRe de 17,1 %.
• Impact du Multimodal : L'ajout de la modalité thermique (RGBT) par rapport au seul RGB améliore significativement les performances (gain de +3,04 % sur HOTA pour le modèle entraîné), prouvant l'efficacité de la fusion des modalités.
• Ablation : Les études d'ablation confirment que chaque composant (GSPO, CAS, récompenses structurées) contribue essentiellement à la stabilité et à la précision finale.

4. Contributions Clés

1. Nouvelle Tâche (RT-RMOT) : Introduction d'un paradigme intégrant le langage, le RGB et le thermique pour un suivi robuste 24h/24, surmontant les limitations de la vision visible seule.
2. Jeu de Données RefRT : Création du premier benchmark public pour le suivi référé RGB-Thermique, fournissant des alignements pixel-à-pixel et des descriptions linguistiques riches.
3. Cadre RTrack : Développement d'une architecture basée sur MLLM capable de raisonnement sémantique et de fusion multimodale.
4. Innovations RL : Proposition de stratégies novatrices (CAS, récompenses hybrides) pour stabiliser le fine-tuning par RL et optimiser la détection multi-objets.

5. Signification et Impact

Ce travail est significatif car il élargit considérablement le champ d'application du suivi d'objets référé au-delà des conditions idéales de laboratoire. En démontrant que la fusion RGB-Thermique guidée par le langage est réalisable et supérieure, il ouvre la voie à des applications réelles critiques telles que :

• La surveillance de sécurité nocturne.
• Les opérations de recherche et sauvetage dans des environnements enfumés ou brumeux.
• Les systèmes de conduite autonome fonctionnant 24h/24.

Le cadre RTrack établit une nouvelle référence (baseline) robuste pour la recherche future en vision par ordinateur multimodale et en interaction homme-machine.