🤖 AI

DRMOT: A Dataset and Framework for RGBD Referring Multi-Object Tracking

Cet article introduit le DRMOT, une nouvelle tâche de suivi multi-objets de référence en RGBD, ainsi que le jeu de données DRSet et le cadre DRTrack, afin de remédier aux limites des modèles uniquement en 2D en exploitant la fusion des modalités RGB, profondeur et langage pour un suivi de cible robuste, conscient de la 3D et un ancrage spatio-sémantique.

Auteurs originaux : Sijia Chen, Lijuan Ma, Yanqiu Yu, En Yu, Liman Liu, Wenbing Tao

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sijia Chen, Lijuan Ma, Yanqiu Yu, En Yu, Liman Liu, Wenbing Tao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver un ami spécifique dans une pièce bondée et animée. Vous demandez à votre assistant intelligent : « Trouve la personne la plus proche de la caméra. »

Si votre assistant n'a qu'une photographie 2D (comme une image plate sur un téléphone), il est confus. Dans une image plate, tout le monde semble être sur le même plan plat. La personne debout juste à côté de l'objectif et la personne située loin derrière peuvent paraître de la même taille si elles portent des vêtements similaires. L'assistant pourrait se tromper en pointant la personne au fond plutôt que celle devant lui. C'est le problème des technologies de suivi actuelles : elles voient le monde comme une peinture plate, et non comme une véritable pièce.

Ce document présente une nouvelle façon de résoudre ce problème en donnant à l'assistant des lunettes 3D (informations de profondeur) et un super-cerveau (un grand modèle de langage).

Voici une décomposition simple de ce que les auteurs ont fait :

1. Le nouveau jeu : DRMOT

Les auteurs ont créé un nouveau défi appelé DRMOT (Depth Referring Multi-Object Tracking - Suivi d'objets multiples par référence de profondeur).

L'ancienne méthode : Vous donnez à l'ordinateur une vidéo et une phrase comme « Suis le gars au chapeau rouge. » L'ordinateur essaie de le suivre en utilisant uniquement les couleurs de la vidéo.
La nouvelle méthode : Vous donnez à l'ordinateur la vidéo, la phrase, ET une « carte de profondeur » (une image spéciale qui indique à l'ordinateur exactement à quelle distance se trouve chaque pixel). Désormais, si vous dites « Suis la personne la plus proche de la caméra », l'ordinateur peut réellement mesurer la distance et choisir la bonne personne, même si elle ressemble de manière identique à quelqu'un situé loin derrière.

2. La nouvelle carte : DRSet

Pour apprendre cette nouvelle compétence aux ordinateurs, les auteurs ont construit une bibliothèque d'entraînement spéciale appelée DRSet.

Considérez cela comme une immense bibliothèque de 187 « scènes » différentes (comme un parc, un salon ou une rue).
Pour chaque scène, ils possèdent la vidéo régulière, la carte de profondeur 3D, et 240 instructions spécifiques écrites en langage humain.
Crucialement, 56 de ces instructions reposent sur la distance (par exemple, « la voiture derrière l'arbre » ou « la personne la plus proche de nous »). Cela force l'ordinateur à apprendre comment utiliser l'espace 3D pour comprendre le langage.

3. Le nouveau cerveau : DRTrack

Ils ont également construit un nouveau système appelé DRTrack pour résoudre ces énigmes. Il fonctionne en deux étapes, comme un détective doté de deux outils :

Étape 1 : L'« Œil d'Aigle » (le MLLM) :
Ils utilisent un cerveau d'IA puissant (un Modèle de Langage Large Multimodal) qui regarde la vidéo, la carte de profondeur et la phrase en même temps. C'est comme un détective qui peut voir la pièce en 3D. Quand vous dites « Trouve la personne la plus proche », ce cerveau utilise la carte de profondeur pour savoir instantanément qui est réellement devant et qui est derrière. Il dessine un cadre autour de la bonne personne.
- Analogie : C'est comme avoir un pointeur laser qui mesure la distance tout en lisant une carte.
Étape 2 : Le « Ruban Adhésif » (le Tracker) :
Une fois que le cerveau a trouvé la personne dans la première image, le système doit continuer à la suivre lorsqu'elle se déplace, même si elle est bloquée par un mur ou une foule. Les auteurs ont ajouté du « ruban adhésif de profondeur » à leur méthode de suivi.
- Habituellement, si deux personnes marchent l'une près de l'autre, l'ordinateur peut les confondre (inverser leurs identités).
- Avec DRTrack, l'ordinateur vérifie la distance 3D. Si la Personne A est à 2 mètres et la Personne B est à 5 mètres, l'ordinateur sait qu'il s'agit de deux personnes différentes, même si elles se ressemblent beaucoup. Cela permet de garder leurs identités séparées et d'éviter la confusion.

4. Les résultats

Les auteurs ont testé leur nouveau système contre les anciens systèmes qui n'utilisaient que des vidéos 2D plates.

Le résultat : Le nouveau système (DRTrack) était bien meilleur pour trouver la bonne personne et la suivre sans se tromper.
Pourquoi c'est important : Cela a prouvé que donner une « vision de profondeur » à l'IA est la clé pour comprendre les instructions impliquant l'espace et la distance, ce qui est quelque chose que les caméras 2D plates ne peuvent tout simplement pas faire seules.

En bref : Le papier dit : « Si vous voulez qu'une IA comprenne des instructions comme "celui qui est le plus proche de nous", vous ne pouvez pas simplement lui montrer une vidéo plate. Vous devez aussi lui montrer la profondeur 3D de la pièce. Nous avons construit un nouveau jeu de données et un nouveau cerveau d'IA pour prouver que cela fonctionne. »

Résumé Technique : DRMOT : Un jeu de données et un cadre pour le suivi multi-objets de référence RGBD

1. Énoncé du problème

Le suivi multi-objets de référence (Referring Multi-Object Tracking - RMOT) vise à identifier et à suivre des cibles spécifiques basées sur des descriptions en langage naturel, une capacité cruciale pour les systèmes d'IA interactifs tels que la robotique et la conduite autonome. Cependant, les approches RMOT existantes reposent exclusivement sur des données RGB 2D. Cette limitation crée des défis importants lorsque les descriptions linguistiques impliquent des sémantiques spatiales complexes dépendant de la profondeur (par exemple, « la personne la plus proche de la caméra ») ou lorsque les cibles souffrent d'occlusions sévères. Sans informations spatiales 3D explicites, les modèles 2D peinent à résoudre les hiérarchies spatiales, ce qui entraîne une ambiguïté de raisonnement, un ancrage erroné des cibles et des changements d'identité.

Pour répondre à ces limitations, les auteurs proposent une nouvelle tâche : le suivi multi-objets de référence RGBD (DRMOT). Cette tâche exige que les modèles fusionnent les modalités RGB, Profondeur (D) et Langage (L) pour parvenir à un suivi conscient de la 3D, en ancrant efficacement les descriptions sémantiques dans un contexte géométrique tout en maintenant la cohérence de l'identité temporelle.

2. Méthodologie

Le papier introduit deux composantes primaires pour faire progresser la tâche DRMOT : un jeu de données sur mesure (DRSet) et un cadre de suivi (DRTrack).

2.1. Le jeu de données DRSet

DRSet est construit pour évaluer les capacités d'ancrage spatio-sémantique et de suivi dans des conditions 3D réelles.

Composition : Le jeu de données comprend 187 scènes diverses (intérieures, extérieures, nuit, conditions météorologiques complexes) contenant des images RGB et des cartes de profondeur synchronisées.
Annotations : Il inclut 240 descriptions linguistiques. Notamment, 56 de ces descriptions incorporent explicitement des informations liées à la profondeur (par exemple, distance relative, position avant/arrière).
Structure : Le jeu de données est divisé en 141 vidéos d'entraînement et 99 vidéos de test au niveau de la scène pour éviter la fuite de données. Il couvre 18 catégories d'objets (humains, animaux, véhicules, objets) avec des nombres variables par séquence et des longueurs de trames allant de courtes à plus de 1 000 trames.
Processus d'annotation : Un processus rigoureux en quatre étapes a été employé : (1) création d'un tableau d'attributs pour les caractéristiques statiques et dynamiques ; (2) sélection de cibles représentatives ; (3) annotation boîte englobante trame par trame et composition linguistique ; et (4) un protocole de revue croisée par deux personnes pour garantir la validité des coordonnées et la cohérence sémantique.

2.2. Le cadre DRTrack

DRTrack est un cadre guidé par un grand modèle de langage multimodal (MLLM) conçu pour un ancrage robuste et une association stable entre les trames. Il opère en deux étapes :

Étape 1 : Ancrage linguistique promu par la profondeur

Entrée : Le cadre utilise un MLLM (spécifiquement Qwen2.5-VL-3B) qui traite simultanément trois modalités : descriptions linguistiques ( $L$ ), images RGB ($RGB$) et cartes de profondeur ( $D$ ). Les cartes de profondeur sont converties en représentations pseudo-RGB à 3 canaux.
Objectif : Le MLLM est chargé de produire des boîtes englobantes 2D précises pour les cibles décrites dans le langage, en exploitant les indices de profondeur pour résoudre les ambiguïtés 2D.
Stratégie d'entraînement : Le MLLM est affiné via l'optimisation de politique relative de groupe (GRPO - Group Relative Policy Optimization). Une fonction de récompense spécialisée ( $R_{total} = R_{format} + R_{IoU}$ $R_{t o t a l} = R_{f or ma t} + R_{I o U}$ ) est employée :
- Récompense de format : Assure une sortie JSON structurée pour une extraction fiable des boîtes.
- Récompense IoU : Encourage la cohérence géométrique entre les boîtes prédites et celles de vérité terrain en utilisant l'algorithme hongrois pour l'appariement.

Étape 2 : Association OC-SORT enrichie par la profondeur

Mécanisme : S'appuyant sur le tracker centré sur l'observation OC-SORT, cette étape intègre l'information de profondeur pour affiner l'association des trajectoires.
Similarité conjointe RGBD ( $S_{RGBD}$ ) : Une nouvelle métrique de similarité est définie pour combiner l'apparence 2D et la cohérence de la profondeur 3D :
$S_{RGBD} = \alpha \cdot \text{IoU} + (1 - \alpha) \cdot S_D$
Où $S_D$ est une fonction de décroissance exponentielle de la différence de profondeur absolue entre la détection et la prédiction de la trace.
Coût d'association : Le coût d'assignation final minimise une combinaison de la similarité conjointe RGBD et d'un a priori de mouvement de cohérence de direction de vitesse (VDC) :
$C = -(S_{RGBD} + \lambda \cdot \text{VDC})$
Cette fonction de coût à double contrainte atténue les fausses associations causées par l'occlusion 2D ou la proximité.

3. Contributions clés

Définition de la tâche DRMOT : La formalisation du suivi multi-objets de référence RGBD, qui intègre explicitement les modalités RGB, Profondeur et Langage pour gérer le raisonnement spatial et le suivi conscients de la 3D.
Jeu de données DRSet : La construction d'un jeu de données complet comprenant 187 scènes et 240 descriptions (dont 56 spécifiques à la profondeur), fournissant un banc d'essai pour évaluer l'ancrage spatio-sémantique dans des environnements 3D.
Cadre DRTrack : Une architecture novatrice guidée par MLLM qui atteint des performances de pointe en combinant un affinement GRPO conscient de la géométrie pour l'ancrage avec un OC-SORT enrichi par la profondeur pour une association robuste.

4. Résultats expérimentaux

Des expériences approfondies ont été menées sur le jeu de test DRSet, évaluant la performance via la précision de suivi d'ordre supérieur (HOTA) et ses composantes (précision de détection, précision d'association, etc.).

Performance : DRTrack a atteint une HOTA de 33,24 %, surpassant significativement tous les modèles de référence.
- Il a dépassé le modèle de base MLLM zero-shot le plus fort (Qwen2.5-VL-3B avec entrées L+RGB, HOTA : 15,13 %) de plus de 18 points de pourcentage.
- Il a également surpassé les méthodes RMOT précédentes (TransRMOT, TempRMOT) et d'autres MLLM (séries DeepSeek-VL, LLaVA) qui ne reposaient que sur des entrées RGB.
Études d'ablation :
- Modalité de profondeur : L'ajout d'informations de profondeur à l'entrée du MLLM (L+RGB+D) sans affinement a augmenté la HOTA de 15,13 % à 32,68 %, démontrant la valeur critique des indices géométriques.
- Affinement par GRPO : L'application de l'affinement GRPO conscient de la géométrie a encore amélioré la HOTA de 32,68 % à 33,24 %, confirmant l'efficacité de l'optimisation basée sur la récompense.
- Poids de fusion ( $\alpha$ ) : L'analyse de sensibilité a montré qu'un poids de fusion de $\alpha=0,9$ (priorisant l'IoU 2D tout en incorporant une contrainte de profondeur de 10 %) donnait les résultats optimaux, équilibrant le contexte spatial et la robustesse géométrique.

5. Signification et affirmations

Le papier affirme que l'intégration de l'information de profondeur est essentielle pour lever l'ambiguïté des expressions de référence qui sont indiscernables dans l'espace d'image 2D. En proposant la tâche DRMOT et le jeu de données DRSet, les auteurs fournissent une ressource nécessaire pour évaluer les modèles sur l'ancrage spatio-sémantique sous ambiguïté géométrique.

Le cadre DRTrack démontre que la synergie entre les indices de profondeur et les MLLM peut résoudre efficacement les ambiguïtés spatiales (par exemple, distinguer les objets « plus proches » des « plus éloignés ») et maintenir la cohérence de l'identité sous une occlusion sévère. Les auteurs positionnent le DRMOT comme une étape fondamentale vers des systèmes d'IA interactifs plus robustes et conscients de la 3D, offrant une base solide pour les recherches futures dans ce domaine émergent. Le travail est présenté comme une avancée dans la perception de l'apprentissage automatique, sans conséquences sociétales spécifiques mises en évidence au-delà de l'objectif général d'améliorer la compréhension de l'environnement pour les systèmes autonomes.