ORMOT: A Dataset and Framework for Omnidirectional Referring Multi-Object Tracking

Cet article présente ORMOT, une nouvelle tâche de suivi multi-objets omnidirectionnel guidé par le langage, accompagnée du jeu de données ORSet et du cadre ORTrack basé sur un modèle vision-langage de grande taille, conçus pour surmonter les limitations du champ de vue des méthodes existantes.

L'essentiel

🌍 Le Problème : La caméra "tunnel"

Imaginez que vous essayez de suivre une personne dans une foule, mais vous ne la regardez qu'à travers un tuyau de papier toilette. C'est ce que font la plupart des caméras de surveillance classiques : elles ont un champ de vision très étroit.

Si la personne que vous cherchez tourne la tête, s'éloigne ou passe derrière un mur, elle disparaît de votre "tuyau". Pour une intelligence artificielle, c'est comme si la personne s'était évaporée. Si on lui demande de suivre "la personne qui ouvre la porte puis monte les escaliers", l'IA va souvent se tromper. Pourquoi ? Parce qu'elle n'a pas vu l'action d'ouvrir la porte (elle était hors du champ de vision) et elle ne voit que les gens monter les escaliers. Elle va donc suivre tout le monde, perdant le fil de l'histoire.

🔄 La Solution : La caméra "œil de poisson" (Omnidirectionnelle)

Les chercheurs de l'Université de Science et Technologie de Huazhong ont eu une idée brillante : changer de lunettes. Au lieu d'un tuyau, utilisons une caméra qui voit à 360 degrés, comme un œil de poisson ou un globe oculaire.

C'est le concept du ORMOT (Suivi Multi-Objet Référentiel Omnidirectionnel).

• L'analogie : Imaginez être au centre d'une pièce ronde avec des murs en miroir tout autour. Vous voyez tout, partout, tout le temps. Personne ne peut se cacher derrière un coin, et personne ne sort de l'image.
• L'avantage : L'IA peut voir l'histoire complète. Elle voit la personne ouvrir la porte et monter les escaliers, même si elle traverse tout le champ de vision.

📚 Le Dictionnaire Spécial : Le Dataset ORSet

Pour apprendre à cette IA à comprendre le monde en 360°, les chercheurs ont créé un nouveau livre de leçons appelé ORSet.

• Ce qu'il contient : 27 scènes différentes (cafés, rues, gares), 3 401 objets étiquetés et 848 descriptions en langage naturel.
• La particularité : Ce n'est pas juste "un homme en bleu". C'est du langage adapté à la vision 360°.
  • Exemple classique : "L'homme qui va à gauche." (Problème : à gauche de qui ?)
  • Exemple ORSet : "L'homme qui disparaît sur le bord gauche et réapparaît sur le bord droit." (C'est crucial ! Dans une vidéo 360°, si quelqu'un sort par la gauche, il réapparaît souvent à droite car l'image est enroulée).
  • Ils ont aussi des descriptions pour corriger les déformations : "La route qui semble courbe à cause de la caméra, mais qui est en fait droite."

C'est comme donner à l'IA un manuel d'instructions pour ne pas se perdre dans un monde qui tourne autour d'elle.

🤖 Le Super-Héros : ORTrack

Pour utiliser ce nouveau livre de leçons, ils ont créé un super-héros nommé ORTrack.

• Comment il fonctionne ? Il utilise un "cerveau" très puissant appelé LVLM (Grand Modèle Vision-Langage), un peu comme un Chatbot très intelligent qui a vu des millions de vidéos.
• Sa super-puissance : Au lieu d'être entraîné uniquement à reconnaître des "chats" ou des "voitures" (comme les anciennes caméras), ORTrack peut comprendre n'importe quelle phrase.
  • Si vous lui dites : "Suis la personne qui porte un sac à dos et qui semble triste en attendant quelqu'un", il va chercher cette personne précise, même si vous ne lui avez jamais montré de "personne triste avec un sac" auparavant.
• Sa méthode : Il découpe l'image en deux pour bien voir :
  1. Le contexte global : Il regarde tout autour pour comprendre la scène (comme un photographe qui voit le décor).
  2. Le détail local : Il zoome sur la personne pour voir ses vêtements ou son visage (comme un détective).
     Ensuite, il relie les points d'une image à l'autre pour s'assurer qu'il suit toujours la même personne, même si elle traverse tout l'écran.

🏆 Les Résultats : Pourquoi c'est génial ?

Quand ils ont testé ORTrack sur leur nouveau jeu de données :

1. Il bat tous les records : Il est beaucoup plus précis que les anciennes méthodes qui utilisaient des caméras classiques.
2. Il ne se trompe pas d'identité : Là où les autres confondaient deux personnes qui se croisaient, ORTrack garde le bon nom (ID) pour chaque personne.
3. Il comprend l'histoire : Il réussit à suivre des actions complexes sur de longues durées, comme "celui qui a ouvert la porte, a marché, et est sorti par la droite".

🚀 En résumé

Ce papier dit essentiellement : "Arrêtons de regarder le monde à travers un tuyau !"

En passant aux caméras 360° et en créant un langage spécial pour les décrire, les chercheurs ont permis aux intelligences artificielles de devenir de véritables détectives capables de suivre n'importe qui, n'importe où, en comprenant l'histoire complète de leurs mouvements, sans jamais les perdre de vue. C'est un pas de géant pour la sécurité, les robots autonomes et la compréhension du monde réel.

Résumé technique

1. Problématique et Contexte

Le suivi multi-objets (MOT) est une tâche fondamentale en vision par ordinateur, mais les méthodes existantes rencontrent des limites majeures lorsqu'elles sont appliquées à des scénarios vision-langage (suivi d'objets décrits par du texte).

• Limites des caméras conventionnelles : Les méthodes actuelles de Referring Multi-Object Tracking (RMOT) sont entraînées sur des données de caméras à champ de vision (FoV) limité. Lorsque la caméra bouge ou que la cible sort du cadre, le suivi devient fragmenté. Cela empêche la compréhension de descriptions linguistiques à long horizon (ex: "Les personnes qui ouvrent la porte puis montent les escaliers"), car les étapes clés de l'action peuvent se trouver hors champ.
• Le défi de l'omnidirectionnel : Les caméras omnidirectionnelles (360°) offrent une couverture spatiale continue, mais introduisent des défis spécifiques : distorsions de projection (projection équirectangulaire), ambiguïtés aux bords de l'image (un objet disparaît à gauche et réapparaît à droite) et complexité accrue pour l'association temporelle et spatiale.

Objectif du papier : Combler ce fossé en proposant une nouvelle tâche, le ORMOT (Omnidirectional Referring Multi-Object Tracking), qui étend le suivi référé aux images omnidirectionnelles pour surmonter les limitations du champ de vision et améliorer la compréhension des descriptions temporelles complexes.

---

2. Contributions Clés

Les auteurs apportent trois contributions majeures :

1. Définition de la tâche ORMOT : Une extension du RMOT aux environnements 360°, capable de gérer des descriptions linguistiques longues et complexes en exploitant le contexte spatial global.
2. Le Dataset ORSet : Un nouveau jeu de données dédié au suivi multi-objets référé omnidirectionnel.
   • Contenu : 27 scènes omnidirectionnelles variées, 848 descriptions linguistiques et 3 401 objets annotés avec leurs boîtes englobantes et trajectoires spatio-temporelles.
   • Spécificités : Les annotations incluent des descripteurs spécifiques à l'omnidirectionnel :
     • Mouvement traversant les limites : Décrire un objet qui disparaît à un bord et réapparaît à l'autre.
     • Indices d'orientation circonférentielle : Utilisation d'un système de coordonnées 360° (ex: "à 3 heures").
     • Désambiguïsation sémantique de la projection : Correction des courbures apparentes dues à la distorsion.
     • Marquage des transitions de champ de vision : Distinguer la sortie physique d'une pièce d'une simple sortie de champ de vision.
3. Le Framework ORTrack : Une architecture pilotée par un Grand Modèle Vision-Langage (LVLM) conçue spécifiquement pour le ORMOT.

---

3. Méthodologie : Le Framework ORTrack

ORTrack est une approche en trois étapes qui exploite les capacités de raisonnement "open-vocabulary" des LVLMs (comme Qwen2.5-VL) :

A. Détection Guidée par le Langage (via LVLM)

Contrairement aux détecteurs classiques limités à des classes prédéfinies, ORTrack utilise un LVLM pour détecter des objets basés sur des descriptions textuelles arbitraires.

• Le modèle encode l'image ($I_t$) et la description ($L$).
• Il effectue un raisonnement par attention croisée multimodale pour aligner le texte avec les régions visuelles.
• Il prédit les boîtes englobantes des cibles correspondant à la description.

B. Extraction de Caractéristiques en Deux Étages (Two-stage Cropping)

Pour pallier les distorsions des images équirectangulaires, le framework utilise une stratégie d'extraction hiérarchique :

1. Cadrage Global (Global Context) : La boîte détectée est étendue (avec un ratio de marge $\alpha$) pour capturer le contexte environnant, crucial pour stabiliser les caractéristiques dans les zones distordues.
2. Cadrage Local (Fine-grained) : Extraction précise de la région cible.

• Ces deux régions sont encodées par un encodeur visuel CLIP (frozen).
• Les caractéristiques finales sont une fusion pondérée des caractéristiques globales et locales ($f_t = f_{local} + \lambda f_{global}$).

C. Association Inter-Images (Cross-frame Association)

Pour maintenir l'identité des objets à travers les frames :

• Calcul de la similarité cosinus entre les caractéristiques des objets détectés dans les frames consécutives.
• Utilisation de l'algorithme Hungarian pour trouver l'appariement optimal (minimisation du coût d'association).
• Gestion des nouvelles trajectoires et de la terminaison des trajectoires perdues.

---

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset ORSet dans des conditions zero-shot (sans fine-tuning sur le dataset spécifique).

• Performance Globale : ORTrack dépasse l'état de l'art (SOTA) des méthodes RMOT existantes (comme TransRMOT et TempRMOT).
  • HOTA (Higher Order Tracking Accuracy) : 9.97 contre 2.41 pour le meilleur concurrent.
  • DetA (Détection) et AssA (Association) : Améliorations significatives, montrant une robustesse accrue à la fois dans la détection et le maintien de l'identité.
• Analyse des Composants :
  • Choix du LVLM : L'utilisation de Qwen2.5-VL (7B) s'est révélée supérieure aux autres modèles (LLaVA-NEXT, InternVL3.5), confirmant que la capacité de raisonnement du modèle est cruciale.
  • Encodeur de caractéristiques : L'utilisation de CLIP offre un meilleur compromis efficacité/précision par rapport à l'utilisation directe du LVLM pour l'encodage (plus rapide, FPS plus élevé).
  • Stratégie d'association : La méthode d'association de ORTrack surpasse l'approche combinée LVLM + OC-SORT, prouvant que l'adaptation de l'association aux spécificités omnidirectionnelles est essentielle.
• Résultats Qualitatifs : Le modèle réussit à suivre des objets dans des scénarios complexes, comme des personnes traversant les bords de l'image ou effectuant des actions longues (ex: "s'asseoir, prendre une photo, se relever"), là où les modèles conventionnels échouent.

---

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

1. Nouveau Paradigme : Il établit le ORMOT comme une nouvelle tâche de recherche, reconnaissant que le suivi multi-objets dans les environnements 360° nécessite une approche différente du RMOT traditionnel.
2. Ressource de Données : Le dataset ORSet comble un vide majeur en fournissant des données annotées avec des descriptions linguistiques riches et spécifiques à l'omnidirectionnel, facilitant la recherche sur la généralisation zero-shot et l'alignement vision-langage temporel.
3. Validation des LVLMs : Il démontre l'efficacité des grands modèles vision-langage pour des tâches de vision par ordinateur complexes et dynamiques, en particulier pour la compréhension sémantique profonde nécessaire au suivi référé.
4. Applications Réelles : Les résultats ouvrent la voie à des applications avancées en surveillance 360°, robotique mobile et véhicules autonomes, où la compréhension complète de l'environnement et des interactions humaines à long terme est critique.

En résumé, ce papier propose une solution complète (tâche, données, méthode) pour surmonter les limitations du champ de vision dans le suivi multi-objets, permettant une compréhension sémantique et temporelle bien plus riche des scènes dynamiques.