Rethinking Two-Stage Referring-by-Tracking in Referring Multi-Object Tracking: Make it Strong Again

Cet article propose FlexHook, un nouveau cadre de suivi d'objets référé en deux étapes qui surpasse les méthodes actuelles de l'état de l'art en résolvant les limitations des constructions de caractéristiques heuristiques et de la modélisation fragile des correspondances grâce à une stratégie d'injection de repères conditionnés par le langage et à un décodeur de correspondance par paires.

L'essentiel

Imaginez que vous regardez une vidéo de circulation très animée. Vous voulez que l'ordinateur suive spécifiquement "la voiture rouge qui tourne à gauche" parmi des dizaines d'autres véhicules. C'est le défi de la Suivi Multi-Objet Référencé (RMOT).

Jusqu'à récemment, il y avait deux façons principales de faire cela :

1. La méthode "Tout-en-un" (One-Stage) : C'est comme un détective génie qui voit la scène, lit votre phrase, et suit la voiture en même temps. C'est très puissant, mais cela demande une énorme puissance de calcul et il est difficile de l'améliorer sans tout reconstruire.
2. La méthode "Deux Étapes" (Two-Stage) : C'est comme avoir un gardien de parking (qui suit tous les véhicules) et un traducteur (qui lit votre phrase). Le gardien suit tout, et le traducteur essaie de dire : "Ah, c'est celle-ci !".

Le problème ? La méthode "Deux Étapes" est devenue la "vieille voiture" du domaine. Elle était moins précise et un peu rigide. Les chercheurs pensaient qu'elle était dépassée.

Mais l'article "FlexHook" dit : "Attendez, on peut la rendre forte à nouveau !"

Voici comment FlexHook fonctionne, expliqué simplement :

1. Le problème des anciennes méthodes

Les anciennes méthodes "Deux Étapes" avaient deux défauts majeurs :

• Elles recopiaient bêtement les images : Au lieu d'utiliser intelligemment ce que le gardien de parking avait déjà vu, elles prenaient des photos de la voiture, les recoupaient, et les analysaient à nouveau. C'était comme demander à quelqu'un de lire un livre, puis de le réécrire à la main avant de le lire à nouveau. C'est du gaspillage d'énergie et cela perd des détails importants.
• Elles utilisaient une "boussole" rigide : Pour trouver la bonne voiture, elles utilisaient une boussole préfabriquée (appelée CLIP) qui fonctionnait bien pour des choses simples, mais qui se perdait dès qu'il fallait comprendre des nuances complexes comme "la voiture qui tourne". C'était comme essayer de naviguer dans une ville inconnue avec une carte de 1990.

2. La solution FlexHook : Le "Hameçon Intelligent"

Les auteurs ont créé FlexHook, qui agit comme un hameçon de pêcheur intelligent qui s'accroche directement au flux d'information sans rien casser.

A. Le "C-Hook" (Le Hameçon de Conditionnement)

Imaginez que le gardien de parking a un flux vidéo en direct.

• L'ancienne méthode : Elle prenait une photo de la voiture, la sortait du flux, et la regardait séparément.
• FlexHook (C-Hook) : Il passe simplement sa main dans le flux vidéo (comme un hameçon) pour prélever exactement les pixels dont il a besoin, sans arrêter le flux.
  • De plus, il ajoute un "condiment" linguistique. Si vous dites "la voiture rouge", le hameçon sait qu'il doit chercher la couleur rouge pendant qu'il prélève l'image. Il ne regarde pas juste la forme, il regarde la forme en tenant compte de la couleur. C'est comme si le gardien de parking écoutait votre description tout en regardant la rue.

B. Le "PCD" (Le Décodage Actif)

Au lieu d'utiliser la vieille boussole rigide (CLIP) pour comparer "voiture" et "phrase", FlexHook utilise un juge de paix dynamique.

• L'ancienne méthode : Elle comparait la voiture et la phrase avec une règle fixe. Si ça ne collait pas parfaitement, c'était raté.
• FlexHook (PCD) : C'est comme un détective qui pose des questions. "Est-ce que cette voiture correspond à 'la voiture rouge' ?" Le détective apprend à faire cette comparaison lui-même, en regardant les paires (voiture + phrase) et en apprenant quelles différences sont importantes. Il n'a plus besoin de la vieille boussole ; il apprend à comprendre le contexte lui-même.

3. Pourquoi c'est génial ?

• Économie d'énergie : Comme FlexHook n'a pas besoin de tout réapprendre ou de tout recalculer, il est beaucoup plus rapide et moins cher à entraîner.
• Flexibilité : Vous pouvez changer le gardien de parking (le détecteur) ou le traducteur (le texte) sans casser le système. C'est comme changer les pneus d'une voiture sans devoir changer le moteur.
• Résultats : Même si c'est une méthode "Deux Étapes" (qui était considérée comme inférieure), FlexHook bat désormais les méthodes "Tout-en-un" les plus avancées sur plusieurs tests.

En résumé

FlexHook a pris une méthode de suivi qui semblait dépassée et lui a donné une nouvelle vie. Au lieu de construire une usine géante et coûteuse (méthode "Tout-en-un"), ils ont pris une petite équipe agile (méthode "Deux Étapes"), lui ont donné des outils de précision (le Hameçon et le Juge Actif), et ont prouvé qu'elle pouvait faire mieux que tout le monde, tout en coûtant moins cher et en étant plus facile à améliorer à l'avenir.

C'est la preuve que parfois, pour aller plus vite, il ne faut pas construire un nouveau moteur, mais simplement apprendre à mieux utiliser celui qu'on a déjà !

Résumé technique

1. Problématique

Le Suivi Multi-Objet Référencé (RMOT) vise à suivre plusieurs objets spécifiques dans une vidéo en se basant sur des expressions en langage naturel. Bien que les méthodes en une seule étape (One-Stage) aient récemment dominé le domaine grâce à leur optimisation conjointe, la méthode en deux étapes (Two-Stage Referring-by-Tracking ou RBT) reste pertinente pour son faible coût d'entraînement et sa flexibilité de déploiement incrémental.

Cependant, les approches RBT existantes (comme iKUN) souffrent de deux limitations fondamentales qui ont entraîné un retard de performance par rapport aux méthodes One-Stage :

1. Construction de caractéristiques trop heuristique : Les méthodes actuelles reconstruisent souvent les caractéristiques des objets en encodant à la fois l'image complète et les patches découpés via un encodeur partagé. Cela duplique inutilement le calcul du backbone visuel pré-entraîné et ignore le flux de gradient spatial continu déjà présent dans ces backbones. De plus, elles utilisent un modèle de caractéristiques "agnostique au langage", incapable d'adapter l'attention aux types d'expressions (positionnelles, directionnelles, etc.).
2. Modélisation de la correspondance fragile : L'appariement entre l'expression textuelle et l'objet visuel repose principalement sur la similarité cosinus dans l'espace pré-entraîné de CLIP. Cette dépendance limite la flexibilité du modèle, car elle ne peut pas apprendre au-delà de l'espace d'alignement de CLIP, surtout lorsque des modules supplémentaires ou des backbones denses sont introduits.

2. Méthodologie : FlexHook

Les auteurs proposent FlexHook, un nouveau cadre RBT en deux étapes qui réinvente la construction des caractéristiques et le décodage de la correspondance. Le nom fait référence à une fonction "hook" en programmation, permettant d'injecter des fonctionnalités directement dans le flux de données existant.

Le framework se compose de trois modules principaux :

A. Conditioning Hook (C-Hook)

Ce module redéfinit la construction des caractéristiques en évitant l'encodage redondant :

• Échantillonnage sur grille voisine (Neighboring Grid Sampling) : Au lieu d'encodage dual, C-Hook échantillonne directement les caractéristiques visuelles du backbone pré-entraîné à l'aide de coordonnées de boîtes de détection. Pour combler l'écart entre l'entraînement (trajectoires vérité terrain) et l'inférence (trajectoires estimées par un tracker externe), une augmentation stochastique est appliquée (bruit gaussien, segments fragmentés, échanges d'identité) pour simuler le bruit du suivi.
• Amélioration conditionnelle (Conditioning Enhancement) : Pour intégrer les indices linguistiques, le modèle apprend des points de référence conditionnés par le langage. Ces points sont générés via un mécanisme d'attention croisée entre des vecteurs de requête apprenables et les caractéristiques textuelles. Cela permet au modèle d'adapter dynamiquement les zones d'attention visuelles en fonction de l'expression (ex: "à gauche" vs "en rouge").

B. Intégration Temporelle (Temporal Integration)

Pour gérer les expressions de mouvement (ex: "voitures tournant à gauche"), FlexHook ne se contente pas d'un pooling temporel simple. Il concatène les caractéristiques multi-images avec les déplacements des grilles de coordonnées (flux optique implicite) pour créer des caractéristiques de mouvement enrichies avant de les compresser via un MLP.

C. Décodeur de Correspondance par Paires (Pairwise Correspondence Decoder - PCD)

Pour remplacer la métrique statique de similarité cosinus de CLIP, les auteurs introduisent le PCD :

• Il traite l'appariement comme un problème de discrimination par paires apprenable.
• Il utilise une attention croisée masquée où des requêtes apprenables examinent simultanément les caractéristiques de la trajectoire, les caractéristiques de référence et les caractéristiques linguistiques.
• Cela transforme une comparaison passive en une modélisation active de la correspondance, éliminant la dépendance à l'espace d'alignement pré-entraîné de CLIP.

3. Contributions Clés

1. Redéfinition de la construction de caractéristiques : Introduction du C-Hook qui restaure le flux de gradient contextuel original du backbone visuel via une stratégie d'échantillonnage, évitant ainsi le recalcul inutile.
2. Désentanglement adaptatif : Incorporation de points de référence conditionnés par le langage pour extraire des indices linguistiques et gérer des expressions complexes.
3. Décodage actif de la correspondance : Proposition du PCD qui remplace la similarité cosinus statique par une discrimination par paires apprenable, supprimant la contrainte de CLIP.
4. Performance record : FlexHook est la première approche RBT en deux étapes à surpasser de manière significative les méthodes One-Stage actuelles (SOTA) sur plusieurs benchmarks.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre benchmarks : Refer-KITTI, Refer-KITTI-V2, Refer-Dance et LaMOT.

• Performance globale : FlexHook devient la méthode RBT en deux étapes la plus performante. Sur Refer-KITTI-V2, la version "FlexHook-best" (avec RoBERTa et Swin-T) atteint un score HOTA de 42,53, surpassant largement le précédent SOTA en deux étapes (iKUN à 10,32) et se comparant favorablement aux méthodes One-Stage (TempRMOT à 35,04).
• Robustesse aux trackers : Le modèle démontre une forte robustesse face à différents trackers et détecteurs, même avec des combinaisons plus faibles (ex: D-DETR & StrongSORT), tout en maintenant des performances élevées.
• Efficacité : Grâce à l'élimination de l'encodage redondant et au traitement parallèle du PCD, FlexHook offre la vitesse d'inférence la plus rapide parmi les méthodes comparées. Le temps d'entraînement total est également réduit, ce qui est crucial pour les déploiements incrémentaux.
• Ablation : Les études montrent que chaque composant (C-Hook, PCD, Intégration Temporelle) apporte une amélioration significative. Le PCD fonctionne bien même avec des encodeurs non alignés, prouvant sa capacité à remplacer la similarité cosinus.

5. Signification et Impact

Ce travail remet en question le déclin de la paradigme "Two-Stage" en RMOT. En démontrant que les limitations des approches précédentes étaient dues à une conception sous-optimale plutôt qu'au paradigme lui-même, FlexHook "rend fort à nouveau" (Make it Strong Again) les méthodes en deux étapes.

L'impact principal réside dans la démonstration qu'il est possible d'atteindre des performances SOTA tout en conservant les avantages pratiques des méthodes en deux étapes : coût d'entraînement réduit, flexibilité de déploiement incrémental et indépendance vis-à-vis de l'optimisation conjointe complexe. Cela ouvre la voie à des systèmes de suivi plus adaptables et économiquement viables pour des applications réelles.