💻 computer science

Unified Multimodal Visual Tracking with Dual Mixture-of-Experts

L'article présente OneTrackerV2, un cadre unifié de suivi visuel multimodal qui utilise une architecture de Méta-Fusionneur et de Double Mélange d'Experts (DMoE) pour permettre un entraînement de bout en bout efficace à travers diverses modalités, atteignant des performances de pointe sur plusieurs benchmarks tout en maintenant une robustesse et une efficacité d'inférence.

Auteurs originaux : Lingyi Hong, Jinglun Li, Xinyu Zhou, Kaixun Jiang, Pinxue Guo, Zhaoyu Chen, Runze Li, Xingdong Sheng, Wenqiang Zhang

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lingyi Hong, Jinglun Li, Xinyu Zhou, Kaixun Jiang, Pinxue Guo, Zhaoyu Chen, Runze Li, Xingdong Sheng, Wenqiang Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver un chien spécifique dans une vidéo. Parfois, vous n'avez qu'une caméra couleur normale (RVB). D'autres fois, vous pourriez avoir une caméra thermique (voyant la chaleur), une caméra de profondeur (voyant la distance), ou même une description textuelle indiquant « un chien ».

Le problème des anciens trackers
Jusqu'à présent, si vous vouliez suivre ce chien en utilisant différents types de caméras, vous deviez construire un « cerveau » séparé pour chacune d'elles.

Besoin de suivre uniquement avec la couleur ? Construisez un cerveau couleur.
Besoin de suivre avec la chaleur ? Construisez un cerveau thermique.
Besoin de suivre avec la profondeur ? Construisez un cerveau de profondeur.

C'est comme embaucher un spécialiste différent pour chaque outil que vous possédez. C'est coûteux, lent à entraîner, et si vous perdez un outil (par exemple, votre caméra thermique tombe en panne), ce cerveau spécifique devient inutile. Pire encore, si vous essayiez de les combiner en un seul gros cerveau, les informations deviendraient chaotiques, comme essayer d'écouter une symphonie où les tambours et les violons jouent les mêmes notes en même temps : cela crée du bruit et de la confusion.

La solution : OneTrackerV2
Les auteurs présentent OneTrackerV2, un seul et unique « super-cerveau » unifié capable de gérer n'importe quelle combinaison de caméras (ou même une seule) simultanément. Il apprend tout en une seule fois, plutôt que de nécessiter des sessions d'entraînement séparées pour chaque type de caméra.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le « Traducteur Universel » (Meta Merger)

Imaginez que vous avez une équipe de personnes parlant différentes langues (Couleur, Chaleur, Profondeur). Si vous les jetez toutes dans une pièce et que vous leur dites de parler, elles risquent de se couper la parole.

OneTrackerV2 utilise un module appelé Meta Merger. Pensez-y comme un Traducteur Universel ou un Chef d'orchestre.

Il prend les données brutes de n'importe quelles caméras dont vous disposez (même si l'une manque !) et les traduit toutes dans une seule et même langue partagée.
Cela garantit que les données « couleur » et les données « chaleur » peuvent travailler ensemble harmonieusement sans se faire concurrence.
La Magie : Si vous perdez la caméra thermique, le traducteur ne panique pas. Il se concentre simplement sur les données couleur et maintient la conversation. Cela rend le système très robuste.

2. Les « Experts Spécialisés » (Dual Mixture-of-Experts)

Une fois les données traduites, elles sont envoyées à l'unité de traitement principale. Les auteurs ont réalisé que suivre un objet en mouvement nécessite deux compétences très différentes :

Suivi du mouvement : Déterminer où l'objet va (vitesse, direction, temps).
Suivi de l'identité : Déterminer à quoi ressemble l'objet en fonction de son capteur spécifique (est-il chaud ? est-il profond ?).

Si vous mélangez ces deux compétences dans un seul gros cerveau, ils se confondent. Pour corriger cela, OneTrackerV2 utilise un Dual Mixture-of-Experts (DMoE). Imaginez une cuisine de restaurant haut de gamme avec deux stations spécialisées :

Le Chef Mouvement (T-MoE) : Cette station ne se soucie que du mouvement. Elle ignore si la nourriture est chaude ou froide ; elle se concentre uniquement sur la vitesse et la direction des ingrédients.
Le Chef Saveur (M-MoE) : Cette station ne se soucie que de la « saveur » spécifique de l'entrée (le type de capteur). Elle se concentre sur les détails uniques des données thermiques ou de profondeur.

Pourquoi les séparer ?
Dans le passé, un seul grand chef tentait de faire les deux, ce qui entraînait un « conflit de caractéristiques » (confusion). En les séparant, le « Chef Mouvement » devient très bon pour prédire le mouvement, et le « Chef Saveur » devient très bon pour reconnaître les détails spécifiques des capteurs. Ils travaillent côte à côte sans se gêner mutuellement.

3. Le « Gestionnaire Intelligent » (Router Clustering)

Comment le système sait-il quel chef appeler ? Il utilise un Routeur.

Si l'objet se déplace rapidement, le Gestionnaire envoie les données au Chef Mouvement.
Si les données proviennent d'une caméra thermique, le Gestionnaire les envoie au Chef Saveur spécialisé dans la chaleur.
L'article montre que ce Gestionnaire apprend à être très précis : il ne se contente pas de deviner ; il apprend exactement quel « expert » est le meilleur pour quelle situation.

Les Résultats

L'article affirme que ce nouveau système est un changement de paradigme car :

Une seule taille pour tous : Il fonctionne pour 5 types différents de tâches de suivi (Couleur, Couleur+Profondeur, Couleur+Chaleur, etc.) en utilisant exactement le même code et les mêmes paramètres.
Mieux que les spécialistes : Étonnamment, ce cerveau « généraliste » est en réalité meilleur pour le suivi avec seulement la couleur que les anciens cerveaux « spécialistes » conçus uniquement pour la couleur.
Résistant : Si une caméra tombe en panne (modalité manquante), le système continue de fonctionner presque aussi bien qu'avant.
Efficace : Même lorsqu'ils réduisent la taille du modèle pour le rendre plus rapide (compression), il continue de performer incroyablement bien, battant d'autres modèles rapides.

En Résumé
OneTrackerV2 est comme un couteau suisse qui est en réalité meilleur en tant que couteau qu'un couteau de poche dédié, et meilleur en tant que tournevis qu'un tournevis dédié. Il utilise un Traducteur Universel pour nettoyer l'entrée et des Chefs Spécialisés pour gérer le mouvement et l'identité séparément, résultant en un tracker plus rapide, plus intelligent et plus fiable que tout ce qui l'a précédé.

Résumé Technique : OneTrackerV2 – Suivi Visuel Multimodal Unifié avec Double Mélange d'Experts

1. Énoncé du Problème

Le suivi d'objets visuel (VOT) est généralement catégorisé par modalité d'entrée en suivi RGB et suivi RGB+X (incorporant des données de profondeur, thermique, événementielle ou linguistique). Les approches existantes souffrent de limitations significatives en matière d'évolutivité, d'efficacité et de robustesse :

Suiveurs Séparés : Conception et entraînement d'architectures spécifiques à chaque tâche pour chaque combinaison de modalités, entraînant des coûts computationnels élevés et un manque de généralisation.
Suiveurs Basés sur l'Adaptation : Affinage de suiveurs RGB préentraînés pour des tâches multimodales en aval. Cet entraînement multi-étapes entraîne souvent une convergence sous-optimale et repose sur des poids dépendants de la tâche.
Suiveurs Unifiés Préliminaires : Tentative de gérer plusieurs modalités dans un seul modèle, mais reposant souvent sur une concaténation naïve de tokens. Cela conduit à un enchevêtrement de caractéristiques, où des informations hétérogènes (mouvement spatio-temporel vs motifs spécifiques à la modalité) entrent en conflit dans un espace partagé, provoquant une interférence d'optimisation.
Vulnérabilité aux Modalités Manquantes : La plupart des modèles unifiés échouent ou se dégradent considérablement lorsque des modalités d'entrée spécifiques (par exemple, profondeur ou thermique) sont absentes lors de l'inférence, car ils reposent sur des configurations d'entrée fixes.

2. Méthodologie : OneTrackerV2

Les auteurs proposent OneTrackerV2, un cadre unifié conçu pour gérer diverses tâches de suivi multimodal à travers une architecture unique, des paramètres partagés et un entraînement en une seule étape de bout en bout. L'architecture de base se compose de trois composants principaux :

2.1 Meta Merger (Fusionnaire Méta)

Pour relever le défi de l'intégration d'entrées hétérogènes sans enchevêtrement de caractéristiques, les auteurs introduisent le Meta Merger.

Fonction : Il mappe les caractéristiques RGB et les caractéristiques de modalités auxiliaires (par exemple, profondeur, thermique) dans un espace d'embedding unifié en utilisant un embedding méta apprenable ( $F_{meta}$ ).
Mécanisme : Au lieu d'une concaténation directe, l'embedding méta agit comme un médiateur global. Il interagit avec les caractéristiques RGB et auxiliaires améliorées ( $F'_{rgb}$ et $F'_{x}$ ) via des transformations convolutionnelles légères.
Avantage : Cela crée une représentation sémantique compacte et agnostique à la modalité. Crucial, car la fusion est centrée sur l'embedding méta plutôt que sur une concaténation d'entrée fixe, le module reste robuste même lorsque des modalités spécifiques sont absentes.

2.2 Double Mélange d'Experts (DMoE)

Après le Meta Merger, les caractéristiques unifiées sont traitées par un backbone Vision Transformer équipé d'un module Double Mélange d'Experts (DMoE). Contrairement aux conceptions MoE standard qui se concentrent sur un seul objectif, le DMoE découple explicitement deux tâches d'apprentissage distinctes :

T-MoE (Temporal-MoE) : Dédié à la capture de motifs complexes de correspondance spatio-temporelle et d'indices de mouvement.
M-MoE (Multimodal-MoE) : Dédié à la fusion des connaissances multimodales et à la gestion des caractéristiques spécifiques à la modalité.
Expert Partagé : Un expert commun ( $E_{shared}$ ) qui traite les représentations générales.

Mécanismes de Découplage :
Pour empêcher le T-MoE et le M-MoE de s'effondrer en des motifs se chevauchant, les auteurs emploient deux fonctions de perte spécifiques :

Perte de Découplage d'Experts ( $L_{dis}$ ) : Pénalise la similarité cosinus entre les sorties du T-MoE ( $y_T$ ) et du M-MoE ( $y_M$ ), les forçant dans des sous-espaces fonctionnels orthogonaux.
Perte de Cluster du Routeur ( $L_{cluster}$ ) : Impose au routeur du M-MoE de produire des sélections d'experts cohérentes pour les échantillons de la même modalité tout en maintenant un routage discriminatif entre différentes modalités. Cela garantit que le M-MoE apprend des abstractions spécifiques à la modalité plutôt que des caractéristiques génériques.

2.3 Stratégies d'Optimisation

Perturbation Stochastique de Modalité : Pendant l'entraînement, le modèle emploie un remplacement aléatoire de modalité (échange d'entrées RGB et auxiliaires) et un masquage aléatoire de modalité. Cela expose le Meta Merger à des configurations diverses, améliorant la robustesse face aux données manquantes et empêchant la sur-reliance sur des capteurs spécifiques.
Fonction de Perte : L'objectif total combine les pertes de suivi standard (classification, IoU, L1) avec les pertes de découplage et de regroupement proposées.

3. Contributions Clés

Cadre Unifié : Introduction de OneTrackerV2, un cadre unique qui prend en charge diverses tâches de suivi multimodal (RGB, RGB+D, RGB+T, RGB+E, RGB+N) via un entraînement en une étape avec des paramètres partagés, éliminant le besoin d'architectures spécifiques à la tâche ou d'affinage multi-étapes.
Module Meta Merger : Un module novateur qui agrège des caractéristiques hétérogènes dans un espace unifié, permettant une interaction intermodale efficace tout en maintenant la robustesse dans des conditions de modalité manquante.
Double Mélange d'Experts (DMoE) : Une solution structurelle aux conflits d'objectifs hétérogènes qui découple la modélisation des relations spatio-temporelles de l'embedding de caractéristiques multimodales. Cela élargit l'espace de représentation et améliore les performances avec une surcharge computationnelle négligeable.
Évaluation Complète : Démonstration de performances de pointe (SOTA) sur 5 tâches de suivi et 12 benchmarks, incluant une robustesse significative dans les scénarios de modalité manquante et une haute efficacité sous compression de modèle.

4. Résultats Expérimentaux

L'article évalue OneTrackerV2 par rapport à des suiveurs SOTA sur 12 benchmarks :

Suivi RGB : OneTrackerV2 surpasse les suiveurs existants uniquement RGB (par exemple, ODTrack, ARTrackV2) sur des benchmarks comme LaSOT, TrackingNet et GOT-10k, bien qu'entraîné sur un jeu de données multimodal unifié. Cela prouve que la conception unifiée ne compromet pas les performances en modalité unique.
Suivi RGB+X : Sur les benchmarks de suivi par profondeur, thermique, événementiel et linguistique (par exemple, DepthTrack, RGBT234, VisEvent, TNL2K), OneTrackerV2 dépasse les méthodes qui reposent sur des architectures spécifiques à la tâche ou sur un affinage (par exemple, SUTrack, ViPT, STTrack).
Robustesse aux Modalités Manquantes : Dans des scénarios où les modalités auxiliaires sont absentes (par exemple, DepthTrack $_{miss}$ ), OneTrackerV2 surpasse considérablement les méthodes unifiées antérieures (par exemple, SUTrack, SeqTrackv2), validant l'efficacité du Meta Merger et de l'entraînement stochastique.
Efficacité et Compression : Le modèle maintient des vitesses d'inférence élevées (jusqu'à 72,4 FPS pour la variante B224). Lorsqu'il est compressé en une variante à 6 couches, il conserve de solides performances (seulement ~2% de baisse) tout en atteignant 159 FPS, surpassant les bases compressées comme SuTrack-T224 à la fois en vitesse et en précision.

5. Signification et Revendications

Les auteurs affirment que OneTrackerV2 représente un changement de paradigme dans le suivi multimodal en démontrant que l'évolutivité, la robustesse et la généralisation peuvent être atteintes sans sacrifier l'efficacité ou la précision.

Entraînement Unifié : L'article soutient qu'un processus d'entraînement en une seule étape avec une architecture partagée est supérieur à l'affinage multi-étapes, qui conduit souvent à une convergence sous-optimale.
Apprentissage Découplé : En séparant explicitement la modélisation du mouvement (T-MoE) de la fusion de modalité (M-MoE), le cadre résout le « conflit de caractéristiques » inhérent aux modèles unifiés naïfs, permettant au modèle d'apprendre des caractéristiques distinctes et complémentaires.
Robustesse Pratique : Le cadre est souligné comme particulièrement significatif pour les applications réelles où la disponibilité des capteurs peut varier (par exemple, une caméra thermique défaillante), car il maintient les performances sans nécessiter de changements d'architecture ou de réentraînement.

Les auteurs concluent que OneTrackerV2 établit une nouvelle norme pour le suivi multimodal unifié, offrant une solution évolutive qui équilibre haute précision, efficacité d'inférence et résilience face aux variations d'entrée.