💻 computer science

Multi-Modal Guided Multi-Source Domain Adaptation for Object Detection

Ce papier propose MS-DePro, un cadre novateur d'adaptation de domaine multi-source pour la détection d'objets qui exploite des cartes de profondeur et des invites textuelles pour générer des propositions de régions indépendantes du domaine et aligner des plongements textuels apprenables, atteignant ainsi des performances de pointe sur les benchmarks MSDA.

Auteurs originaux : Sangin Lee, Seokjun Kwon, Jeongmin Shin, Namil Kim, Yukyung Choi

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sangin Lee, Seokjun Kwon, Jeongmin Shin, Namil Kim, Yukyung Choi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formiez un agent de sécurité à repérer des personnes spécifiques dans une foule.

Le Problème : Le Piège du « Taille Unique »
Habituellement, vous entraînez cet agent en utilisant des photos prises en plein jour (Domaine Source 1) et peut-être quelques photos prises la nuit (Domaine Source 2). Vous souhaitez que l'agent fonctionne parfaitement dans un nouvel environnement, jamais vu auparavant, comme un matin brumeux ou une rue sous la pluie (Domaine Cible).

Le problème est que si vous mélangez simplement les photos de jour et de nuit en disant : « Apprenez de toutes ces images », l'agent se perd. Les photos de jour ont des couleurs vives et des ombres nettes ; les photos de nuit sont sombres et granuleuses. L'agent tente de trouver un « juste milieu » qui n'existe pas vraiment, ou pire, il se laisse distraire par l'éclairage spécifique des photos d'entraînement et échoue lorsque les conditions météorologiques changent. C'est ce qu'on appelle le problème du Décalage de Domaine.

L'Ancienne Solution : Tenter d'« Oublier » les Détails
Les méthodes précédentes tentaient de résoudre ce problème en forçant l'agent à ignorer les détails spécifiques (comme la couleur du ciel ou la texture de la route) et à se concentrer uniquement sur la « forme » des personnes. Elles procédaient en organisant un jeu où l'agent devait faire semblant de ne pas savoir de quelle source provenait chaque photo. Cependant, l'article soutient que cela revient à essayer d'apprendre la forme d'une voiture en fixant une photo floue et lavée. Il est difficile de séparer la « forme » de l'« éclairage » lorsque vous n'avez qu'un seul type d'image (photos RVB/standard).

La Nouvelle Solution : MS-DePro (Le Détective « Profondeur et Texte »)
Les auteurs proposent un nouveau système appelé MS-DePro. Au lieu de se contenter d'examiner des photos standard, ils fournissent à l'agent deux outils supplémentaires pour l'aider à mieux comprendre le monde, indépendamment de la météo ou de l'éclairage :

La « Carte de Profondeur » (Le Plan 3D) :
- L'Analogie : Imaginez regarder une photo d'une voiture. Sur une photo, une voiture rouge et une voiture bleue semblent très différentes. Mais si vous regardez une carte de profondeur (une image noir et blanc montrant la distance des objets), les deux voitures apparaissent comme ayant la même forme 3D. Un arbre reste un arbre, et une voiture reste une voiture, qu'il fasse jour, nuit ou qu'il pleuve.
- Comment cela aide : Le système utilise un outil spécial pour générer ces cartes de profondeur à partir des photos pendant l'entraînement. Il utilise ces cartes pour déterminer où se trouvent les objets (localisation). Parce que la profondeur concerne la géométrie et non la couleur, elle ne se laisse pas troubler par le soleil ou la pluie. Elle indique à l'agent : « Hé, il y a un objet solide juste ici », même si la photo est sombre.
Le « Prompt Textuel » (L'Étiquette Intelligente) :
- L'Analogie : Imaginez que l'agent possède un carnet de notes. Au lieu de se contenter de regarder l'image, l'agent lit une étiquette comme « Une personne ».
- Comment cela aide : Le système décompose cette étiquette en deux parties :
  - La Partie Universelle : « Une personne » est toujours une personne, qu'elle soit dans un livre de bandes dessinées ou sur une photo réelle. Le système utilise la Carte de Profondeur pour renforcer cette vérité universelle.
  - La Partie Spécifique : « Une personne dans un manteau sous la pluie » est spécifique à la météo. Le système utilise la Photo pour apprendre ces détails spécifiques.
- En séparant ces deux éléments, l'agent apprend le concept fondamental de « personne » (qui ne change jamais) tout en s'adaptant à l'apparence spécifique de la scène actuelle.

Fonctionnement en Pratique
Pendant la phase d'entraînement (la phase d'« apprentissage »), le système utilise les photos, les cartes de profondeur générées et les étiquettes textuelles conjointement. C'est comme si l'agent étudiait avec un modèle 3D et un dictionnaire.

Cependant, une fois l'entraînement terminé et que l'agent se met au travail (la phase d'« inférence »), les cartes de profondeur ne sont plus nécessaires. L'agent a déjà appris les formes 3D et les concepts universels. Il peut maintenant regarder une nouvelle photo brumeuse et dire : « C'est une voiture », car il a appris la forme d'une voiture à partir des cartes de profondeur et le concept d'une voiture à partir du texte, et non pas simplement la couleur de la voiture sur les photos d'entraînement.

Les Résultats
L'article affirme que cette méthode est la meilleure à ce jour (State-of-the-Art).

Elle surpasse les autres méthodes qui tentent de mélanger différentes sources de photos.
Elle fonctionne mieux lors du passage du jour à la nuit, ou des photos réelles aux images générées par ordinateur.
Elle fonctionne même bien dans des conditions météorologiques « invisibles » (comme de fortes pluies ou du brouillard) sur lesquelles elle n'a jamais été explicitement entraînée, prouvant qu'elle a appris la véritable « forme » des objets plutôt que de simplement mémoriser l'éclairage.

En Résumé
Au lieu d'essayer de forcer un ordinateur à ignorer les différences entre les photos de jour et de nuit, cette nouvelle méthode fournit à l'ordinateur un plan 3D (profondeur) et une description intelligente (texte) pour comprendre ce que les objets sont vraiment. Cela permet à l'ordinateur de reconnaître des objets dans n'importe quelle condition météorologique ou d'éclairage, tout comme un humain qui comprend qu'une voiture reste une voiture, qu'il fasse soleil, qu'il pleuve ou qu'il fasse sombre.

Résumé Technique : Adaptation de Domaine Multi-Source Guidée Multi-Modale pour la Détection d'Objets

1. Énoncé du Problème

Les modèles généraux de détection d'objets (OD) échouent souvent lorsqu'ils sont déployés dans des domaines cibles qui diffèrent de leurs domaines sources d'entraînement en raison de décalages de domaine causés par des facteurs tels que l'heure de la journée, le style (réel vs synthétique) et les artefacts de caméra. Bien que les méthodes d'Adaptation de Domaine Non Supervisée (UDA) aient abordé les scénarios à source unique, elles peinent lorsque plusieurs domaines sources sont disponibles. Le mélange naïf de multiples sources pour l'UDA à source unique sous-performe souvent même une source unique en raison des divergences entre les sources.

Les méthodes existantes d'Adaptation de Domaine Multi-Source (MSDA) tentent d'atténuer ce problème en traitant les domaines sources séparément, en employant typiquement un réseau agnostique au domaine (utilisant des couches de réversion de gradient) et un réseau spécifique au domaine. Cependant, ces méthodes souffrent d'une limitation fondamentale : elles tentent d'apprendre des caractéristiques agnostiques au domaine uniquement à partir d'images RVB spécifiques au domaine en supprimant les indices spécifiques au domaine. Cela crée un conflit d'entraînement où le modèle doit simultanément supprimer et encoder des informations spécifiques au domaine à partir de la même entrée, entraînant des difficultés d'optimisation et une convergence lente. De plus, les caractéristiques RVB sont intrinsèquement sensibles aux variations d'éclairage, de couleur et de texture, ce qui en fait une source contrainte pour une véritable représentation agnostique au domaine.

2. Méthodologie : MS-DePro

Pour répondre à ces limitations, les auteurs proposent MS-DePro (Détecteur Multi-Source avec Profondeur et Prompt). La philosophie centrale est de désenchevêtrer explicitement les caractéristiques spécifiques au domaine et agnostiques au domaine en exploitant des modalités d'entrée supplémentaires, intrinsèquement invariantes : les cartes de profondeur et le texte.

Le cadre suit une architecture Mean-Teacher, utilisant un étudiant multi-source étiqueté et un enseignant cible non étiqueté. Il comprend deux composants principaux :

A. Localisation Guidée par la Profondeur

Reconnaissant que les cartes de profondeur fournissent des représentations cohérentes de la forme et de la structure des objets indépendamment de l'éclairage ou de la texture, les auteurs les utilisent pour guider la localisation des objets.

Mécanisme : Pendant l'entraînement, un modèle d'estimation de profondeur monoculaire prêt à l'emploi génère des cartes de profondeur relatives à partir des images RVB d'entrée.
Architecture : Le système emploie des backbones découplés et des réseaux de proposition de régions (RPN) pour le RVB ( $BB_R, RPN_R$ ) et la Profondeur ( $BB_D, RPN_D$ ).
Intégration : Les propositions de régions issues de la branche de profondeur ( $p_D$ ) sont projetées sur la carte de caractéristiques RVB. Le système agrège les propositions des deux modalités, sélectionnant les top- $k$ basés sur les logits d'objectité. Cela permet au modèle de capturer des régions manquées par le RVB seul et de filtrer les propositions erronées.
Inférence : La branche de profondeur est utilisée exclusivement pendant l'entraînement pour générer des pseudo-étiquettes et affiner la localisation de l'étudiant. À l'inférence, la branche de profondeur est supprimée et la détection est effectuée en utilisant uniquement le réseau RVB, n'engendrant aucune latence supplémentaire.

B. Apprentissage de Prompt Guidé Multi-Modale

Les auteurs exploitent la cohérence sémantique de haut niveau du texte pour encoder des connaissances agnostiques au domaine tout en utilisant des caractéristiques RVB pour l'adaptation spécifique au domaine.

Décomposition du Prompt : Le prompt textuel apprenable est décomposé en deux ensembles de jetons :
1. Jetons Agnostiques au Domaine ( $v_m$ ) : Enrichis avec des caractéristiques issues de cartes de profondeur peu profondes ( $\hat{F}_D$ ) via un Réseau Agnostique au Domaine (DA-Net). Ces jetons capturent des caractéristiques géométriques et structurelles partagées à travers les domaines.
2. Jetons Spécifiques au Domaine ( $d_m$ ) : Enrichis avec des caractéristiques issues de cartes RVB peu profondes ( $\hat{F}_R$ ) via un Réseau Spécifique au Domaine (DS-Net). Ces jetons capturent des indices de style et d'apparence spécifiques à chaque domaine.
Tampons de Jetons : Puisque les cartes de profondeur ne sont pas disponibles à l'inférence, le jeton Agnostique au Domaine ( $\pi_{DA}$ ) et le jeton Spécifique au Domaine ( $\pi_{DS}$ ) sont pré-calculés et stockés dans des tampons pendant l'entraînement en utilisant une Moyenne Mobile Exponentielle (EMA). Ces tampons remplacent la génération dynamique de jetons pendant l'inférence, permettant au modèle d'utiliser un prompt textuel statique et optimisé sans surcharge de calcul.
Classification : Le prompt textuel final combine ces jetons avec les noms de classes (par exemple, [v1]...[vM1][d1]...[dM2][CLS]) pour s'aligner avec les embeddings d'objets pour la classification.

3. Contributions Clés

Cadre Novel : Introduction de MS-DePro, le premier cadre MSDA pour la détection d'objets qui exploite explicitement des modalités auxiliaires (profondeur et texte) pour encoder des représentations invariantes au domaine, contournant ainsi le besoin d'apprentissage adversarial pour supprimer les indices spécifiques au domaine.
Localisation Guidée par la Profondeur : Une méthode qui utilise les cartes de profondeur pour générer des propositions de régions complémentaires, améliorant la robustesse de la localisation face aux décalages de domaine dans la texture et l'éclairage.
Apprentissage de Prompt Guidé Multi-Modale : Une approche structurée d'apprentissage de prompt qui sépare explicitement les connaissances agnostiques au domaine (guidées par la profondeur) et spécifiques au domaine (guidées par le RVB) au sein d'embeddings textuels apprenables.
Performances de l'État de l'Art : Expériences complètes démontrant que MS-DePro atteint des performances supérieures sur les benchmarks MSDA par rapport aux méthodes existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué MS-DePro sur des benchmarks MSDA standards et ont étendu l'évaluation à la Généralisation de Domaine Multi-Source (MSDG).

Benchmarks MSDA :
- Adaptation Trans-Temporelle (BDD100K) : MS-DePro a atteint 53,7 mAP, surpassant l'ancien SOTA (ACIA) de 5,8 mAP. Notamment, il a dépassé la baseline "Oracle All-combined" (entraîné sur les données sources et cibles étiquetées) de 2,9 mAP.
- Adaptation Trans-Caméra (Cityscapes/KITTI) : MS-DePro a atteint 68,4 mAP, une amélioration de 9,3 mAP par rapport à ACIA.
- Adaptation Multi-Domaine : Dans des configurations combinant Cityscapes, MS-COCO et Synscapes, MS-DePro a surpassé l'ancien SOTA de 2,9 à 4,4 mAP selon le nombre de domaines sources.
Généralisation de Domaine (MSDG) :
- Météo Diversifiée : MS-DePro a atteint la mAP moyenne la plus élevée sur des domaines de météo non vus (mPC), surpassant des méthodes comme PDOC et CLIP-Gap.
- Réel vers Artistique : Le modèle a démontré une forte généralisation des jeux de données réels vers des styles artistiques (Clipart, Comic, Aquarelle), surpassant significativement les bases de généralisation de domaine à source unique.
Études d'Ablation :
- Profondeur vs RVB : Les visualisations t-SNE ont confirmé que les caractéristiques de profondeur forment un seul cluster cohérent à travers les domaines, tandis que les caractéristiques RVB sont dispersées.
- Synergie des Composants : La suppression de la localisation guidée par la profondeur ou de l'apprentissage de prompt multi-modal a entraîné des baisses de performance significatives, confirmant leur effet synergique.
- Configuration des Jetons : Les meilleures performances ont été obtenues en utilisant des caractéristiques au niveau de l'image pour les jetons agnostiques au domaine et des caractéristiques au niveau des propositions pour les jetons spécifiques au domaine.
- Coût de Calcul : Bien que l'entraînement implique un traitement de profondeur supplémentaire, le coût d'inférence est identique à celui du modèle de base RVB uniquement, car la branche de profondeur est supprimée et les jetons sont pré-calculés.

5. Importance et Limites

L'article affirme que MS-DePro démontre l'efficacité de la désenchevêtrement explicite des caractéristiques spécifiques au domaine et agnostiques au domaine en utilisant des modalités auxiliaires. En s'éloignant du processus "paradoxal" de suppression des indices de domaine à partir d'images RVB, la méthode atteint une adaptation plus robuste. Les résultats suggèrent que l'exploitation d'indices géométriques (profondeur) et sémantiques (texte) au niveau de l'entrée est une stratégie supérieure pour la MSDA par rapport à la dépendance exclusive à l'alignement adversarial.

Limites :
Les auteurs reconnaissent que les cartes de profondeur générées par des modèles d'estimation monoculaire peuvent être bruyantes dans des conditions difficiles telles que le flou de mouvement, l'occlusion sévère, les conditions météorologiques défavorables et la faible luminosité. Dans ces scénarios, la qualité des propositions de régions et la stabilité du jeton Agnostique au Domaine peuvent se dégrader, affectant potentiellement les performances. L'article suggère que l'amélioration de la robustesse de l'estimation de profondeur est une direction pour les travaux futurs.