CD-FKD: Cross-Domain Feature Knowledge Distillation for Robust Single-Domain Generalization in Object Detection

Ce papier propose CD-FKD, une méthode de distillation de connaissances par transfert de caractéristiques croisées qui améliore la généralisation et la robustesse de la détection d'objets face aux changements de domaine en utilisant un réseau étudiant entraîné sur des données diversifiées pour imiter un réseau enseignant sur des données originales.

L'essentiel

🚗 Le Problème : L'IA qui perd ses lunettes

Imaginez que vous apprenez à conduire une voiture autonome. Vous passez des mois à vous entraîner sur une route parfaite, ensoleillée et claire (c'est le domaine source). Votre "cerveau" d'IA devient un expert : il reconnaît les piétons, les bus et les voitures instantanément.

Mais soudain, vous devez conduire :

• La nuit, sans réverbères.
• Sous une pluie battante.
• Dans un brouillard épais.

C'est ce qu'on appelle un changement de domaine. Pour l'IA, c'est comme si vous lui aviez soudainement mis des lunettes sales, embuées ou qu'elle regardait le monde à travers un verre dépoli. Les modèles classiques, qui ont appris uniquement sur la route parfaite, paniquent et ne voient plus rien. Ils confondent un piéton avec un poteau ou ne voient pas du tout un camion.

💡 La Solution : CD-FKD (L'entraîneur et l'élève)

Les chercheurs (Junseok Lee et son équipe) ont inventé une méthode appelée CD-FKD. Pour comprendre comment ça marche, imaginons une relation entre un Professeur (le réseau "enseignant") et un Étudiant (le réseau "élève").

1. Le Professeur (La vision claire)

Le Professeur regarde l'image originale, nette et haute définition. Il voit tout parfaitement, même les petits détails. Il sait exactement où est le bus, même s'il est loin.

2. L'Étudiant (La vision brouillée)

L'Étudiant, lui, reçoit une version abîmée de la même image.

• L'image est réduite (comme si on regardait à travers un trou de serrure).
• L'image est salie (pluie, flou, bruit, comme si on avait jeté de la farine sur l'écran).

C'est très difficile pour l'Étudiant de reconnaître quoi que ce soit dans ce chaos.

3. La Magie : La "Distillation de Connaissances"

Au lieu de laisser l'Étudiant se débrouiller seul, le Professeur lui dit : "Regarde, je vois un bus ici. Même si toi tu ne vois qu'une tache floue, tu dois apprendre à deviner que c'est un bus en regardant les indices que je te donne."

C'est ce qu'on appelle la distillation de connaissances. L'Étudiant ne copie pas juste la réponse, il essaie de penser comme le Professeur.

🎨 Les Deux Super-Pouvoirs de la Méthode

Pour que l'Étudiant apprenne vraiment, le système utilise deux techniques spéciales, comme deux exercices de gymnastique pour le cerveau :

A. La Distillation Globale (Voir la forêt)

Imaginez que vous devez reconnaître une personne dans une foule sous la pluie. Si vous vous concentrez uniquement sur le visage (qui est flou), vous allez échouer.
La distillation globale apprend à l'Étudiant à regarder l'ensemble de la scène. Il apprend à comprendre le contexte : "Ah, il y a une route, des lampadaires, et une forme humaine." Cela l'aide à ne pas se perdre dans le bruit de fond.

B. La Distillation "Objet par Objet" (Voir l'arbre)

Parfois, le contexte ne suffit pas. Il faut se concentrer sur l'objet précis.
La distillation par instance dit à l'Étudiant : "Oublie le reste de l'image, concentre-toi uniquement sur cette voiture spécifique. Regarde comment le Professeur la voit, même si elle est petite et floue."
C'est comme si le Professeur dessinait un cercle rouge autour de l'objet pour dire : "C'est ça, le but. Apprends à le reconnaître même quand il est caché."

🏆 Le Résultat : Un détective inébranlable

Grâce à cet entraînement intensif :

1. L'Étudiant devient un expert du chaos : Il est capable de détecter des objets même dans des conditions terribles (nuit, pluie, brouillard).
2. Il ne perd pas ses repères : Contrairement à d'autres méthodes qui améliorent la vision sous la pluie mais oublient comment voir par temps clair, cette méthode garde l'Étudiant performant même sur la route parfaite.

En résumé :
Au lieu d'entraîner une IA sur des milliers de routes différentes (ce qui coûte cher et prend du temps), les chercheurs ont pris une seule route parfaite et ont créé des milliers de versions "abîmées" pour l'entraîner. L'IA apprend ainsi à être robuste : elle ne panique plus quand le temps se gâte.

C'est comme entraîner un pilote de course non seulement sur un circuit sec, mais aussi en le forçant à conduire avec des pneus lisses, sous une averse, et avec un pare-brise sale. Une fois sur la piste, il sera invincible, peu importe la météo ! 🌧️🚗✨

Résumé technique

1. Problématique

La détection d'objets basée sur l'apprentissage profond excelle lorsque les données d'entraînement et de test proviennent de la même distribution (domaine). Cependant, dans des scénarios réels (conduite autonome, surveillance), des décalages de domaine (domain shifts) surviennent fréquemment en raison de changements de conditions environnementales (météo, éclairage, heure de la journée). Ces variations dégradent considérablement les performances des modèles entraînés.

Bien que l'adaptation de domaine non supervisée (UDA) et la généralisation de domaine (DG) existent, elles présentent des limites :

• UDA nécessite l'accès aux données du domaine cible, ce qui est souvent impossible.
• DG classique nécessite généralement plusieurs domaines sources, ce qui est coûteux et complexe à collecter.

L'objectif est donc d'atteindre une Généralisation à Domaine Unique (Single-Domain Generalization - SDG) : entraîner un modèle sur un seul domaine source (ex: jour clair) pour qu'il fonctionne robustement sur des domaines cibles invisibles (ex: nuit, pluie, brouillard), sans accès aux données cibles ni à d'autres sources. Les méthodes existantes (augmentation de données, disentanglement) souffrent souvent d'une perte de performance sur le domaine source ou d'une incapacité à comprendre le contexte global de l'image.

2. Méthodologie : CD-FKD

Les auteurs proposent CD-FKD (Cross-Domain Feature Knowledge Distillation), une méthode novatrice de distillation de connaissances conçue spécifiquement pour la détection d'objets en SDG. Le cadre repose sur deux piliers principaux :

A. Architecture à Double Flux (Teacher-Student)

Le système utilise une structure de distillation auto-supervisée avec deux réseaux identiques (basés sur Faster R-CNN avec ResNet-101) :

• Réseau Enseignant (Teacher) : Reçoit les données du domaine source originales, claires et haute résolution. Ses paramètres sont figés pendant l'entraînement de l'étudiant.
• Réseau Étudiant (Student) : Reçoit des données du domaine source diversifiées. Ces données sont générées en appliquant des techniques de réduction d'échelle (downscaling) et de corruption (bruit, flou, compression, etc.) aux images originales.

L'idée centrale est que l'étudiant doit apprendre à extraire des caractéristiques robustes à partir d'images dégradées en imitant les caractéristiques extraites par l'enseignant à partir d'images propres.

B. Pertes de Distillation de Caractéristiques

Pour guider l'apprentissage de l'étudiant, CD-FKD introduit deux types de pertes de distillation :

1. Distillation de Caractéristiques Globales ($L_{global}$) :

   • Objectif : Apprendre le contexte global de l'image.
   • Mécanisme : Alignement des cartes de caractéristiques du backbone (couche finale) entre l'enseignant et l'étudiant. Les caractéristiques de l'étudiant (sur image dégradée) sont redimensionnées (interpolation bilinéaire) pour correspondre à celles de l'enseignant.
   • Calcul : Une perte de similarité cosinus est appliquée pour maximiser la similarité entre les embeddings globaux, forçant l'étudiant à comprendre la structure globale de la scène malgré le bruit.

2. Distillation de Caractéristiques par Instance ($L_{instance}$) :

   • Objectif : Se concentrer sur les objets spécifiques (features object-centric) et ignorer le bruit de fond.
   • Mécanisme : Utilisation de la technique RoI Align sur les boîtes englobantes de vérité terrain (Ground Truth) pour extraire les caractéristiques de chaque instance (objet) individuellement.
   • Calcul : Une perte de similarité cosinus est calculée entre les caractéristiques de chaque objet détecté par l'enseignant et l'étudiant. Cela permet à l'étudiant d'apprendre à reconnaître les objets même lorsqu'ils sont petits, flous ou partiellement occlus.

Fonction de perte totale :
$$L_{total} = L_{det} + \alpha L_{global} + \beta L_{instance}$$
Où $L_{det}$ est la perte standard de détection (localisation et classification), et $\alpha, \beta$ sont des hyperparamètres d'équilibrage.

3. Contributions Clés

• Nouvelle méthode CD-FKD : Une approche de distillation croisée de caractéristiques conçue pour la généralisation à domaine unique, évitant le besoin de multiples domaines sources.
• Stratégie de diversification des données : Utilisation combinée de réductions d'échelle et de 15 types de corruptions (basées sur ImageNet-C) pour simuler des conditions difficiles et forcer l'apprentissage de caractéristiques invariantes.
• Distillation double niveau : Séparation explicite de l'apprentissage en contexte global et en caractéristiques par instance, permettant de maintenir la performance sur le domaine source tout en améliorant la robustesse sur les domaines cibles.
• Validation empirique : Démonstration que la méthode améliore la détection d'objets dans des conditions extrêmes (nuit, pluie, brouillard) sans sacrifier la précision sur le domaine d'entraînement.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données de référence pour la SDG (diverses conditions météorologiques urbaines), avec "Daytime-Clear" comme domaine source et quatre domaines cibles (Nuit Claire, Crépuscule Pluvieux, Nuit Pluvieuse, Jour Brumeux).

• Performance Globale : CD-FKD atteint un mAP moyen de 38,3 % sur les domaines cibles, surpassant l'état de l'art (SOTA) précédent (DivAlign) de 2,8 % et le modèle de base Faster R-CNN de 11,1 %.
• Performance sur le Domaine Source : Contrairement à certaines méthodes d'augmentation qui dégradent les performances sur le domaine source, CD-FKD améliore également la détection sur le domaine source (mAP de 62,7 % contre 54,9 % pour le baseline).
• Résultats par Scène :
  • Nuit Claire : 47,3 % mAP (meilleure performance sur 6 catégories sur 7).
  • Crépuscule Pluvieux : 42,3 % mAP (amélioration significative sur les objets petits comme les vélos et piétons).
  • Nuit Pluvieuse : 23,4 % mAP (le scénario le plus difficile, où la méthode surpasse nettement les concurrents).
  • Jour Brumeux : 40,2 % mAP.
• Études Ablatives :
  • L'ajout de la corruption et du downscaling seul améliore déjà les résultats.
  • L'ajout de la distillation globale ($L_{global}$) et par instance ($L_{instance}$) apporte des gains supplémentaires significatifs.
  • La visualisation par cartes de chaleur (Heatmaps) montre que CD-FKD se concentre davantage sur les objets et moins sur le bruit de fond par rapport aux modèles de base.

5. Signification et Impact

L'article CD-FKD apporte une solution pratique et efficace au problème de la généralisation des modèles de détection d'objets dans des environnements réels imprévisibles.

• Applications Réelles : La méthode est particulièrement pertinente pour la conduite autonome et la surveillance, où les systèmes doivent fonctionner de manière fiable par tous les temps et à toutes les heures, souvent sans accès à des données annotées de ces nouvelles conditions.
• Efficacité Coût-Bénéfice : En ne nécessitant qu'un seul domaine source, la méthode réduit considérablement les coûts de collecte de données et de complexité d'entraînement par rapport aux approches DG traditionnelles.
• Robustesse : Elle démontre qu'il est possible d'entraîner des modèles à la fois précis sur le domaine d'origine et robustes face à des dégradations sévères, en exploitant intelligemment la distillation de connaissances entre des vues d'images propres et dégradées.