Generalizable Knowledge Distillation from Vision Foundation Models for Semantic Segmentation

Cet article propose GKD, un cadre de distillation de connaissances multi-étapes qui découple l'apprentissage des représentations de l'adaptation à la tâche et introduit un mécanisme d'extraction de connaissances basé sur des requêtes, permettant ainsi aux modèles de segmentation sémantique d'hériter de la robustesse hors domaine des modèles de fondation visuels tout en évitant le surapprentissage aux domaines visibles.

L'essentiel

🎓 Le Problème : L'élève qui oublie tout en changeant de classe

Imaginez que vous avez un professeur génial (le "Modèle Fondation" ou VFM). Ce professeur a étudié pendant des années dans toutes les écoles du monde, sous tous les climats, avec toutes sortes d'élèves. Il est très fort pour comprendre le monde, peu importe où il se trouve.

Maintenant, vous voulez créer un petit élève (le "Modèle Local" ou léger) qui peut travailler sur un téléphone portable ou une voiture autonome, mais qui n'a pas la mémoire ni la puissance du grand professeur.

La méthode classique pour apprendre à l'élève (Distillation de Connaissance) consiste à dire : "Regarde ce que le professeur fait sur nos exercices de classe, et fais exactement pareil."

Le problème ?
Si l'élève apprend en même temps à faire les exercices et à copier le professeur, il a tendance à devenir un copieur trop spécifique. Il apprend par cœur les exercices de la classe (par exemple, "il fait toujours beau à Paris"), mais dès qu'il sort de la classe pour aller à la montagne ou sous la pluie (des situations nouvelles), il panique. Il a oublié comment le professeur réagissait face à l'imprévu. Il est devenu trop "spécialiste" de la salle de classe et perd sa capacité à s'adapter.

💡 La Solution : GKD (L'Apprentissage en Deux Temps)

Les auteurs de ce papier proposent une nouvelle méthode, appelée GKD (Distillation de Connaissance Généralisable). Ils changent la façon dont l'élève apprend en séparant l'apprentissage en deux étapes distinctes, comme un entraînement sportif en deux phases.

Étape 1 : L'Apprentissage "Sans But" (Le Voyage)

Au lieu de commencer tout de suite par les exercices de mathématiques, on emmène d'abord l'élève voyager avec le professeur.

• L'analogie : Imaginez que le professeur emmène l'élève visiter des musées, des forêts et des villes étrangères, sans lui donner de devoirs à faire.
• Ce qui se passe : L'élève observe comment le professeur réagit face à la neige, au brouillard ou à la nuit. Il apprend à comprendre la structure du monde (les formes, les relations entre les objets) sans se soucier de la réponse exacte à un problème spécifique. Il absorbe la "sagesse" du professeur, pas juste ses réponses.
• Le résultat : L'élève développe une "boussole interne" robuste.

Étape 2 : L'Apprentissage "Spécifique" (Le Devoir)

Une fois que l'élève a bien compris le monde grâce à ses voyages, on le ramène en classe pour faire les exercices.

• L'analogie : On dit à l'élève : "Maintenant que tu connais le monde, applique ta compréhension pour résoudre ce problème précis."
• Le secret : On gèle (on fige) la partie de son cerveau qui a appris à voyager. On ne lui laisse plus le droit de changer sa façon de voir le monde. On ne modifie que sa capacité à répondre à la question précise.
• Le résultat : L'élève reste aussi intelligent et adaptable que le professeur, mais il est maintenant capable de résoudre le problème spécifique sans oublier comment s'adapter à l'imprévu.

🔍 Le Petit Astuce Magique : Le "Filtre à Question"

Pour que l'élève apprenne vraiment à comprendre la structure du monde et pas juste à copier bêtement, les chercheurs ont inventé un mécanisme appelé Distillation Douce par Requêtes (QSD).

• L'analogie : Imaginez que le professeur a une bibliothèque immense de connaissances. Si l'élève essaie de tout copier page par page, il va se tromper (parce que la page 10 de Paris n'est pas la page 10 de Tokyo).
• La solution : L'élève utilise un filtre intelligent (une requête). Il dit au professeur : "Montre-moi seulement les parties de ta connaissance qui sont utiles pour comprendre cette image spécifique."
• L'effet : L'élève ne copie pas les pixels, il copie la logique et les relations. Il apprend à dire : "Ah, le professeur regarde toujours les nuages quand il voit une route mouillée". C'est cette logique qu'il garde, et non pas juste l'image de la route.

🏆 Pourquoi c'est génial ?

Les tests montrent que cette méthode fonctionne comme un charme :

1. Moins d'erreurs : L'élève fait beaucoup moins d'erreurs quand il rencontre des situations qu'il n'a jamais vues (pluie, nuit, neige).
2. Économie d'énergie : On peut utiliser un tout petit modèle (léger comme une plume) qui se comporte presque comme un géant.
3. Peu de données : Même si on donne très peu d'exercices à l'élève pour la phase 2, il reste très performant grâce à sa solide base de la phase 1.

En résumé :
Au lieu de forcer un petit élève à copier un grand professeur en même temps qu'il fait ses devoirs (ce qui le rend rigide), on lui fait d'abord vivre une aventure avec le professeur pour qu'il comprenne le monde, puis on lui demande de faire ses devoirs en gardant cette sagesse intacte. C'est ainsi qu'on crée des intelligences artificielles qui ne paniquent pas quand elles quittent la salle de classe.

Résumé technique

1. Problématique et Contexte

La distillation de connaissances (KD) est couramment utilisée pour compresser des réseaux de neurones lourds en modèles légers pour la segmentation sémantique. Cependant, les approches conventionnelles se concentrent principalement sur le maintien de la précision au sein du domaine d'entraînement (in-domain), tout en négligeant la généralisation hors domaine (out-of-domain).

Ce problème s'aggrave avec l'émergence des Modèles de Fondation Vision (VFMs) (comme DINOv2, EVA02). Bien que ces modèles possèdent une robustesse exceptionnelle sur des données non vues, la distillation classique vers des modèles plus petits échoue souvent à transférer cette capacité de généralisation. Au contraire, elle tend à introduire un biais vers les domaines visibles, aggravant l'écart de performance entre les données d'entraînement et les données de test (distribution shift).

Question centrale : Peut-on distiller les VFMs vers des modèles compacts pour réduire la charge computationnelle sans sacrifier leur capacité de généralisation hors domaine ?

2. Méthodologie : GKD (Generalizable Knowledge Distillation)

Les auteurs proposent GKD, un cadre de distillation multi-étapes conçu pour découpler l'apprentissage de la représentation de l'apprentissage de la tâche.

A. Architecture en Deux Étapes

Contrairement à la KD classique (optimisation en une seule étape où la perte de tâche et la perte de distillation sont combinées), GKD sépare le processus :

1. Étape 1 : Distillation de Représentation (Domain-General Distillation)

   • Objectif : Apprendre des représentations agnostiques au domaine et à la tâche.
   • Sous-étape 1 (Agnostique à la tâche) : Le modèle étudiant apprend à partir d'un jeu de données proxy (ImageNet) pour combler l'écart de représentation initial avec le VFM, sans biais de tâche spécifique.
   • Sous-étape 2 (Agnostique au domaine) : L'étudiant distille des caractéristiques à partir des données sources (ex: GTAV) pour capturer des structures sémantiques pertinentes mais sans supervision de tâche directe.
   • Mécanisme clé : Durant cette phase, seul l'encodeur de l'étudiant est mis à jour.

2. Étape 2 : Apprentissage de la Tâche (Task Learning)

   • Objectif : Adapter les représentations généralisables à la tâche de segmentation.
   • Procédure : L'encodeur de l'étudiant est gelé (frozen). Seul le décodeur est entraîné sur les annotations des données sources.
   • Avantage : Cela empêche le surapprentissage (overfitting) aux domaines visibles et préserve les représentations robustes acquises à l'étape 1.

B. Mécanisme de Distillation Douce Basée sur des Requêtes (QSD)

Pour transférer efficacement les connaissances spatiales des VFMs, les auteurs introduisent le Query-based Soft Distillation (QSD) :

• Principe : Les caractéristiques de l'étudiant agissent comme des requêtes (queries) pour interroger les représentations du professeur (VFM) via un mécanisme d'attention.
• Fonctionnement :
  • Au lieu d'une alignement point-à-point (qui échoue souvent car les structures spatiales diffèrent), le QSD permet à l'étudiant de récupérer sélectivement des connaissances spatiales pertinentes du professeur.
  • Il reconstruit les caractéristiques de l'étudiant en pondérant les réponses spatiales basées sur l'attention, intégrant ainsi le contexte global du professeur.
• Objectifs de perte :
  • Perte sur les caractéristiques reconstruites ($L_{feat}$).
  • Perte sur les patches masqués ($L_{mask}$) pour révéler les connaissances cachées.
  • Perte sur le token CLS ($L_{cls}$) pour transférer la sémantique globale.

3. Contributions Clés

1. Diagnostic Empirique : Les auteurs démontrent que la KD conventionnelle, y compris ses variantes avancées, échoue souvent à améliorer, voire dégrade, la généralisation des étudiants par rapport aux professeurs VFMs, en particulier dans les scénarios Foundation-to-Local (F2L).
2. Nouveau Paradigme (GKD) : Proposition d'une stratégie multi-étapes qui découple l'apprentissage de la représentation (généralisable) de l'adaptation à la tâche, évitant ainsi le biais de domaine.
3. Mécanisme QSD : Introduction d'une méthode de distillation douce basée sur l'attention qui permet une récupération sélective des structures spatiales relationnelles des VFMs.
4. Validation Rigoureuse : Évaluation sur cinq benchmarks de généralisation de domaine (incluant des scénarios de conduite autonome et de télédétection) dans deux configurations :
   • F2F (Foundation-to-Foundation) : VFM grand $\to$ VFM petit.
   • F2L (Foundation-to-Local) : VFM grand $\to$ Modèle local entraîné (ex: DeiT).

4. Résultats Expérimentaux

Les expériences montrent que GKD surpasse systématiquement les méthodes de KD existantes (Vanilla KD, CWD, Af-DCD, Proteus, etc.) :

• Gains Moyens :
  • +1,9 % en mIoU moyen dans le setting F2F.
  • +10,6 % en mIoU moyen dans le setting F2L (un gain significatif, surtout pour les modèles locaux).
• Performance sur Données Limitées : Dans les scénarios avec peu d'étiquettes (1/16 des données), GKD maintient une forte généralisation, surpassant les méthodes concurrentes de plus de 5 % dans le setting F2L.
• Robustesse : Le modèle distillé approche, voire dépasse, les performances du professeur sur des domaines cibles non vus (ex: conditions météorologiques adverses, différents types de caméras).
• Visualisation : Les cartes d'attention montrent que QSD maintient une correspondance spatiale forte tout en permettant une agrégation sélective de connaissances, contrairement aux méthodes classiques qui imitent simplement les activations locales.

5. Signification et Impact

Ce travail est significatif car il redéfinit l'objectif de la distillation de connaissances pour la segmentation sémantique : passer d'une simple compression à un outil de généralisation robuste.

• Pour la recherche : Il établit un nouveau standard pour le transfert de connaissances depuis les grands modèles de fondation vers des modèles légers, en soulignant l'importance de découpler les phases d'apprentissage.
• Pour l'application : GKD permet de déployer des modèles de segmentation compacts et efficaces dans des environnements réels variables (météo changeante, différents sites médicaux, etc.) sans nécessiter de réentraînement coûteux sur des données cibles, tout en maximisant l'efficacité des étiquettes disponibles.

En résumé, GKD transforme la distillation d'un processus de compression statique en un mécanisme dynamique de transfert de robustesse, essentiel pour le déploiement de l'IA dans des conditions réelles imprévisibles.