Résumé technique : Améliorer la distillation de connaissances sous un changement de covariable inconnu par l'augmentation de données guidée par la confiance

1. Énoncé du problème

L'article traite des limites de la distillation de connaissances (KD - Knowledge Distillation) lorsqu'elle est appliquée à des scénarios de changement de covariable inconnu (unknown covariate shift). Bien que les modèles de fondation fassent preuve de fortes capacités de zero-shot et d'une robustesse distributionnelle, le déploiement de ces modèles dans des environnements aux ressources limitées nécessite souvent le transfert de connaissances vers des réseaux étudiants plus petits. La KD standard repose sur la « connaissance sombre » (soft labels) d'un enseignant pour améliorer la généralisation de l'étudiant. Cependant, lorsque les données d'entraînement ($P_{train}$) ne couvrent pas suffisamment la distribution de test ($P_{test}$), l'étudiant échoue souvent à apprendre la véritable frontière de décision.

Au lieu de cela, l'étudiant exploite des caractéristiques fallacieuses (par exemple, la couleur des cheveux ou l'âge dans la classification du genre) qui sont corrélées avec l'étiquette dans l'ensemble d'entraînement mais qui ne sont pas liées de manière causale. Cela conduit à un apprentissage par raccourci (shortcut learning), où le modèle est performant sur les données d'entraînement mais échoue sur les groupes de test qui étaient absents ou sous-représentés pendant l'entraînement (par exemple, les femmes blondes âgées ou les hommes jeunes non blonds). Les méthodes existantes d'augmentation de données basées sur la diffusion échouent souvent à cibler ces biais spécifiques car elles n'exploitent pas explicitement la divergence entre un enseignant robuste et un étudiant biaisé.

2. Méthodologie : ConfiG

Les auteurs proposent ConfiG (Confidence-Guided), un nouveau cadre d'augmentation de données conçu pour atténuer le changement de covariable en générant des échantillons synthétiques qui défient spécifiquement la dépendance de l'étudiant aux caractéristiques fallacieuses.

Mécanisme central

ConfiG utilise un modèle de diffusion (basé sur Stable Diffusion) guidé par le désaccord entre un modèle enseignant robuste ($t$) et un modèle étudiant biaisé ($f$). L'objectif est de générer des images où :

1. L'enseignant maintient une grande confiance dans la classe correcte (préservant les caractéristiques causales).
2. L'étudiant a une faible confiance dans la classe correcte (indiquant une dépendance aux caractéristiques fallacieuses).

Implémentation technique

La méthode opère en deux étapes principales :

1. Mélange inter-classes (Warm-Starting) :
   Pour éviter les minima locaux et assurer la génération d'échantillons stimulants, ConfiG effectue d'abord un mélange inter-classes. En utilisant l'édition prompt-to-prompt, l'image originale est éditée vers une classe cible aléatoire (différente de la classe originale). Cela fournit une initialisation latente qui est sémantiquement distincte de l'originale, facilitant l'exploration de nouvelles combinaisons de caractéristiques.

2. Optimisation latente :
   Le cœur de ConfiG implique l'optimisation du code latent ($z_0$), du texte nul ($\emptyset$) et du signal de conditionnement ($C$) pour maximiser le désaccord entre l'enseignant et l'étudiant. L'optimisation minimise la fonction de perte suivante :
   $$\min_{z_0, \emptyset, C} \; f(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y^\gamma + \left(1 - t(\mathcal{D}(\mathcal{M}_{\epsilon_\theta}(z_0, \emptyset, C)))_y\right)^\gamma$$
   Où :

   • $f$ et $t$ sont les modèles étudiant et enseignant.
   • $y$ est la confiance dans la classe cible.
   • $\gamma$ est une transformation non linéaire (définie empiriquement à 2) pour gérer les cas où l'étudiant est initialement très confiant.
   • $\mathcal{M}_{\epsilon_\theta}$ est le modèle de prédiction du bruit, et $\mathcal{D}$ est le décodeur.

   Ce processus génère des images où l'étudiant est « trompé » par des caractéristiques fallacieuses (par exemple, un visage masculin aux cheveux blonds étant classé comme femelle) tandis que l'enseignant identifie correctement la classe réelle.

3. Pipeline d'entraînement :

   • Un étudiant auxiliaire est d'abord distillé sur les données d'entraînement réelles limitées et biaisées. Cet étudiant absorbe naturellement les corrélations fallacieuses.
   • ConfiG utilise cet étudiant auxiliaire pour générer des augmentations synthétiques.
   • Un étudiant robuste est ensuite entraîné sur un mélange de données réelles et des augmentations ConfiG générées (avec une probabilité de remplacement $\alpha = 0,5$).

3. Principales contributions

1. Identification du problème : Les auteurs démontrent que si la KD à partir d'un enseignant robuste améliore la performance globale, elle reste insuffisante sous un changement de covariable inconnu, menant à de mauvaises performances sur les groupes non vus dans l'ensemble de test.
2. Cadre ConfiG : Ils introduisent une méthode d'augmentation par diffusion guidée par la confiance qui cible explicitement le changement de covariable en maximisant le désaccord enseignant-étudiant, sans nécessiter de connaissance explicite du biais ou des étiquettes de groupe.
3. Validation empirique et théorique : Le papier fournit une motivation théorique montrant que les augmentations qui sont stimulantes pour l'étudiant mais faciles pour l'enseignant peuvent réduire l'erreur de généralisation ($\Omega$). Empiriquement, ConfiG surpasse les autres méthodes de base basées sur la diffusion.

4. Résultats expérimentaux

Les auteurs ont évalué ConfiG sur quatre jeux de données : CelebA-HQ, SpuCo Birds, BAR (Biased Activity Recognition), et un sous-ensemble d'ImageNet (Spurious ImageNet).

• Jeux de données de décalage de groupe (CelebA-HQ, SpuCo Birds, BAR) :

  • ConfiG a systématiquement obtenu la meilleure ou la deuxième meilleure précision moyenne par échantillon (SMA) et la meilleure précision moyenne par groupe (GMA) et la meilleure précision par groupe le plus défavorable (WGA) par rapport à six méthodes de référence (GIF, DistDiff, DA-Fusion, Diff-Mix, Diff-II, ActGen).
  • Sur CelebA-HQ, ConfiG a amélioré la précision du pire groupe de plus de 34 % par rapport à un entraînement avec les seules données réelles, réduisant considérablement l'écart avec l'enseignant.
  • Sur SpuCo Birds et BAR, ConfiG a réduit l'écart de performance avec l'enseignant de 23 % et 37 % respectivement, surpassant toutes les méthodes de base en termes de performance du pire groupe.

• ImageNet-100 (Caractéristiques fallacieuses) :

  • ConfiG a obtenu la précision de validation et le Spurious Score (SpuScore) les plus élevés, indiquant une meilleure robustesse contre les caractéristiques fallacieuses par classe.
  • Des améliorations ont été observées tant pour les architectures étudiantes ViT-T que ViT-S.

• Études d'ablation :

  • Composants : La combinaison du mélange inter-classes et de l'optimisation latente a produit les meilleurs résultats ; l'utilisation d'un seul composant était moins efficace.
  • Augmentations plus fortes : ConfiG combiné à des augmentations non synthétiques plus fortes (ex: AutoAugment, MixUp) a encore amélioré les performances.
  • Force de l'enseignant : ConfiG reste efficace même avec des modèles enseignants plus faibles (ex: ResNet50 ou variantes plus petites de CLIP), bien que la performance absolue diminue.
  • Atténuation du biais centrée sur le modèle : Les augmentations ConfiG ont considérablement amélioré les performances des méthodes d'atténuation du biais centrées sur le modèle (LfF, uLA, ERM) lorsqu'elles sont combinées.

5. Signification et affirmations

L'article affirme que ConfiG offre une solution centrée sur les données au problème de la couverture limitée des données d'entraînement et du changement de covariable inconnu. En exploitant la divergence entre un enseignant robuste et un étudiant biaisé, la méthode génère des données synthétiques ciblées qui forcent l'étudiant à désapprendre les corrélations fallacieuses et à approximer plus précisément la frontière de décision de l'enseignant.

Les auteurs soulignent que leur approche ne nécessite pas d'annotations de groupe explicites ni de connaissance des biais spécifiques, ce qui la rend applicable à des scénarios réels où ces informations sont indisponibles. Bien que la méthode montre une performance supérieure en matière de robustesse de groupe et de gestion des caractéristiques fallacieuses, les auteurs notent des limites :

• La méthode est actuellement conçue pour l'augmentation d'images globales pour les tâches de classification et pourrait nécessiter une adaptation pour les tâches sensibles à la localisation comme la détection d'objets.
• Elle repose sur des modèles enseignants et des modèles de diffusion pré-entraînés, ce qui implique des coûts de calcul, bien que les auteurs démontrent la compatibilité avec des modèles de diffusion à étape unique plus rapides (Hyper-SD).
• L'analyse théorique suppose certaines conditions (ex: précision de l'enseignant) qui sont approximativement satisfaites en pratique mais difficiles à caractériser purement à partir d'ensembles d'augmentation discrets.

En conclusion, ConfiG représente une étape vers une distillation de connaissances plus robuste dans des environnements de données rares et biaisées, comblant efficacement l'écart entre les capacités des grands modèles de fondation et les réseaux étudiants plus petits et déployables.