PAS: Estimating the target accuracy before domain adaptation

1. Problématique

L'adaptation de domaine non supervisée (UDA) vise à transférer les connaissances d'un domaine source étiqueté vers un domaine cible non étiqueté, en présence d'un décalage de distribution. Cependant, la réussite de cette tâche dépend fortement de deux choix critiques :

1. Le choix du domaine source : Parmi plusieurs sources candidates, certaines peuvent être trop éloignées du domaine cible, entraînant un "transfert négatif" (dégradation des performances).
2. Le choix de l'extracteur de caractéristiques pré-entraîné : Différents modèles pré-entraînés (ex: ResNet, ViT, Swin) possèdent des biais inductifs variés qui influencent la transférabilité.

Le défi majeur réside dans l'absence d'un ensemble de validation étiqueté pour le domaine cible. Sans ces étiquettes, il est impossible de vérifier les hypothèses de similarité entre les domaines ou de sélectionner la meilleure configuration (source + modèle) avant d'engager un processus d'adaptation coûteux en calcul. Les méthodes existantes d'estimation de transférabilité nécessitent souvent des étiquettes cibles ou sont symétriques, ce qui ne correspond pas à la nature asymétrique du transfert de domaine (transférer d'un domaine facile vers un domaine difficile est plus complexe que l'inverse).

2. Méthodologie : Le Score d'Adaptabilité Potentielle (PAS)

Les auteurs proposent le PAS (Potential Adaptability Score), une métrique simple mais efficace pour estimer le potentiel de réussite d'une adaptation de domaine avant tout entraînement.

Hypothèses de base :

• Un bon modèle pré-entraîné extrait des caractéristiques discriminatives invariantes à travers les domaines.
• Dans l'espace d'embedding de ce modèle, les échantillons d'une même classe (même s'ils proviennent de domaines différents) devraient être proches les uns des autres, formant des clusters cohérents.
• Les échantillons de classes différentes devraient être éloignés.

Algorithme de calcul du PAS :

1. Centroïdes de classe source : Pour chaque classe $c$ du domaine source, on calcule le centroïde $\mu_c$ dans l'espace d'embedding du modèle pré-entraîné $f_\theta$.
2. Distances cibles : Pour chaque échantillon cible non étiqueté $x^T_i$, on calcule la distance (cosinus) vers tous les centroïdes des classes sources.
3. Sélection des distances clés : On identifie :
   • $d_{1i}$ : La distance la plus courte (vers le centroïde de la classe source la plus proche).
   • $d_{2i}$ : La deuxième distance la plus courte.
4. Formule du score : Le PAS est la moyenne, sur tous les échantillons cibles, du rapport suivant :
   $$PAS(\theta, D_S, D_T) = \frac{1}{|D_T|} \sum_{i} \frac{d_{2i} - d_{1i}}{d_{2i}}$$
   Ce score est inspiré du Silhouette Score mais adapté pour être asymétrique et ne pas nécessiter d'étiquettes cibles. Il varie entre 0 et 1.
   • Un score élevé indique que les échantillons cibles sont très proches d'un cluster source spécifique et éloignés des autres, suggérant une forte transférabilité.
   • Un score faible suggère une confusion des classes ou un manque de similarité structurelle.

Utilisation : Le PAS permet de sélectionner la meilleure combinaison (Domaine Source + Modèle Pré-entraîné) en calculant le score pour chaque trio candidat et en choisissant celui qui maximise le PAS, sans avoir besoin d'exécuter l'algorithme d'adaptation de domaine.

3. Contributions Clés

• Première estimation de transférabilité asymétrique pour l'UDA : C'est la première proposition d'une métrique conçue spécifiquement pour l'adaptation de domaine non supervisée, ne nécessitant aucune étiquette cible.
• Cadre de sélection pré-adaptation : Un framework permettant d'identifier le domaine source et le modèle pré-entraîné les plus pertinents parmi un ensemble de candidats, réduisant ainsi le temps de calcul et les ressources nécessaires.
• Validation empirique robuste : Démonstration que le score PAS est fortement corrélé à l'accuracy finale sur le domaine cible, surpassant les métriques symétriques traditionnelles (MMD, A-distance).

4. Résultats Expérimentaux

Les auteurs ont évalué le PAS sur quatre benchmarks majeurs : Office-Home, Office-31, ImageCLEF et DomainNet, en utilisant divers modèles pré-entraînés (ResNet, DeiT, ViT, Swin) et méthodes d'adaptation (DANN, MCC, etc.).

• Corrélation avec l'accuracy :
  • Le PAS montre une corrélation de rang de Spearman globale de 0,88 avec l'accuracy cible, contre 0,37 pour le MMD et -0,16 pour la A-distance.
  • Pour le benchmark Office-Home, la corrélation atteint 0,81 (Spearman).
  • Le score permet de sélectionner le bon domaine source dans la majorité des cas, identifiant les combinaisons qui mènent aux meilleures performances.
• Sélection du modèle pré-entraîné : Le PAS réussit également à identifier quel extracteur de caractéristiques (ex: ViT-Base vs ResNet-50) fonctionnera le mieux pour une tâche d'adaptation donnée.
• Robustesse à la taille de l'échantillon : Le score reste stable et conserve l'ordre relatif des candidats même lorsque le nombre d'échantillons utilisés pour le calcul est réduit, permettant une estimation rapide.
• Limites observées : Sur le benchmark ImageCLEF (notamment le domaine P avec des images multi-objets), la corrélation diminue. Cela s'explique par le fait qu'un échantillon peut être proche d'un centroïde de classe (donc un PAS élevé) mais que l'étiquette réelle dépend d'un objet secondaire, menant à une erreur de classification.

5. Signification et Impact

Ce travail comble un vide important dans la littérature sur l'adaptation de domaine en fournissant un outil de diagnostic prédictif et peu coûteux.

• Efficacité opérationnelle : Il évite le coût computationnel prohibitif de tester toutes les combinaisons possibles de sources et de modèles par apprentissage complet.
• Prévention du transfert négatif : En permettant de rejeter les sources inadaptées avant l'entraînement, il protège les performances du modèle final.
• Généralité : Bien que testé sur la classification d'images, la méthodologie repose sur la géométrie des espaces d'embedding, ce qui suggère une applicabilité potentielle à d'autres tâches et modalités.

En conclusion, le PAS transforme la sélection de configuration en adaptation de domaine d'un processus d'essai-erreur coûteux en une décision éclairée basée sur des données, optimisant ainsi le déploiement de modèles d'IA dans des environnements réels où les données cibles sont non étiquetées.