Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

Résumé technique : Identification de classes privées consciente de la localité pour l'adaptation de domaine avec décalage d'étiquettes extrême

Énoncé du problème
L'adaptation de domaine non supervisée (UDA) suppose généralement un scénario en ensemble fermé où les domaines source et cible partagent un espace d'étiquettes identique. Cependant, les applications réelles impliquent souvent un « décalage d'étiquettes extrême », où les espaces d'étiquettes sont hétérogènes. Cela se manifeste dans deux scénarios principaux : l'adaptation de domaine en ensemble ouvert (OSDA), où le domaine cible contient des classes privées absentes dans la source, et l'adaptation de domaine partielle (PDA), où le domaine source contient des classes privées absentes dans la cible.

Le défi central dans ces scénarios est l'« identification de classes privées ». Les méthodes existantes reposent généralement sur l'hypothèse que le décalage sémantique des classes privées est systématiquement plus grand que le décalage de domaine des classes partagées, traitant les échantillons privés comme des valeurs aberrantes. Les auteurs soutiennent que cette hypothèse est souvent violée en pratique, car la variance au sein d'une seule classe partagée peut dépasser l'écart entre une classe privée et une autre classe partagée. Par conséquent, les méthodes existantes échouent souvent à distinguer de manière fiable les échantillons privés, entraînant un transfert négatif et un désalignement.

Méthodologie
L'article propose un cadre novateur centré sur l'identification de classes privées consciente de la localité et un modèle de transfert fiable nommé ReOT (méthode basée sur le Transport Optimal fiable).

1. Identification consciente de la localité via le Transport Optimal Masqué (MOT) :

   • Les auteurs observent que, bien que les décalages globaux puissent être ambigus, une structure spatiale locale persiste : au sein d'un voisinage local d'un cluster de classe partagée, la distance entre les échantillons partagés est systématiquement plus petite que la distance entre les échantillons partagés et les échantillons privés.
   • Ils utilisent le Transport Optimal Masqué (MOT) pour caractériser cette structure locale. Une matrice de masque est appliquée à la matrice de coût pour imposer un transport uniquement entre les échantillons ayant les mêmes étiquettes prédites.
   • Une fonction de score basée sur la masse transportée est dérivée. Sur la base des propriétés théoriques du MOT, la masse totale transportée vers un échantillon de classe privée depuis une source de classe partagée est significativement plus petite que la masse transportée vers un échantillon de classe partagée.
   • Un score $s(z')$ est défini comme $1/m - \sum \Gamma^*_{ij}$. Les échantillons avec $s(z') > 0$ (ou dépassant une marge) sont identifiés comme privés, tandis que ceux avec $s(z') < 0$ sont identifiés comme partagés. Cette approche garantit théoriquement la séparation des échantillons partagés et privés sous des hypothèses d'espace local, sans dépendre d'hypothèses globales de valeurs aberrantes.

2. Le cadre ReOT :

   • Perte de transfert fiable ($L_{rt}$) : Une fois les échantillons privés et partagés identifiés, ReOT minimise les distances intra-classe inter-domaines pour les classes partagées tout en maximisant la distance entre les classes partagées et les classes privées. Cela est réalisé en utilisant le plan de transport du MOT pour aligner les distributions conditionnelles uniquement au sein des ensembles partagés identifiés.
   • Minimisation du risque ($L_{cls}$) : Le modèle minimise le risque de classification empirique à la fois sur le domaine source et sur les échantillons privés identifiés dans le domaine cible (ou source, pour la PDA).
   • Perte de reconstruction de barycentre ($L_{br}$) : Pour affiner davantage la représentation, le modèle mappe les représentations cibles vers le domaine source en utilisant le plan de transport (carte de barycentre) et minimise la perte de reconstruction. Cela fournit une supervision douce, poussant les échantillons cibles vers leurs prototypes de classe correspondants.
   • L'objectif final combine ces pertes : $L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$.

3. Analyse théorique :

   • L'article fournit une borne supérieure de généralisation pour le risque cible dans les scénarios de décalage d'étiquettes extrême. La borne décompose l'erreur en termes liés au risque source, à l'erreur de prédiction maximale, à la divergence de distribution d'étiquettes et à l'écart conditionnel partagé.
   • Les auteurs prouvent que ReOT minimise cette borne supérieure en réduisant le risque source, en alignant les distributions conditionnelles (en réduisant l'écart conditionnel partagé) et en identifiant efficacement les classes privées pour minimiser les erreurs sur ces échantillons spécifiques.

Contributions clés

• Identification consciente de la localité : Une nouvelle méthode pour identifier les classes privées utilisant une fonction de score dérivée de la masse transportée par MOT. Elle assouplit l'hypothèse irréaliste de valeur aberrante globale en exploitant les structures spatiales locales.
• Garantie théorique : Une preuve théorique démontrant la capacité de la fonction de score à distinguer les échantillons partagés et privés, et une borne d'erreur de généralisation pour les scénarios de décalage d'étiquettes extrême que ReOT est montré minimiser.
• Cadre unifié (ReOT) : Un algorithme unique capable de gérer les paramètres OSDA et PDA en ajustant dynamiquement la direction de transport et les définitions de masque en fonction du domaine contenant les classes privées.
• Validation empirique : Des expériences extensives sur quatre jeux de données de référence (Image-CLEF, Office-31, Office-Home, VisDA-2017) démontrant des performances supérieures aux méthodes de l'état de l'art dans les paramètres OSDA et PDA.

Résultats expérimentaux

• Performance OSDA : Sur Image-CLEF, Office-31 et Office-Home, ReOT a atteint la plus haute précision de moyenne harmonique ($H$) dans la majorité des tâches, surpassant les méthodes SOTA telles que ANNA et MRJT. Par exemple, sur Image-CLEF, ReOT a atteint une moyenne $H$ de 84,4 %, dépassant ANNA de 1,5 %.
• Performance PDA : ReOT a démontré des performances robustes sur Office-Home et VisDA-2017, atteignant la meilleure précision moyenne (78,7 % sur Office-Home) et maintenant des performances élevées sur le jeu de données difficile VisDA-2017 où d'autres méthodes se sont dégradées de manière significative.
• Études d'ablation : Le retrait de la perte de transfert ($L_{rt}$) ou de la perte de reconstruction ($L_{br}$) a entraîné des baisses de performance, confirmant la nécessité à la fois de l'alignement conditionnel de classe et de la reconstruction de barycentre.
• Efficacité d'identification : La méthode d'identification de classes privées a identifié avec succès environ 88,2 % des échantillons privés en OSDA et 95,6 % en PDA à travers les jeux de données.
• Robustesse : La méthode est restée stable à travers différents paramètres d'hyperparamètres et choix de fonctions de coût (euclidienne au carré vs basée sur discriminateur).

Signification et revendications
L'article revendique que ReOT adresse la limitation fondamentale des méthodes existantes d'identification de classes privées en déplaçant le focus de la détection de valeurs aberrantes globales vers la caractérisation de la structure spatiale locale. En ancrant théoriquement le processus d'identification dans les propriétés du transport optimal masqué, la méthode assure la fiabilité même lorsque les classes privées ne sont pas des valeurs aberrantes distinctes.

Les auteurs affirment que ReOT fournit une solution unifiée pour l'OSDA et la PDA, comblant le fossé entre ces deux scénarios symétriques mais souvent traités séparément. Théoriquement, la borne de généralisation proposée offre une nouvelle perspective sur la décomposition de l'erreur dans les espaces d'étiquettes hétérogènes, montrant que la minimisation de la borne nécessite à la fois une identification précise des classes privées et un alignement des distributions conditionnelles. Empiriquement, les résultats valident que ReOT atteint un meilleur équilibre entre la reconnaissance des échantillons privés et la préservation des performances des classes partagées, conduisant à une adaptation de domaine plus robuste dans les scénarios réels de décalage d'étiquettes extrême.

L'article conclut modestement, notant que bien que ReOT soit efficace pour les scénarios source unique/cible unique, les travaux futurs pourraient étendre le cadre aux paramètres multi-sources, multi-cibles et sans source.