Résumé Technique : RADAR (Divergence Angulaire Relative à Travers les Représentations)

Énoncé du Problème

Dans l'apprentissage automatique moderne, l'expansion des jeux de données d'entraînement avec des domaines sources auxiliaires est une stratégie standard pour pallier les contraintes de données. Cependant, cette pratique ne garantit pas une amélioration des performances en aval et peut entraîner un transfert négatif, où l'intégration d'informations sources dégrade activement les performances cibles. Identifier quels domaines sources produiront un transfert positif est difficile, car l'évaluation empirique de chaque candidat nécessite un réentraînement coûteux du modèle complet. Les métriques de transférabilité existantes reposent souvent sur des représentations statiques à une seule couche ou exigent un pré-entraînement sur le jeu de données cible, échouant ainsi à capturer l'évolution structurelle dynamique des représentations à travers la hiérarchie du modèle.

Méthodologie : RADAR

Les auteurs proposent RADAR (Divergence Angulaire Relative à Travers les Représentations), une métrique ancrée géométriquement conçue pour estimer la transférabilité inter-domaines en utilisant uniquement des caractéristiques figées issues de modèles de base. La méthode fonctionne en analysant l'évolution couche par couche des représentations plutôt que des instantanés statiques.

Mécanisme Central

1. Extraction de Trajectoires Couche par Couche : Pour un modèle de base pré-entraîné $\Phi$, les représentations de caractéristiques intermédiaires $h^{(l)}(x)$ sont extraites à chaque couche $l$.
2. Construction de Triangles Géométriques : Pour un échantillon ancre $x$ donné et un échantillon secondaire $x'$ (soit dans le même domaine, soit à travers des domaines), la méthode construit un triangle géométrique de vecteurs de déplacement s'étendant sur les couches $l$ et $l+1$ :
   • Séparation ($v_{sep}$) : Le vecteur entre $h^{(l)}(x)$ et $h^{(l)}(x')$.
   • Détour ($v_{detour}$) : Le vecteur de $h^{(l)}(x')$ à $h^{(l+1)}(x)$.
   • Trajectoire ($v_{traj}$) : Le déplacement direct de $h^{(l)}(x)$ à $h^{(l+1)}(x)$.
   • Note : L'article démontre que $v_{sep} + v_{detour} = v_{traj}$ exactement.
3. Calcul de Descripteurs : La méthode calcule deux descripteurs clés pour ces triangles :
   • Alignement Angulaire ($\theta$) : La similarité cosinus entre les vecteurs de séparation et de détour.
   • Distance Relative ($d$) : L'excès de longueur de chemin normalisé du détour en deux étapes par rapport à la trajectoire directe ($d = \frac{\|v_{sep}\| + \|v_{detour}\| - \|v_{traj}\|}{\|v_{traj}\|}$).
   • Adaptation Topologique : Bien que la métrique puisse être définie sur des distances géodésiques pour des espaces hypersphériques (par exemple, les caractéristiques DINO), les auteurs adoptent une formulation unifiée dans un espace euclidien car elle s'est révélée la plus robuste à travers les modalités, en particulier pour le texte.
4. Modélisation de la Distribution :
   • La méthode échantillonne des paires pour calculer les distributions empiriques de $\theta$ et $d$ pour les paires intra-domaine et inter-domaine.
   • Pour assurer la faisabilité computationnelle, une stratégie d'échantillonnage stratifié est utilisée, pondérant les paires en fonction de leur distance aux centroïdes de classe (capturant à la fois les dynamiques intramembre-intramembre et intramembre-extramembre).
   • Des Modèles de Mélanges Gaussiens (GMM) sont ajustés à ces distributions pour modéliser les densités de probabilité continues des dynamiques intra-domaine et inter-domaine.
5. Mesure de Divergence : Le score de transférabilité final est dérivé de la divergence symétrique de Kullback-Leibler (KL) entre les deux GMM. Une divergence plus faible indique une plus grande similarité structurelle et, par conséquent, une transférabilité prédite plus élevée.
6. Trajectoires Étendues : Pour capturer les changements structurels holistiques, la métrique concatène les descripteurs sur une fenêtre de couches (par exemple, de $l-6$ à $l+6$), créant un vecteur de caractéristiques de haute dimension avant l'ajustement du GMM.

Contributions Clés

1. Évolution Structurelle Dynamique et Couche par Couche : RADAR est la première métrique à évaluer la transférabilité en mesurant la divergence entre des distributions continues et dynamiques de trajectoires géométriques (angles et distances relatives) à travers les couches du réseau, plutôt que des distributions de caractéristiques statiques.
2. Performance Prédictive Hautement Concurrentielle : La métrique atteint une performance dans le top trois dans 7 configurations sur 10 à travers les benchmarks de vision et de texte, obtenant la meilleure performance absolue dans 6 d'entre eux. Elle surpasse ou égale systématiquement les références de l'état de l'art telles que LEEP, LogME, NCE, TransRate et S-OTDD.
3. Estimation Robuste et Efficace : Grâce à des études d'ablation extensives, les auteurs démontrent que RADAR est robuste aux choix d'hyperparamètres (taille de l'échantillon, rayon de la fenêtre, température) et computationnellement efficace, surpassant souvent les références dans des environnements sans GPU grâce à sa dépendance aux caractéristiques figées et au sous-échantillonnage.

Résultats Expérimentaux

Les auteurs ont évalué RADAR sur :

• Modalités Visuelles : Les modèles de base CLIP et DINOv3 sur DomainNet, OfficeHome et PACS.
• Modalités Textuelles : Qwen3-Embedding et EmbeddingGemma sur EuroEval et AmazonReviews.

Constats Clés :

• Performance : RADAR a obtenu la meilleure Amélioration de Corrélation Moyenne (MCI) sur DomainNet pour CLIP et DINOv3, et sur OfficeHome pour CLIP. En texte, il a obtenu les meilleurs résultats sur EuroEval pour EmbeddingGemma (surpassant la meilleure référence suivante de plus de 30 points de pourcentage) et a été concurrentiel sur AmazonReviews.
• Régimes de Séparation de Domaine : RADAR excelle lorsque les transitions de domaine sont lisses (faible corruption/séparation) ou clairement séparées (forte corruption/séparation). Ses performances se dégradent dans les régimes "intermédiaires" (par exemple, le jeu de données PACS) où les domaines présentent une séparation dispersée et non uniforme, ni assez lisse pour l'alignement des trajectoires, ni assez distincte pour une estimation de divergence propre.
• Différences de Modalité : Les représentations textuelles favorisent strictement l'espace euclidien et les caractéristiques angulaires, tandis que les représentations visuelles montrent une robustesse à la fois aux espaces euclidiens et aux espaces pseudo-cartésiens.
• Robustesse à la Corruption : Sur ImageNet-C, RADAR a démontré une robustesse exceptionnelle aux niveaux de corruption extrêmes (Sévérité 5), là où les métriques statistiques statiques ont échoué, bien qu'il ait montré une vulnérabilité au bruit synthétique modéré (Sévérité 3).

Signification et Revendications

L'article revendique que la structure géométrique couche par couche porte un signal de transférabilité significatif que les métriques statiques à une seule couche échouent à capturer. En mesurant la divergence de l'évolution des représentations à travers les couches, RADAR fournit une manière fondée et computationnellement efficace de prédire les classements de gains de transfert sans réentraîner les modèles.

Les auteurs soulignent que leur approche est motivée par l'Hypothèse de Redressement Perceptif et l'observation que les représentations les plus informatives dans les modèles de base ne se trouvent pas toujours à la dernière couche. Ils soutiennent que RADAR offre un cadre unifié et inter-modal pour les décisions d'apprentissage par transfert, particulièrement efficace lorsque les décalages de domaine sont bien définis. Cependant, ils reconnaissent modestement les limites, notant que le pouvoir prédictif de la métrique se dégrade dans les scénarios présentant des structures de domaine dispersées et superposées, et que la dépendance aux GMM constitue un goulot d'étranglement computationnel pour le filtrage en temps réel.