📊 statistics

Quantifying Data Similarity Using Cross Learning

Cet article propose le Cross-Learning Score (CLS), une nouvelle métrique qui quantifie la similarité entre des jeux de données en évaluant la performance de généralisation bidirectionnelle des règles de décision, intégrant ainsi les informations d'étiquettes et les alignements caractéristiques-réponses pour optimiser l'apprentissage par transfert.

Auteurs originaux : Shudong Sun, Hao Helen Zhang, Joseph C Watkins

Publié 2026-04-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shudong Sun, Hao Helen Zhang, Joseph C Watkins

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : Comment savoir si deux mondes sont compatibles ?

Imaginez que vous êtes un chef cuisinier. Vous avez appris à faire d'excellents gâteaux au chocolat dans votre cuisine à Paris (c'est votre Source). Maintenant, vous voulez ouvrir une boutique à Tokyo (c'est votre Cible).

La question cruciale est : Pouvez-vous utiliser vos recettes parisiennes pour Tokyo ?

Cas 1 (Positive Transfer) : Si les gens à Tokyo adorent aussi le chocolat, vos recettes fonctionneront parfaitement. Vous gagnez du temps.
Cas 2 (Negative Transfer) : Si à Tokyo, on déteste le chocolat et qu'on préfère le wasabi, essayer d'appliquer vos recettes parisiennes sera un désastre. Vous perdrez du temps et gâcherez les ingrédients.

Dans le monde de l'intelligence artificielle (IA), c'est exactement le même problème. On veut savoir si l'on peut transférer les connaissances d'un jeu de données (ex: des photos de chats) vers un autre (ex: des photos de chiens).

Jusqu'à présent, les méthodes pour mesurer cette compatibilité regardaient surtout les ingrédients (les caractéristiques des données). Elles disaient : "Oh, les deux jeux de données ont des photos de couleurs similaires, donc c'est bon !" Mais elles ignoraient souvent la recette (la relation entre l'image et le résultat).

💡 La Solution : Le "Score d'Apprentissage Croisé" (CLS)

Les auteurs de cet article proposent une nouvelle méthode appelée CLS (Cross-Learning Score).

Au lieu de comparer simplement les ingrédients, le CLS pose une question plus intelligente : "Si j'essaie de cuisiner avec la recette de Paris dans la cuisine de Tokyo, est-ce que ça marche ? Et si j'essaie l'inverse ?"

C'est comme un test de compatibilité en deux étapes :

On prend le modèle entraîné sur la Source et on le teste sur la Cible.
On prend le modèle entraîné sur la Cible et on le teste sur la Source.

Si les deux modèles réussissent bien dans l'autre cuisine, c'est que les "recettes" (les règles de décision) sont similaires. Le score CLS sera faible (ce qui est bon !). Si les modèles échouent lamentablement, le score sera élevé, signifiant qu'il ne faut pas mélanger ces données.

📐 La Théorie : Une boussole géométrique

Pour les experts, les auteurs montrent mathématiquement que ce score est lié à l'angle entre deux lignes imaginaires (les "frontières de décision").

Imaginez deux lignes qui séparent le "oui" du "non".
Si les lignes sont parallèles (angle de 0°), les tâches sont identiques.
Si les lignes sont perpendiculaires (angle de 90°), les tâches sont opposées.
Le CLS mesure cet écart d'angle de manière très précise, même quand les données sont complexes.

🛠️ Comment on le calcule en pratique ?

Comme on ne connaît pas la "vraie recette parfaite" (la règle Bayésienne), on ne peut pas calculer le score exact. Alors, les auteurs ont créé des outils pour l'estimer :

L'Ensemble (Le Conseil de Chefs) : Au lieu de faire confiance à un seul modèle (un seul chef), on en entraîne plusieurs (logistique, SVM, XGBoost...). On prend la moyenne de leurs avis. C'est comme demander l'avis de 5 chefs différents pour être sûr de ne pas se tromper.
Les Zones de Transfert : Une fois le score calculé, on classe la situation en trois zones colorées, comme un feu tricolore :
- 🟢 Zone Verte (Positive) : Tout va bien ! Transférez les données, vous gagnerez en performance.
- 🟡 Zone Jaune (Ambiguë) : C'est incertain. Ça pourrait marcher, ça pourrait échouer. Il faut faire attention.
- 🔴 Zone Rouge (Négative) : Danger ! Ne transférez rien, vous allez empirer les choses.

🧪 Les Résultats : Ça marche !

Les auteurs ont testé leur méthode sur :

Des données simulées : Comme des exercices de mathématiques où ils connaissaient la réponse exacte. Le CLS a toujours trouvé la bonne réponse, là où les anciennes méthodes (qui ne regardaient que les ingrédients) se trompaient.
Des données réelles :
- Médecine : Prédire la mortalité en réanimation. Ils ont pu identifier quels hôpitaux pouvaient partager leurs données pour améliorer le diagnostic d'un autre hôpital.
- Images : Distinguer les chiens des loups. Ils ont vu que transférer des données de "chats vs chiens" ne fonctionnait pas bien pour "chiens vs loups" (Zone Rouge), ce qui correspondait parfaitement à la réalité.

🚀 Conclusion

En résumé, ce papier nous donne une boussole fiable pour le transfert d'apprentissage. Au lieu de deviner si deux jeux de données sont compatibles, on peut maintenant le mesurer objectivement en regardant comment les modèles se comportent quand on les fait voyager d'un monde à l'autre.

C'est une avancée majeure pour éviter de gaspiller du temps et des ressources en essayant d'appliquer des solutions là où elles ne fonctionnent pas, et pour savoir exactement où elles peuvent briller.

1. Problématique

La mesure de la similarité entre deux jeux de données est fondamentale en apprentissage automatique, en particulier pour l'apprentissage par transfert (transfer learning), l'adaptation de domaine et l'apprentissage multi-tâches.

Limites des approches existantes : La plupart des méthodes actuelles quantifient la similarité en se basant uniquement sur la distribution des caractéristiques d'entrée ( $X$ ), en ignorant les étiquettes ( $Y$ ) et la relation entre les caractéristiques et la réponse (feature-response alignment).
Conséquence : Des jeux de données avec des distributions de $X$ similaires peuvent représenter des tâches de prédiction fondamentalement différentes. Ignorer la structure de la réponse conduit à des évaluations erronées de la transférabilité, pouvant entraîner un "transfert négatif" (dégradation des performances).
Objectif : Développer une métrique robuste qui évalue directement la similarité des relations $Y|X$ entre un jeu de données source et un jeu de données cible, sans nécessiter d'estimation de densité complexe en haute dimension.

2. Méthodologie : Le Score d'Apprentissage Croisé (CLS)

Les auteurs proposent le Cross-Learning Score (CLS), une métrique qui mesure la similarité à travers la performance de généralisation bidirectionnelle des règles de décision.

Définition Théorique

Le CLS est défini comme la moyenne symétrique de deux écarts directionnels de perte :

$\Delta_{s \to t}$ : La différence de performance entre le prédicteur optimal de la source ( $f^*(s)$ ) et le prédicteur optimal de la cible ( $f^*(t)$ ) lorsqu'ils sont évalués sur la distribution cible.
$\Delta_{t \to s}$ : L'écart inverse, évalué sur la distribution source.

La formule est :
$\text{CLS} = \frac{1}{2} (\Delta_{s \to t} + \Delta_{t \to s})$

Un CLS faible indique que les prédicteurs optimaux des deux domaines se comportent de manière similaire sur les deux distributions, suggérant une forte similarité structurelle.
Un CLS élevé indique une divergence structurelle significative.

Fondements Théoriques

Les auteurs établissent un lien théorique entre le CLS et la similarité cosinus entre les frontières de décision (decision boundaries) dans des modèles linéaires canoniques (régression probit et Analyse Discriminante Linéaire - LDA).

Le CLS est proportionnel à l'angle d'erreur entre les frontières de décision des tâches source et cible.
Cela fournit une interprétation géométrique : plus les frontières sont alignées, plus le CLS est proche de zéro.

Estimation Empirique

Puisque les règles de Bayes ( $f^*$ ) sont inconnues en pratique, le papier propose des algorithmes d'estimation :

Estimation par modèle unique : Entraîner un modèle sur la source et l'évaluer sur la cible (et vice-versa), puis soustraire les erreurs de validation croisée internes.
Estimation par ensemble (Ensemble) : Pour améliorer la robustesse, plusieurs modèles (ex: SVM linéaire, SVM à noyau radial, XGBoost, régression logistique) sont entraînés. Le CLS final est une moyenne pondérée ou un ensemble de leurs scores individuels. Cette approche évite les biais liés au choix d'un seul modèle.

Extension à l'Apprentissage Profond (Deep Learning)

Pour s'adapter aux architectures modernes (encodeur-tête), les auteurs proposent une version modifiée du CLS (Encoder-Head CLS) :

Étape 1 : Entraîner un encodeur partagé sur les deux jeux de données pour apprendre des représentations de caractéristiques alignées.
Étape 2 : Geler l'encodeur et entraîner des "têtes" (heads) spécifiques à chaque domaine pour l'évaluation croisée.
Cela permet de séparer l'apprentissage de la représentation de l'adaptation de la tâche, reflétant mieux les protocoles de fine-tuning réels.

3. Cadre d'Évaluation de la Transférabilité

Le papier introduit un cadre pour catégoriser les jeux de données sources en trois zones basées sur le CLS et des seuils statistiques ( $\tau_1, \tau_2$ ) :

Zone de Transfert Positif (PT) : CLS faible. Le transfert est susceptible d'améliorer les performances.
Zone Ambiguë (AZ) : CLS intermédiaire. Le bénéfice est incertain.
Zone de Transfert Négatif (NT) : CLS élevé. Le transfert risque de dégrader les performances.

Les seuils sont déterminés de manière data-driven en utilisant l'erreur standard des erreurs de validation croisée, garantissant une probabilité faible de faux positifs.

4. Résultats Expérimentaux

Les auteurs ont validé le CLS sur des données synthétiques et réelles.

Données Synthétiques

Corrélation avec la similarité : Le CLS montre une relation monotone parfaite (corrélation de Spearman = 1.0) avec le niveau de similarité contrôlé (via la similarité cosinus des paramètres ou un coefficient de mélange).
Comparaison avec d'autres métriques :
- Les métriques basées sur la distribution de $X$ seule (Divergence KL, Distance de Wasserstein) échouent à détecter la similarité lorsque les distributions de $X$ sont identiques mais que les relations $Y|X$ diffèrent (corrélation ~0).
- L'OTDD (Optimal Transport Dataset Distance) fonctionne bien dans certains cas mais est instable et ne s'applique pas directement à la régression.
- Le CLS surpasse systématiquement ces méthodes, y compris dans des scénarios non linéaires.
Robustesse de l'estimation : La méthode d'estimation par ensemble (Ensemble) s'avère la plus précise et la plus stable, réduisant l'erreur par rapport au CLS "Oracle" (calculé avec les vraies règles de Bayes).

Données Réelles

Prédiction de mortalité en réanimation (eICU) :
- Utilisation de données de 11 hôpitaux.
- Le CLS a correctement identifié 6 hôpitaux sources comme "Transfert Positif" et 4 comme "Ambigus".
- Les résultats empiriques (réduction de l'erreur relative) ont confirmé que les hôpitaux classés en PT offraient des gains de performance, tandis que ceux en AZ montraient des résultats mitigés.
Classification d'images canines (Chiens vs Loups) :
- Utilisation d'architectures ResNet-18 (Encoder-Head CLS).
- Le CLS a correctement classé un jeu de données "Chats vs Chiens" et "Chevaux vs Chameaux" comme Transfert Négatif (car les concepts visuels ne sont pas transférables), et un jeu "Chiens vs Loups" (plus similaire) comme Zone Ambiguë, ce qui correspond aux résultats de fine-tuning observés.

5. Contributions Clés et Signification

Nouvelle Métrique Fondée sur la Tâche : Le CLS déplace le paradigme de la similarité des distributions de données vers la similarité des relations de prédiction (feature-response), ce qui est plus pertinent pour l'apprentissage supervisé.
Interprétabilité Géométrique : La connexion théorique avec la similarité cosinus des frontières de décision offre une justification mathématique solide.
Efficacité Computationnelle : Contrairement à l'OTDD qui est coûteux, le CLS évite l'estimation de densité et est scalable aux données de haute dimension.
Cadre Pratique pour le Deep Learning : L'extension "Encoder-Head" rend la métrique applicable aux pipelines modernes de transfert d'apprentissage profond.
Outil de Diagnostic : Le système de zones (PT/AZ/NT) fournit aux praticiens un outil décisionnel pour sélectionner les sources de données, éviter le transfert négatif et optimiser l'agrégation dans l'apprentissage fédéré.

En conclusion, ce papier propose une solution robuste et théoriquement fondée pour quantifier la transférabilité, comblant le fossé entre la similarité des données brutes et la similarité des tâches d'apprentissage sous-jacentes.