🤖 machine learning

Conformal Risk Minimization for Semi-Supervised Domain Adaptation via Optimal Transport

Cet article propose un cadre de bout en bout pour l'adaptation de domaine semi-supervisée qui intègre la minimisation du risque conforme avec le transport optimal pour générer des pseudo-étiquettes, permettant ainsi l'entraînement de modèles qui produisent des ensembles de prédiction compacts et à couverture valide malgré des données cibles étiquetées limitées.

Auteurs originaux : Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

Publié 2026-08-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de haut vol du diagnostic médical, un modèle d'apprentissage automatique est souvent entraîné sur des données provenant d'un groupe de patients, mais doit être utilisé pour diagnostiquer un groupe différent. Ce décalage de population crée un fossé caché : le modèle pourrait reconnaître des motifs qu'il n'a jamais vus auparavant, entraînant des erreurs qui pourraient nuire à un patient. Pour instaurer la confiance, les médecins ont besoin de plus qu'une simple supposition ; ils ont besoin de savoir à quel point le modèle est sûr de lui. Une méthode appelée prédiction conforme offre une solution en fournissant une liste de diagnostics possibles plutôt qu'un seul. Cette liste garantit de contenir la bonne réponse un certain pourcentage du temps, offrant ainsi un filet de sécurité aux cliniciens. Cependant, un problème majeur survient lorsque ces listes sont générées après que le modèle a déjà été entraîné. Parce que le processus d'entraînement n'a pas pris en compte la manière dont ces listes seraient formées, les listes résultantes sont souvent bien trop larges pour être utiles, contenant tellement de possibilités qu'un médecin ne peut prendre de décision.

Des chercheurs de l'Université Duke ont développé une nouvelle approche pour corriger ce problème, spécifiquement pour les situations où les données étiquetées pour le nouveau groupe de patients sont rares. Ils ont créé un système qui enseigne au modèle à réfléchir à la taille de ses futures listes de diagnostics pendant qu'il est encore en phase d'apprentissage. En combinant une technique d'alignement de différentes populations de patients avec une méthode d'optimisation pour des listes plus petites et plus précises, ils ont construit un modèle capable de produire des ensembles compacts et fiables de diagnostics potentiels. Leurs travaux suggèrent qu'en planifiant l'incertitude durant la phase d'entraînement plutôt qu'en l'ajoutant après coup, l'IA médicale peut devenir à la fois plus précise et plus pratique pour une utilisation dans le monde réel.

Le défi central que l'équipe a abordé est connu sous le nom d'adaptation de domaine semi-supervisée. Imaginez un médecin qui a étudié des milliers d'images de peau dans un hôpital, mais qui doit maintenant diagnostiquer des patients dans un autre hôpital où seules quelques images sont étiquetées. Les patients du nouvel hôpital peuvent avoir des carnations, des conditions d'éclairage ou des équipements différents, créant un « décalage de distribution » qui déroute le modèle. Les méthodes traditionnelles tentent de combler ce fossé en apprenant au modèle à ignorer les différences entre les deux hôpitaux et à se concentrer uniquement sur les caractéristiques qui comptent pour le diagnostic. Cependant, ces méthodes visent généralement uniquement la réponse la plus probable. Elles ne se soucient pas de la taille du filet de sécurité que le modèle fournira par la suite.

Lorsque les chercheurs appliquent la prédiction conforme à ces modèles pré-entraînés comme étape finale, le filet de sécurité devient souvent un filet si large qu'il attrape tout. Cela se produit parce que le modèle n'a jamais été entraîné pour minimiser le nombre d'options qu'il propose. L'équipe de Duke a réalisé que pour obtenir une liste utile, le modèle doit être entraîné avec la liste à l'esprit dès le début. Ils ont proposé un cadre appelé CP-JDOT, qui intègre l'objectif de créer des listes petites et efficaces directement dans le processus d'entraînement. Cela permet au modèle d'apprendre une représentation des données qui conduit naturellement à des prédictions plus serrées et plus confiantes.

Pour faire fonctionner cela avec très peu d'exemples étiquetés de l'hôpital cible, les chercheurs ont utilisé un outil mathématique appelé transport optimal. Considérez cet outil comme un moyen de faire correspondre chaque patient non étiqueté du nouvel hôpital avec un patient similaire de l'ancien hôpital, empruntant ainsi le diagnostic de l'ancien patient pour guider celui du nouveau. Cela crée un ensemble de « pseudo-étiquettes » qui agissent comme un pont, permettant au modèle d'apprendre de l'abondance de données de l'hôpital source tout en s'adaptant aux besoins spécifiques de l'hôpital cible. Le système utilise ensuite le petit nombre d'exemples réellement étiquetés de l'hôpital cible pour fixer un seuil pour la taille des listes de prédiction.

Les chercheurs ont testé leur méthode dans deux scénarios différents. Premièrement, ils ont utilisé un benchmark standard de reconnaissance d'objets impliquant des images provenant de quatre domaines différents : l'art, le clipart, les produits et les photos du monde réel. Ils ont simulé la condition difficile où un seul ou trois exemples étiquetés par catégorie étaient disponibles pour le domaine cible. Dans ces tests, leur méthode a systématiquement produit des listes de prédiction plus petites que les meilleures méthodes existantes, réduisant le nombre moyen d'options d'environ cinq à dix pour cent. Cette amélioration était significative même dans les cas où le transfert entre les domaines était difficile, suggérant que l'approche est robuste.

Ils ont également appliqué la méthode à une tâche médicale plus critique : la classification des lésions cutanées. En utilisant les données du jeu de données HAM10000 comme source, ils ont testé le modèle sur cinq ensembles de données cibles représentant diverses conditions d'imagerie cutanée. Ici, les résultats étaient encore plus frappants. La nouvelle méthode a réduit la taille moyenne des listes de prédiction jusqu'à douze pour cent par rapport aux approches précédentes. Cela signifie que pour un médecin examinant une lésion cutanée, le modèle offrirait une liste beaucoup plus courte de conditions potentielles, rendant le diagnostic plus rapide et plus actionnable, tout en maintenant la garantie rigoureuse que le diagnostic correct est inclus dans la liste.

Au-delà de la simple réduction de la taille des listes, les chercheurs ont montré que leur cadre pouvait être ajusté pour respecter des règles médicales spécifiques. Dans le diagnostic du cancer de la peau, il est dangereux d'avoir une liste qui inclut simultanément des possibilités bénignes et malignes, car cela crée un signal confus pour le médecin. L'équipe a modifié leur fonction de perte pour pénaliser de telles listes contradictoires. Lorsqu'ils l'ont fait, le nombre de listes mixtes et confuses a chuté de façon spectaculaire, de soixante à soixante-quinze pour cent à travers les différents ensembles de données. Le compromis a été une augmentation très légère de la taille globale des listes, mais le résultat est un ensemble de prédictions qui étaient non seulement statistiquement valides, mais aussi sémantiquement cohérentes et cliniquement utiles.

Les conclusions suggèrent que la manière traditionnelle d'entraîner les modèles d'IA — optimiser pour une seule réponse correcte puis essayer de corriger l'incertitude après coup — est fondamentalement limitée. En intégrant l'objectif d'une quantification efficace de l'incertitude directement dans le processus d'apprentissage, le modèle apprend à produire des sorties qui sont intrinsèquement mieux adaptées à la prise de décision à enjeux élevés. Les chercheurs ont démontré qu'il est possible d'entraîner un modèle qui est conscient de ses propres limites et de la structure de ses futures prédictions, même lorsque les données sont rares. Cette approche offre une voie prometteuse vers une IA médicale qui soit non seulement précise, mais aussi digne de confiance et alignée sur les besoins pratiques des cliniciens.

Résumé Technique : Minimisation du Risque Conforme pour l'Adaptation de Domaine Semi-Supervisée via le Transport Optimal

1. Définition du Problème

Dans les applications cliniques à enjeux élevés, les modèles d'apprentissage automatique sont souvent confrontés à un décalage de distribution lorsqu'ils sont entraînés sur une population de patients source et déployés sur une population cible. Bien que l'Adaptation de Domaine Semi-Supervisée (SSDA) réponde à cela en exploitant des données sources étiquetées et des données cibles étiquetées limitées pour améliorer la précision des prédictions ponctuelles, les méthodes de SSDA existantes ne parviennent pas à fournir une quantification de l'incertitude rigoureuse.

La Prédiction Conforme (CP) conventionnelle offre des garanties de couverture sans hypothèse de distribution, mais elle est généralement appliquée a posteriori à des modèles pré-entraînés. Cette approche produit souvent des ensembles de prédiction excessivement larges car le modèle sous-jacent a été optimisé pour la précision ponctuelle, et non pour la géométrie des scores de non-conformité qui dicte la taille de l'ensemble. Bien que la Minimisation du Risque Conforme (CRM) intègre directement l'optimisation de la taille des ensembles lors de l'entraînement, elle nécessite traditionnellement de grands ensembles de données étiquetées pour calculer les seuils de non-conformité pendant l'entraînement — une ressource rare dans le régime SSDA.

Le problème central abordé est le suivant : Comment entraîner de manière optimale des prédicteurs conformes pour des tâches d'adaptation de domaine semi-supervisée où les données étiquetées dans le domaine cible sont limitées ?

2. Méthodologie : CP-JDOT

Les auteurs proposent CP-JDOT, un cadre de bout en bout qui intègre la Minimisation du Risque Conforme dans un cadre de Joint Domain Adaptation (JDOT) utilisant le Transport Optimal (OT). La méthode est conçue pour optimiser un modèle prédictif $f_\theta$ (comprenant une fonction d'encodage $g$ et un classifieur $h$ ) afin de produire des ensembles de prédiction compacts et valides en termes de couverture sur le domaine cible.

2.1 Composants Fondamentaux

L'objectif d'entraînement minimise une fonction de perte composite :
$\min_{\theta} L_{cls}(f_\theta) + \lambda_1 L_{DA}(f_\theta) + \lambda_2 L_c(f_\theta)$
Où :

$L_{cls}$ : Perte de classification (adaptée pour l'apprentissage cross-domaine).
$L_{DA}$ : Perte d'alignement de domaine.
$L_c$ : Perte d'alignement conforme (pénalisant les ensembles de prédiction de grande taille).

2.2 La Boucle d'Entraînement

L'algorithme fonctionne de manière stochastique itérative en utilisant deux mini-lots : un provenant de l'ensemble source étiqueté ( $S$ ) et un provenant de l'ensemble cible non étiqueté ( $T_u$ ).

Estimation du Seuil : À chaque itération, un quantile $(1-\alpha)$ différentiable $\tau$ des scores de non-conformité est calculé en utilisant le petit ensemble cible étiqueté ( $T_l$ ). Ce $\tau$ sert de seuil conforme.
Couplage par Transport Optimal : Le cadre utilise la Joint Domain Adaptation pour mapper les domaines source et cible dans un espace latent partagé. Il emploie le Transport Optimal (OT) pour calculer un couplage $\gamma$ entre les échantillons sources et les échantillons cibles non étiquetés. Ce couplage transfère les étiquettes sources vers les instances cibles sous forme de pseudo-étiquettes, fournissant le signal de supervision nécessaire pour les données cibles non étiquetées.
Optimisation de la Perte : Le modèle est mis à jour via une descente de gradient stochastique pour minimiser une perte totale comprenant :
- ERM Source : Standard cross-entropy sur les données sources étiquetées pour stabiliser l'entraînement.
- Alignement de Domaine ( $L_{DA}$ ) : Utilise le Transport Optimal Géométrique (GOT) pour aligner les distributions de caractéristiques entre la source et la cible.
- Classification Conforme ( $L_{cls}$ ) : Une pénalité différentiable garantissant que l'ensemble conforme pour un échantillon cible inclut l'étiquette source propagée par l'OT.
- Efficacité Conforme ( $L_c$ ) : Un terme de pénalité minimisant la cardinalité attendue (taille) des ensembles de prédiction pour les échantillons cibles non étetés.

2.3 Contraintes Spécifiques au Domaine

Le cadre permet l'incorporation de connaissances métier en modifiant la perte de classification par une perte de contrôle ( $L_{control}$ ). Cela permet d'appliquer des pénalités sur des compositions d'ensembles spécifiques. Par exemple, dans la classification des lésions cutanées, la perte peut pénaliser les ensembles de prédiction qui incluent simultanément des classes mutuellement exclusives (par exemple, des diagnostics bénins et malins), assurant une cohérence sémantique même si cela augmente légèrement la taille de l'ensemble.

3. Contributions Clés

Cadre CP-JDOT : Un nouveau cadre de SSDA qui intègre la CRM au sein d'un contexte de Joint Domain Adaptation avec Transport Optimal. Il comble l'écart entre la CRM supervisée et la SSDA en exploitant les pseudo-étiquettes dérivées de l'OT pour calibrer les prédicteurs conformes dans un espace de caractéristiques globalement aligné, en utilisant uniquement un petit ensemble cible étiqueté.
Contrôle de la Composition des Ensembles : La méthode démontre que l'intégration directe de l'objectif conforme dans la boucle d'entraînement permet l'utilisation de termes de pénalité adaptés aux exigences spécifiques du domaine. Cela permet de contrôler la composition des ensembles (par exemple, atténuer la "confusion de couverture" en excluant des classes contradictoires), produisant des ensembles de prédiction statistiquement valides et sémantiquement significatifs.
Supériorité Empirique : Une analyse rigoureuse montre que l'approche de bout en en bout surpasse systématiquement les méthodes de SSDA de pointe suivies de wrappers conformes a posteriori. La méthode atteint des tailles d'ensembles de prédiction moyennes plus petites tout en préservant les garanties de couverture.

4. Résultats Expérimentaux

Les auteurs ont évalué CP-JDOT sur deux configurations de référence :

Office-Home : Un benchmark standard d'adaptation de domaine avec 12 directions de transfert par paires (Art, Clipart, Product, Real World) utilisant ResNet-34 dans des contextes 1-shot et 3-shot.
Classification de Lésions Cutanées : Un contexte d'imagerie médicale transférant de HAM10000 (source) vers cinq domaines cibles (PH2, Derm7pt, MSK, SONIC, UDA) en utilisant ResNet-18 avec 10 échantillons cibles étiquetés par classe.

Principaux Résultats :

Réduction de la Taille des Ensembles : CP-JDOT a systématiquement obtenu la plus petite taille moyenne d'ensemble de prédiction à travers toutes les directions de transfert, surpassant les meilleurs baselines (ex: MME, CDAC, DECOTA) d'environ 5 à 10 % sur Office-Home et jusqu'à 12 % sur les jeux de données de lésions cutanées.
Précision vs Efficacité : Notamment, CP-JDOT a obtenu ces améliorations même avec une précision top-1 jusqu'à 10 % inférieure aux baselines SSDA les plus fortes. Cela soutient l'hypothèse que les objectifs de précision conventionnels sont mal alignés avec l'efficacité de la taille des ensembles conformes en aval.
Contrôle Sémantique : Dans l'étude d'ablation sur les lésions cutanées, le remplacement de la perte standard par $L_{control}$ a réduit la proportion d' "ensembles conflictuels" (contenant à la fois des classes bénignes et malignes) de 60 à de 75 % à travers les jeux de données, avec seulement une augmentation modeste de la taille moyenne des ensembles.

5. Signification et Revendications

L'article affirme que CP-JDOT fournit une base utile pour le développement de modèles adaptatifs de domaine où la quantification de l'incertitude n'est pas traitée comme une étape de post-traitement séparée. En optimisant conjointement l'adaptation de domaine et les objectifs conformes, le cadre produit des ensembles de prédiction qui sont :

Compacts : Significativement plus petits que ceux générés par la calibration a posteriori de modèles optimisés pour la précision.
Valides en termes de Couverture : Maintenant des garanties rigoureuses sans hypothèse de distribution.
Actionnables Cliniquement : Capables d'incorporer des contraintes spécifiques au domaine (par exemple, exclure des diagnostics contradictoires) directement dans le processus d'entraînement.

Les auteurs soulignent que cette approche est particulièrement critique dans des contextes à enjeux élevés comme la santé, où la composition d'un ensemble de prédiction (par exemple, éviter un mélange de diagnostics bénins et malins) est aussi importante que sa taille pour la prise de décision clinique.