🤖 machine learning

Conformal Risk Minimization for Semi-Supervised Domain Adaptation via Optimal Transport

Dit artikel stelt een end-to-end raamwerk voor voor Semi-Supervised Domain Adaptation dat Conformal Risk Minimization integreert met Optimal Transport om pseudolabels te genereren, waardoor het trainen van modellen mogelijk wordt die compacte, dekking-geldige voorspellingssets produceren ondanks beperkte gelabelde doelgegevens.

Oorspronkelijke auteurs: Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de hooggestoken wereld van medische diagnostiek wordt een machine learning-model vaak getraind op gegevens van één groep patiënten, maar moet het worden gebruikt om een andere groep te diagnosticeren. Deze verschuiving in populatie creëert een verborgen kloof: het model kan patronen herkennen die het nog nooit eerder heeft gezien, wat leidt tot fouten die een patiënt schade kunnen berokkenen. Om vertrouwen te bouwen, hebben artsen meer nodig dan slechts één enkele gok; ze moeten weten hoe zeker het model is. Een methode genaamd conformal prediction biedt een oplossing door een lijst met mogelijke diagnoses te geven in plaats van slechts één enkele diagnose. Deze lijst garandeert dat het juiste antwoord een specifiek percentage van de tijd wordt bevat, wat clinici een vangnet biedt. Er ontstaat echter een groot probleem wanneer deze lijsten worden gegenereerd nadat het model al is getraind. Omdat het trainingsproces niet heeft overwogen hoe deze lijsten gevormd zouden worden, zijn de resulterende lijsten vaak veel te groot om nuttig te zijn, omdat ze zoveel mogelijkheden bevatten dat een arts geen beslissing kan nemen.

Onderzoekers aan de Duke University hebben een nieuwe aanpak ontwikkend om dit probleem op te lossen, specifief voor situaties waarin gelabelde gegevens voor de nieuwe patiëntengroep schaars zijn. Ze hebben een systeem gecreëerd dat het model leert om na te denken over de grootte van zijn toekomstige diagnoselijsten terwijl het nog aan het leren is. Door een techniek te combineren die verschillende patiëntengroepen op elkaar afstemt met een methode die optimaliseert voor kleinere, preciezere lijsten, bouwden ze een model dat compacte, betrouwbare verzamelingen van potentiële diagnoses produceert. Hun werk suggereert dat door tijdens de trainingsfase te plannen voor onzekerheid, in plaats van het er achteraf aan toe te voegen, medische AI zowel nauwkeuriger als praktischer bruikbaar kan worden voor de echte wereld.

De kernuitdaging die het team aanpakte, staat bekend als semi-supervised domain adaptation. Stel je een arts voor die duizenden huidbeelden uit één ziekenhuis heeft bestudeerd, maar nu patiënten moet diagnosticeren in een ander ziekenhuis waar slechts een handvol beelden gelabeld zijn. De patiënten van het nieuwe ziekenhuis kunnen andere huidtinten, lichtomstandigheden of apparatuur hebben, wat een "distributieverschuiving" creëert die het model in verwarring brengt. Traditionele methoden proberen deze kloof te overbruggen door het model te leren de verschillen tussen de twee ziekenhuizen te negeren en zich alleen te concentreren op de kenmerken die belangrijk zijn voor de diagnose. Deze methoden streven echter meestal alleen naar het meest waarschijnlijke enkele antwoord. Ze geven niet om de grootte van het veiligheidsnet dat het model uiteindelijk zal bieden.

Wanneer onderzoekers conformal prediction toepassen op deze vooraf getrainde modellen als een laatste stap, wordt het veiligheidsnet vaak een net dat zo breed is dat het alles vangt. Dit gebeurt omdat het model nooit getraind is om het aantal opties dat het biedt te minimaliseren. Het Duke-team realiseerde zich dat om een nuttige lijst te krijgen, het model vanaf het begin met de lijst in gedachten getraind moet worden. Ze stelden een framework voor genaamd CP-JDOT, dat het doel om kleine, efficiënte lijsten te creëren direct integreert in het trainingsproces. Dit stelt het model in staat om een representatie van de data te leren die van nature leidt tot strakkere, meer zelfverzekerde voorspellingen.

Om dit werkend te krijgen met zeer weinig gelabelde voorbeelden van het doelziekenhuis, gebruikten de onderzoekers een wiskundig hulpmiddel genaamd optimal transport. Denk aan dit hulpmiddel als een manier om elke ongelabelde patiënt uit het nieuwe ziekenhuis te koppelen aan een vergelijkbare patiënt uit het oude ziekenhuis, waarbij effectief de diagnose van de oude patiënt wordt geleend om de nieuwe te begeleiden. Dit creëert een set "pseudolabels" die fungeren als een brug, waardoor het model kan leren van de overvloedige data van het bronziekenhuis terwijl het zich aanpast aan de specifieke behoeften van het doelziekenhuis. Het systeem gebruikt vervolgens het kleine aantal werkelijke gelabelde voorbeelden uit het doelziekenhuis om een drempelwaarde in te stellen voor hoe groot de voorspellingslijsten moeten zijn.

De onderzoekers testten hun methode op twee verschillende scenario's. Eerst gebruikten ze een standaard benchmark voor objectherkenning bestaande uit afbeeldingen van vier domeinen: kunst, clipart, producten en realistische foto's. Ze simuleerden de moeilijke conditie waarbij slechts één of drie gelabelde voorbeelden per categorie beschikbaar waren voor het doeldomein. In deze tests produceerde hun methode consequent kleinere voorspellingslijsten dan de beste bestaande methoden, waarbij het gemiddelde aantal opties met ongeveer vijf tot tien procent werd verminderd. Deze verbetering was significant, zelfs in gevallen waar de transfer tussen domeinen moeilijk was, wat suggereert dat de aanpak robuust is.

Ze pasten de methode ook toe op een belangrijkere medische taak: het classificeren van huidlaesies. Gebruikmakend van data uit de HAM10000-dataset als bron, testten ze het model op vijf verschillende doeldatasets die verschillende omstandigheden van huidbeeldvorming vertegenwoordigen. Hier waren de resultaten nog indrukwekkender. De nieuwe methode verminderde de gemiddelde grootte van de voorspellingslijsten met wel twaalf procent vergeleken met eerdere benaderingen. Dit betekent dat voor een arts die naar een huidlaesie kijkt, het model een veel kortere lijst met potentiële condities biedt, wat de diagnose sneller en actiebaarder maakt, terwijl de strikte garantie behouden blijft dat de juiste diagnose in de lijst is opgenomen.

Naast het simpelweg kleiner maken van de lijsten, lieten de onderzoekers zien dat hun framework getuned kon worden om specifieke medische regels te respecteren. Bij de diagnose van huidkanker is het gevaarlijk om een lijst te hebben die tegelijkertijd zowel goedaardige als kwaadaardige mogelijkheden bevat, omdat dit een verwarrend signaal geeft aan de arts. Het team paste hun training loss aan om dergelijke tegenstrijdige lijsten te bestraffen. Wanneer zij dit deden, daalde het aantal verwarrende, gemengde lijsten drastisch met zestig tot seventy-five procent over de verschillende datasets. De afruil was een zeer lichte toename in de algehele grootte van de lijsten, maar het resultaat was een set voorspellingen die niet alleen statistisch geldig, maar ook semantisch coherent en klinisch bruikbaar was.

De bevindingen suggereren dat de traditionele manier van AI-modellen trainen—het optimaliseren voor één enkel correct antwoord en dan proberen de onzekerheid achteraf te corrigeren—fundamenteel beperkt is. Door het doel van efficiënte onzekerheidskwantificatie direct in het leerproces te integreren, leert het model outputs te produceren die inherent beter geschikt zijn voor besluitvorming met hoge inzet. De onderzoekers hebben aangetoond dat het mogelijk is om een model te trainen dat zich bewust is van zijn eigen beperkingen en de structuur van zijn toekomstige voorspellingen, zelfs wanneer data schaars is. Deze aanpak biedt een veelbelovend pad naar medische AI die niet alleen accuraat is, maar ook betrouwbaar en afgestemd op de praktische behoeften van clinici.

Technische Samenvatting: Conformal Risk Minimization voor Semi-Supervised Domain Adaptation via Optimal Transport

1. Probleemdefinitie

In klinische toepassingen met een hoog risico worden machine learning-modellen vaak geconfronteerd met een distributieverschuiving (distribution shift) wanneer ze zijn getraind op een bronpopulatie van patiënten en worden ingezet op een doelpopulatie. Hoewel Semi-Supervised Domain Adaptation (SSDA) dit aanpakt door gelabelde brongegevens en beperkte gelabelde doelgegevens te benutten om de nauwkeurigheid van puntvoorspellingen te verbeteren, schieten bestaande SSDA-methoden tekort in het bieden van een principiële onzekerheidskwantificering.

Conventionele Conformal Prediction (CP) biedt distributievrije dekking-garanties, maar wordt doorgaans post-hoc toegepast op vooraf getrainde modellen. Deze aanpak levert vaak onaanvaardbaar grote voorspellingssets op omdat het onderliggende model is geoptimaliseerd voor puntnauwkeurigheid, en niet voor de geometrie van nonconformiteitsscores die de grootte van de set bepaalt. Hoewel Conformal Risk Minimization (CRM) de optimalisatie van de setgrootte direct in de training integreert, vereist het traditioneel grote gelabelde datasets om nonconformiteitsdrempels tijdens de training te berekenen — een hulpbron die schaars is in het SSDA-regime.

Het kernprobleem dat wordt geadresseerd is: Hoe kunnen we conformale voorspellers optimaal trainen voor semi-supervised domain adaptation taken waarbij gelabelde data in het doeldomein beperkt is?

2. Methodologie: CP-JDOT

De auteurs stellen CP-JDOT voor, een end-to-end framework dat Conformal Risk Minimization integreert in een Joint Domain Adaptation (JDOT) framework met behulp van Optimal Transport (OT). De methode is ontworpen om een predictief model $f_\theta$ (bestaande uit een embedding functie $g$ en een classifier $h$ ) te optimaliseren om compacte, dekking-valide voorspellingssets op het doeldomein te produceren.

2.1 Kerncomponenten

De trainingsdoelstelling minimaliseert een samengestelde verliesfunctie:
$\min_{\theta} L_{cls}(f_\theta) + \lambda_1 L_{DA}(f_\theta) + \lambda_2 L_c(f_\theta)$
Waarbij:

$L_{cls}$ : Classificatieverlies (aangepast voor cross-domain leren).
$L_{DA}$ : Domain alignment verlies.
$L_c$ : Conformal alignment verlies (straft grote voorspellingssets af).

2.2 De Trainingslus

Het algoritme werkt op een iteratieve stochastische wijze met behulp van twee minibatches: één uit de gelabelde bronset ( $S$ ) en één uit de ongelabelde doelset ( $T_u$ ).

Drempelwaarde Schatting: In elke iteratie wordt een differentieerbare $(1-\alpha)$ -kwantiel $\tau$ van de nonconformiteitsscores berekend met behulp van de kleine gelabelde doelset ( $T_l$ ). Deze $\tau$ dient als de conformale drempelwaarde.
Optimal Transport Koppeling: Het framework gebruikt Joint Domain Adaptation om bron- en doeldomeinen in een gedeelde latente ruimte te mappen. Het maakt gebruik van Optimal Transport (OT) om een koppeling $\gamma$ te berekenen tussen bronstalen en ongelabelde doelstalen. Deze koppeling draagt bronlabels over naar doelinstanties als pseudolabels, wat het noodzakelijke supervisiesignaal biedt voor de ongelabelde doelgegevens.
Loss Optimalisatie: Het model wordt bijgewerkt via stochastic gradient descent om een totale loss te minimaliseren die het volgende bevat:
- Source ERM: Standaard cross-entropy op gelabelde brongegevens om de training te stabiliseren.
- Domain Alignment ( $L_{DA}$ ): Gebruikt Geometric Optimal Transport (GOT) om de feature-distributies tussen bron en doel uit te lijnen.
- Conformal Classification ( $L_{cls}$ ): Een differentieerbare straf die ervoor zorgt dat de conformale set voor een doelsteek de door OT-gepropageerde bronlabel bevat.
- Conformal Efficiency ( $L_c$ ): Een strafterm die de verwachte cardinaliteit (grootte) van de voorspellingssets voor ongelabelde doelstalen minimaliseert.

2.3 Domeinspecifieke Beperkingen

Het framework ondersteunt de incorporatie van domeinkennis door de classificatieverlies te wijzigen naar een control loss ( $L_{control}$ ). Dit maakt het mogelijk om straffen op specifieke set-composities op te leggen. Bijvoorbeeld, bij de classificatie van huidlaesies kan de loss sets bestraffen die gelijktijdig wederzijds uitsluitende klassen bevatten (bijv. goedaardige en kwaadaardige diagnoses), wat semantische coherentie waarborgt, zelfs als dit de setgrootte enigszins vergroot.

3. Belangrijkste Bijdragen

CP-JDOT Framework: Een nieuw SSDA-trainingsframework dat CRM integreert binnen een Joint Domain Adaptation met Optimal Transport setting. Het overbrugt de kloof tussen supervised CRM en SSDA door OT-afgeleide pseudolabels te gebruiken om conformale voorspellers te kalibreren in een globaal uitgelijnde feature-ruimte met slechts een kleine gelabelde doelset.
Gecontroleerde Set-Compositie: De methode toont aan dat het direct in de trainingslus integreren van de conformale doelstelling het gebruik van straftermen mogelijk maakt die zijn afgestemd op domeinspecifieke vereisten. Dit maakt het mogelijk om de set-compositie te controleren (bijv. het mitigeren van "coverage confusion" door conflicterende klassen uit te sluiten), wat resulteert in voorspellingssets die statistisch valide en semantisch betekenisvol zijn.
Empirische Superioriteit: Rigoureuze analyse toont aan dat de end-to-end aanpak consequent beter presteert dan state-of-the-art SSDA-methoden gevolgd door post-hoc conformale wrappers. De methode bereikt kleinere gemiddelde voorspellingssetgroottes terwijl de dekking-garanties behouden blijven.

4. Experimentele Resultaten

De auteurs evalueerden CP-JDOT op twee benchmark-instellingen:

Office-Home: Een standaard domain adaptation benchmark met 12 paarwijze transferrichtingen (Art, Clipart, Product, Real World) gebruikmakend van ResNet-34 in 1-shot en 3-shot settings.
Huidlaesie Classificatie: Een medische beeldvormingssetting waarbij getransformeerd wordt van HAM10000 (bron) naar vijf doeldomeinen (PH2, Derm7pt, MSK, SONIC, UDA) met behulp van ResNet-18 met 10 gelabelde doelstalen per klasse.

Belangrijkste Bevindingen:

Reductie in Setgrootte: CP-JDOT behaalde consistent de kleinste gemiddelde voorspellingssetgrootte over alle transferrichtingen, waarbij het de best presterende baselines (bijv. MME, CDAC, DECOTA) met ongeveer 5–10% op Office-Home en tot 12% op huidlaesie-datasets overtrof.
Nauwkeurigheid vs. Efficiëntie: Opvallend genoeg behaalde CP-JDOT deze verbeteringen zelfs wanneer het tot 10% lagere top-1 nauwkeurigheid had dan de sterkste SSDA-baselines. Dit ondersteunt de hypothese dat conventionele nauwkeurigheidsdoelstellingen niet goed zijn afgestemd op de downstream conformal set-size efficiëntie.
Semantische Controle: In de huidlaesie-ablatie-studie verminderde het vervangen van de standaard loss door $L_{control}$ het aandeel van "conflicterende sets" (bevatten zowel goedaardige als kwaadaardige klassen) met 60–75% over de datasets, met slechts een bescheiden toename in de gemiddelde setgrootte.

5. Betekenis en Claims

Het artikel claimt dat CP-JDOT een nuttige basis biedt voor het ontwikkelen van domein-adaptieve modellen waarbij onzekerheidskwantificering niet wordt behandeld als een aparte post-processing stap. Door domain adaptation en conformale doelstellingen gezamenlijk te optimaliseren, produceert het framework voorspellingssets die:

Compact zijn: Significant kleiner dan die gegenereerd door post-hoc kalibratie van op nauwkeurigheid geoptimaliseerde modellen.
Dekking-Valide zijn: Terwijl ze rigoureuze distributievrije garanties handhaven.
Klinisch Acteerbaar zijn: Capabel om domeinspecifieke beperkingen (bijv. het uitsluiten van tegenstrijdige diagnoses) direct in het trainingsproces te integreren.

De auteurs benadrukken dat deze aanpak bijzonder cruciaal is in omgevingen met een hoog risico, zoals de gezondheidszorg, waar de compositie van een voorspellingsset (bijv. het vermijden van een mix van goedaardige en kwaadaardige diagnoses) even belangrijk is als de grootte ervan voor klinische besluitvorming.