🤖 machine learning

One Size does not Fit All: Heterogeneous Latent Space Alignment for Unsupervised Domain Adaptation

Dit artikel stelt ADualVUOT voor, een nieuw raamwerk voor unsupervised domain adaptation voor medische beeldsegmentatie dat een dual-encoder VAE combineert met Continuous Normalizing Flows en Unbalanced Optimal Transport via de Gaussian-Gromov-Wasserstein afstand om domeinverschuivingen effectief aan te pakken door middel van verbeterde expressiviteit van de latente ruimte en adversariële augmentatie.

Oorspronkelijke auteurs: Evangelia Koskinioti, Yi Shen, Georgios Stamou, Michael M. Zavlanos

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Evangelia Koskinioti, Yi Shen, Georgios Stamou, Michael M. Zavlanos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante student (het AI-model) traint om specifieke organen in medische scans te identificeren. Je geeft ze een enorme bibliotheek met tekstboeken van één specif Kindelijk ziekenhuis (het Brondomein) waar de belichting perfect is, de machines nieuw zijn en alle patiënten uit dezelfde buurt komen. De student slaagde met vlag en wimpel voor het examen met behulp van deze boeken.

Echter, wanneer je deze student naar een ander ziekenhuis stuurt (het Doeldomein) om het echte werk te doen, gaat het mis. Het nieuwe ziekenhuis gebruikt oudere machines, de verlichting is minder fel en de patiënten hebben verschillende lichaamsbouw. De student, die het "uiterlijk" van de scans van het eerste ziekenhuis heeft uit het hoofd geleerd, raakt in de war en faalt. Dit is het probleem van Domain Shift (domeinverschuiving).

Het paper dat je hebt verstrekt, getiteld "One Size does not Fit All", stelt een nieuwe manier voor om dit op te lossen. Hier is de uitleg van hun oplossing met behulp van eenvoudige analogieën:

1. Het Problek: "One Size Does Not Fit All"

De meeste eerdere methoden probeerden de student een enkele, rigide set regels aan te leren die even goed van toepassing was op beide ziekenhuizen. Ze probeerden de complexe, hoogwaardige data van het eerste ziekenhuis en de rommelige, kleinere data van het tweede ziekenhuis in exact dezelfde "mentale doos" (een gedeelde latente ruimte) te proppen.

De auteurs stellen dat dit een slecht idee is. Het is alsof je probeert een grote, gedetailleerde kaart van een stad en een kleine, schetsmatige kaart van een dorp in precies hetzelfde kleine zakje te stoppen. Je verliest ofwel de details van de stad, of je kunt de dorpskaart er helemaal niet in kwijt.

2. De Oplossing: ADualVUOT

De auteurs hebben een nieuw systeem gebouwd genaamd ADualVUOT. Zie dit als een slim vertaal- en trainingssysteem met drie belangrijke trucs:

Truc A: Twee verschillende "Mentale Boxen" (Dual-Encoder VAE)

In plaats van de student te dwingen één mentale box te gebruiken voor beide ziekenhuizen, geven ze de student twee verschillende boxen.

Box 1 (Bron): Een grote, ruime box voor de complexe, gedetailleerde data van het eerste ziekenhuis.
Box 2 (Doel): Een kleinere, compactere box voor de beperkte data van het tweede ziekenhuis.

Dit stelt de student in staat om alle rijke details van de trainingsdata te behouden zonder ze plat te drukken, terwijl hij tegelijkertijd leert hoe hij die kennis naar de kleinere, simpelere doeldata kan vertalen.

Truc B: De "Vormveranderende" Vertaler (CNF & GGW)

Zelfs met twee verschillende boxen, hoe weet je of een "hart" in de grote box overeenkomt met een "hart" in de kleine box?

De Flow: Ze gebruiken een "vormveranderend" hulpmiddel (Continuous Normalizing Flows) dat de data binnen de boxen uitrekt en draait om het expressiever te maken, zoals het kneden van klei in de perfecte vorm.
De Vertaler: Ze gebruiken een speciale wiskundige tool genaamd Gaussian Gromov-Wasserstein (GGW). Stel je voor dat je twee verschillende talen hebt. In plaats van woord voor woord te vertalen (wat faalt als de talen te verschillend zijn), vergelijkt deze tool de structuur van de zinnen. De vraag is: "Lijkt de relatie tussen deze organen in de grote box op de relatie tussen organen in de kleine box?" Dit stelt hen in staat om de twee verschillende, gegrootte boxen perfect op elkaar af te stemmen zonder ze dezelfde grootte te willen geven.

Truc C: De "Stress-test" Coach (Adversarial Augmentation)

Om ervoor te zorgen dat de student echt klaar is voor het nieuwe ziekenhuis, voegen de auteurs een "stress-test" coach toe.

In plaats van de student alleen standaard oefenscanss te laten zien, creëert deze coach dynamisch worst-case scenario's. De coach mengt de "stijl" van het eerste ziekenhuis met die van het tweede, voegt willekeurige ruis toe en creëert on-the-fly verwarrende afbeeldingen.
De coach probeert de student te misleiden (door de afbeeldingen moeilijker leesbaar te maken), en de student probeert terug te vechten en toch het juiste antwoord te krijgen. Deze "adversarial" training maakt de student ongelooflijk robuust, zodat hij niet in paniek raakt wanneer hij geconfronteerd wordt met de echte, rommelige data in het nieuwe ziekenhuis.

3. De Resultaten

De auteurs hebben dit systeem getest op echte medische data:

Prostaat MRI: Scans van verschillende ziekenhuizen met verschillende machines.
Hartscans: Het wisselen tussen MRI- en CT-scans (die er heel verschillend uitzien).

In beide gevallen presteerde hun nieuwe systeem (ADualVUOT) beter dan alle voorgaande methoden. Het was beter in het omgaan met de verschillen tussen het "trainingsziekenhuis" en het "werkende ziekenhuis, wat bewees dat het geven van de AI flexibele, verschillende mentale boxen en het stress-testen met dynamische uitdagingen veel beter werkt dan proberen alles in één enkele, rigide mal te persen.

Kortom: Het paper zegt dat om AI te verbeteren wanneer het van de ene omgeving naar de andere overgaat, je moet stoppen met het proberen te forceren van een "one size fits all" oplossing. Geef de AI in plaats daarvan flexibele tools om met verschillende datagrootten om te gaan en train het met een coach die de moeilijkst mogelijke oefenscenario's creëert.

Technische Samenvatting: ADualVUOT voor Unsupervised Domain Adaptation

Probleemstelling

De betrouwbare inzet van machine learning-modellen in omgevingen met een hoog risico, met name bij medische beeldvorming, wordt gehinderd door domeinverschuiving (domain shift). Verschillen tussen de trainingsdata (bron) en de implementatiedata (doel) — veroorzaakt door variërende beeldvormingsapparaten, patiëntenpopulaties of acquisitieprotocollen — leiden tot significante prestatievermindering. Hoewel Unsupervised Domain Adaptation (UDA) ernaar streeft dit te mitigeren door kennis over te dragen van gelabelde brongegevens naar ongelabelde doelgegevens, kampen bestaande benaderingen met twee primaire beperkingen:

Restrictieve Latente Representaties: Veel op Optimal Transport (OT) gebaseerde methoden dwingen uitlijning af in een gedeelde latente ruimte met een identieke dimensionaliteit. Dit dwingt vaak tot het comprimeren van diverse, hoogdimensionale brondomeinen of het uitbreiden van kleinere doeldomeinen, waarbij domeinspecifieke informatie die cruciaal is voor downstream-taken verloren gaat.
Statische Augmentatie: Huidige dataugmentatiestrategieën vertrouwen vaak op handmatig ontworpen, vooraf gedefinieerde transformaties of vereisen voorkennis van het doeldomein, wat onrealistisch is wanneer de doeldata beperkt, gedeeltelijk geobserveerd of in ontwikkeling is.

Methodologie: ADualVUOT

De auteurs stellen ADualVUOT (Adversarial Dual Variational Unbalanced Optimal Transport) voor, een nieuwe deep learning-architectuur die specifiek is ontworpen voor medische beeldsegmentatie. Het framework integreert vier kerncomponenten om de beperkingen van gedeelde latente ruimtes en statische augmentatie aan te pakken:

1. Dual-Encoder Variational Autoencoder met Continuous Normalizing Flows (CNF)

In plaats van bron- en doeldata in een enkele gedeelde latente ruimte te dwingen, gebruikt ADualVUOT een dual-encoder architectuur:

Shared Encoder: Een gedeelde backbone extraheert kenmerkrepresentaties uit invoerbeelden.
Domain-Specific Heads: De kenmerken worden gesplitst in domeinspecifieke vol-verbonden (fully connected) heads die parameters voorspellen voor twee verschillende Gaussische posteriors. Dit maakt het mogelijk om de bron- en doeldomeinen te mappen naar latente ruimtes met verschillende dimensionaliteiten ( $K$ voor bron, $P$ voor doel), wat rekening houdt met het feit dat brondomeinen vaak groter en diverser zijn dan doeldomeinen.
Continuous Normalizing Flows (CNF): Om de restrictieve inductieve bias van Gaussische aannames te overwinnen, worden de initiële latente variabelen getransformeerd via CNFs. Dit creëert meer expressieve, niet-Gaussische posterior-distributies, wat de flexibiliteit van de modellering verbetert.

2. Hiërarchische Unbalanced Optimal Transport (UOT) met Gaussian Gromov-Wasserstein (GGW)

Om de heterogene latente ruimtes uit te lijnen zonder dat een gedeelde dimensionaliteit vereist is, maakt het framework gebruik van een hiërarchische OT-formulering:

Embedding-Level Alignment (GGW): De Gaussian Gromov-Wasserstein afstand wordt gebruikt om de interne geometrische structuren van de bron- en doel-latente distributies te vergelijken. Dit maakt transport mogelijk tussen ruimtes van verschillende dimensies door de eigenwaarden van hun covariantie-matrices te vergelijken, in plaats van te vertrouwen op punt-voor-punt afstanden.
Mini-Batch Level Alignment (UOT): Een Unbalanced Optimal Transport-plan wordt berekend om zachte correspondenties tussen bron- en doelstalen binnen een mini-batch vast te stellen. Dit handelt massaverlichting (mass relaxation) af, wat mogelijke distributieverschillen opvangt.
Semantische Consistentie: De transportkosten combineren de geometrische GGW-afstand met een semantische component gebaseerd op de Dice Similarity Coefficient (DSC) tussen bronlabels en doel-pseudo-labels, waardoor wordt gewaarborgd dat geometrisch gelijkaardige maar semantisch mismatchende embeddings niet aan elkaar worden gekoppeld.

3. Adversarial Data Augmentation (MaxStyle)

Om de robuustheid te verbeteren zonder afhankelijk te zijn van vooraf gedefinieerde augmentatiebeleid, passen de auteurs de MaxStyle strategie aan:

Style Mixing: Kenmerkkaarten van de bron- en doelreconstructie-decoders worden gemengd met behulp van lineaire combinaties van hun kanaalsgewijze gemiddelden en standaarddeviaties.
Adversarial Optimization: De mengcoëfficiënten en additieve ruisparameters worden geoptimaliseerd via gradient ascent op de bron-segmentatiefout (terwijl de netwerkgewichten bevroren blijven). Dit proces genereert dynamisch "worst-case" stijlcomposities die het model uitdagen, waardoor het wordt gedwongen om domein-invariante kenmerken te leren zonder dat er vooraf kennis van het doeldomein nodig is.

4. Trainingsdoelstelling

De totale verliesfunctie combineert:

Domeinspecifieke Evidence Lower Bound (ELBO) verliezen voor reconstructie en segmentatie (voor de bron).
Het UOT-transferverlies om de domeindiscrepantie te minimaliseren.
Een adversarial verliesterm die de doelstelling minimaliseert op de worst-case geaugmenteerde stalen.

Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

Nieuw Framework: De voorstel van ADualVUOT, dat Optimal Transport-theorie gebruikt via de Gaussian Gromov-Wasserstein afstand om een geometrie-bewuste uitlijning te realiseren tussen heterogene latente ruimtes (verschillende dimensies).
Dual-Encoder CNF-VAE: De introductie van een dual-encoder architectuur die bron- en doeldata projecteert in afzonderlijke latente ruimtes. De auteurs merken op dat dit het eerste werk is dat een dual-encoder architectuur integreert met OT-gebaseerde latente uitlijning voor UDA, waardoor restrictieve aannames over gedeelde dimensionaliteit worden vermeden.
Adversarial Augmentation: Een dynamische augmentatiestrategie die uitdagende stalen genereert om robuustheid te verbeteren en uitlijning te vergemakkelijken, waardoor de noodzaak voor voorafgaande kennis van het doeldomein of statische beleid wordt geëlimineerd.
Empirische Validatie: Demonstratie van effectiviteit op meerdere medische beeldsegmentatie-benchmarks, waarbij consistente verbeteringen worden getoond ten opzichte van bestaande OT-gebaseerde methoden.

Experimentele Resultaten

De auteurs hebben ADualVUOT geëvalueerd op twee medische beeldvormingsbenchmarks:

Multi-Site Prostate MRI Dataset: Betreffende adaptatie over zeven verschillende acquisitiesites. ADualVUOT behaalde de hoogste Dice-scores over alle doeldomeinen vergeleken met baselines zoals PUFT, JUMBOT en source-only modellen. Opmerkelijke winsten werden waargenomen op uitdagende sites (bijv. een verbetering van tot 8% ten opzichte van PUFT op Site D).
Multi-Modality Whole Heart Segmentation (MM-WHS): Betreffende cross-modality adaptatie (MRI $\leftrightarrow$ CT). ADualVUOT presteerde beter dan alle baselines, met bijzonder significante verbeteringen (tot 5% totaal) in de uitdagende CT-naar-MRI adaptatie-taak.

Ablatie-studies:

DualVUOT vs. ADualVUOT: Het verwijderen van de adversarial augmentatie (DualVUOT) resulteerde in lagere prestaties, wat het voordeel van dynamische worst-case stele-generatie bevestigt.
VUGW vs. DualVUOT: Het vervangen van de hiërarchische UOT-GGW door een standaard Unbalanced Gromov-Wasserstein plan (VUGW) toonde inferieure prestaties, wat het belang van de hiërarchische uitlijning en het dual-encoder ontwerp onderstreept.

Betekenis en Claims

Het artikel positioneert ADualVUOT als een oplossing voor de "one size fits all"-beperking van huidige domeinadaptatiemethoden. Door latente representaties te ontkoppelen en de GGW-afstand te gebruiken, behoudt de methode domeinspecifieke informatie die vaak verloren gaat bij benaderingen met een gedeelde ruimte. De integratie van adversarial augmentatie verhoogt de robuustheid tegen complexe domeinverschuivingen die gebruikelijk zijn in de medische beeldvorming, zoals variaties in scanners en acquisitieprotocollen. De auteurs claimen dat hun aanpak state-of-the-art resultaten bereikt op standaard medische benchmarks, waarbij elke component (dual-encoder, GGW-uitlijning en adversarial augmentatie) substantieel bijdraagt aan de algehele prestatieverbetering.