Unpaired Image-to-Image Translation via a Self-Supervised Semantic Bridge

Dit paper introduceert het Self-Supervised Semantic Bridge (SSB)-framework, dat externe semantische prioren integreert in diffusion-bridgemodellen om ongepaarde beeld-naar-beeld vertaling mogelijk te maken met behoud van ruimtelijke trouw zonder cross-domein supervisie, wat leidt tot superieure prestaties in medische beeldsynthese en tekstgestuurde bewerking.

De kern

De "Semantische Brug": Hoe je foto's vertaalt zonder ze te vergeten

Stel je voor dat je een vertaler hebt die foto's van het ene land naar het andere kan sturen.

• Land A is een MRI-scan (een foto van binnen in je lichaam, zwart-wit en wat wazig).
• Land B is een CT-scan (een foto van binnen in je lichaam, maar dan met heel veel details en andere tinten grijs).

Het probleem? Je hebt geen "tweelingparen" om te leren. Je hebt duizenden MRI's en duizenden CT's, maar ze horen niet bij elkaar. Je weet niet welke MRI precies bij welke CT hoort. Het is alsof je duizenden Engelse zinnen hebt en duizenden Nederlandse zinnen, maar je weet niet welke zinnen met elkaar corresponderen.

Tot nu toe hadden twee soorten vertalers:

1. De strijders (Adversarial): Deze proberen te vechten om te zien wie de beste vertaling maakt. Ze zijn goed, maar als ze een nieuwe, vreemde foto zien (bijvoorbeeld een MRI met een andere kleur), raken ze in paniek en maken ze fouten.
2. De omkeerders (Inversion): Deze proberen de foto eerst "terug te draaien" naar een wazige ruis (zoals statisch op een oude TV) en hem dan weer op te bouwen. Het probleem is dat ze bij het terugdraaien vaak details verliezen. De foto komt er weer uit, maar de botten staan misschien een beetje scheef.

De oplossing van dit papier: De "Self-Supervised Semantic Bridge" (SSB).

De onderzoekers hebben een nieuwe methode bedacht die werkt als een tussenstation of een brug.

1. De Brug van de "Geest" (De Semantische Bruggenbouwer)

In plaats van de foto's direct met elkaar te vergelijken, gebruiken ze een slimme bril (een AI-model genaamd DINO).

• Deze bril kijkt niet naar de kleur of de helderheid van de foto.
• Hij kijkt alleen naar de vorm en de structuur.

De Analogie:
Stel je voor dat je een tekening van een huis maakt in potlood (MRI) en een foto van hetzelfde huis in kleur (CT).

• De oude methoden probeerden de potloodlijnen direct om te zetten in verf, wat lastig is als de potloodlijnen niet precies overeenkomen.
• De nieuwe methode (SSB) kijkt eerst door een bril die zegt: "Ik zie een dak, twee ramen en een deur. Dat is het huis."
• Deze bril maakt een abstracte kaart van het huis. Het maakt niet uit of het potlood of de verf is; de kaart van het huis is hetzelfde.

2. De Reis zonder Paarden (Zonder gepaarde data)

Omdat de bril (de AI) de structuur van het huis in beide landen (MRI en CT) identiek ziet, kunnen ze een brug bouwen tussen de twee landen.

• Je neemt de MRI-foto.
• De bril maakt er een "structuur-kaart" van.
• De brug neemt die kaart en bouwt er een CT-foto op, precies op de juiste plekken.

Het mooie is: je hoeft nooit te weten welke MRI bij welke CT hoort. Je bouwt gewoon een brug van Land A naar de "Structuur-kaart" en een brug van Land B naar dezelfde "Structuur-kaart". Als je een nieuwe, vreemde MRI-foto krijgt (bijvoorbeeld een andere kleur), past de bril zich aan en bouwt hij de brug opnieuw. De structuur blijft perfect behouden.

3. Waarom is dit zo belangrijk?

• Voor artsen: Ze kunnen nu MRI's (die veilig en goedkoop zijn) omzetten in CT-achtige beelden (die nodig zijn voor stralingsbehandeling) zonder dat de patiënt extra straling krijgt. En het werkt zelfs als de MRI-foto's er anders uitzien dan de training (bijvoorbeeld een andere machine of instelling).
• Voor foto's: Je kunt een foto van een paard maken in een zebra-streepjespatroon, of een appel in een sinaasappel, zonder dat het paard ineens een neus krijgt of de appel van vorm verandert. De "geest" van het object blijft hetzelfde, alleen de "kleren" (de uitstraling) veranderen.

Samenvattend in één zin:

De onderzoekers hebben een slimme vertaler gebouwd die niet naar de oppervlakte (kleur/licht) kijkt, maar naar de onderliggende vorm. Hierdoor kan hij foto's van het ene type naar het andere vertalen zonder dat ze ooit samen zijn gezien, en zonder dat de foto's er "scheef" of wazig uitzien.

Het is alsof je een boek in het Nederlands hebt en een boek in het Frans, en je hebt een vertaler die niet woord voor woord vertaalt, maar eerst de verhaallijn begrijpt en die dan in het andere boek herschrijft. Het verhaal blijft perfect, alleen de taal verandert.

Technische samenvatting

Probleemstelling

Ongepaarde beeld-naar-beeld vertaling (Unpaired Image-to-Image Translation of I2I) is een fundamentele uitdaging in het ongesuperviseerde representatieleren. Het doel is om semantische inhoud over te dragen tussen verschillende domeinen (bijv. MRI naar CT-scans, of paarden naar zebra's) zonder dat er gepaarde trainingsdata beschikbaar is.

Bestaande methoden kampen met twee belangrijke beperkingen:

1. Adversariële methoden (GAN's): Deze vereisen vaak een adversariële verliesfunctie in het doeldomein tijdens het trainen. Dit beperkt de generalisatie naar ongezien data (Out-of-Domain of OOD), vooral wanneer er grote variaties zijn in contrast of resolutie (bijv. verschillende MRI-protocollen).
2. Inversie-gebaseerde methoden (Diffusie): Deze methoden keren een afbeelding om naar de ruisondergrond (noise-latent space) van een vooraf getraind diffusiemodel en synthetiseren deze opnieuw onder nieuwe voorwaarden. In de praktijk is deze inversie echter benaderend; fouten verspreiden zich tijdens het bemonsteren, wat vaak leidt tot structurele afwijkingen (drift) ten opzichte van de bronafbeelding.

De kernvraag is hoe men een robuuste vertaling kan bereiken die zowel de structuur van de bron behoudt als de distributie van het doel nabootst, zonder expliciete koppeling tussen de domeinen tijdens het trainen.

Methodologie: Self-Supervised Semantic Bridge (SSB)

De auteurs stellen SSB voor, een raamwerk dat externe semantische prioren integreert in diffusie-brugmodellen (diffusion bridge models) om ruimtelijk trouwe vertaling mogelijk te maken zonder kruis-domein supervisie.

Kernideeën:

1. Gedeelde Semantische Latente Ruimte:
   In plaats van domeinen direct aan elkaar te koppelen, veronderstelt SSB dat afbeeldingen uit verschillende domeinen een gedeelde latente representatie $y$ delen die de semantische inhoud (geometrie/structuur) vastlegt, maar onafhankelijk is van uiterlijke verschijning (kleur, contrast).
   $$p(z^{(1)}, \dots, z^{(M)}, y) = p(y) \prod_{i=1}^{M} p^{(i)}(z^{(i)} | y)$$
   Hierbij zijn $z^{(i)}$ de latente codes van domein $i$, en $y$ de gedeelde semantische code.

2. Zelfsupervisie via Visuele Encoders (DINO):
   Om de gedeelde ruimte $y$ te leren, gebruiken de auteurs zelfsupervisie met visuele encoders (specifiek de DINO-familie, zoals DINOv2). Deze encoders zijn getraind om representaties te genereren die invariant zijn voor lokale veranderingen in uiterlijk (zoals kleur of contrast), maar wel de geometrische structuur behouden.

   • Voor medische toepassingen (MRI-CT) wordt een DINOv2-encoder fijnge tuned met een "retina-geïnspireerd filter" om modality-specifieke contrastverschillen te onderdrukken en de focus te leggen op anatomische structuur.
   • De output van deze encoder (patch-tokens) wordt geprojecteerd naar een gedeelde latente ruimte die dient als het "eindpunt" voor de diffusie-brug.

3. Diffusie-Brug Modellen als Conditionele Decoders:
   De vertaling van domein $j$ naar $i$ wordt gezien als een traject in een stochastisch interpolant (SI) of diffusie-brug.

   • Stap 1: De bronafbeelding $x^{(j)}$ wordt gecodeerd naar de gedeelde semantische latent $y = E_\phi(x^{(j)})$.
   • Stap 2: Een domein-specifiek diffusiemodel (de brug) genereert de latente code van het doeldomein $z^{(i)}$ conditioneel op $y$.
   • Stap 3: De decoder $D_\phi$ zet $z^{(i)}$ om naar de doelafbeelding $\bar{x}^{(i)}$.

   Het model wordt getraind door domein-specifieke bruggen onafhankelijk te leren die de gedeelde latent $y$ verbinden met de domein-specifieke VAE-latents. Dit elimineert de noodzaak voor adversariële training of gepaarde data.

4. Theoretische Error Analyse:
   De auteurs bieden een theoretische analyse die aantoont dat de vertalingsfout begrensd is door de nauwkeurigheid van de encoder (alignment error), de benadering van het vectorveld, discretisatiefouten en decoder-reconstructiefouten. Ze tonen aan dat hun methode robuust blijft zelfs bij imperfecties in de encoder.

Belangrijkste Bijdragen

1. Het SSB Framework: Een eenvoudig maar effectief raamwerk voor ongepaarde I2I-vertaling dat domeinen verbindt via een zelfsupervisie gedeelde semantische latente ruimte, ondersteund door theoretische onderbouwing.
2. Geometrie-bewuste MRI-CT Representatie: Ontwikkeling van een specifieke DINOv2-gebaseerde encoder die uiterlijk-invariant is maar structureel trouw blijft. Dit stelt SSB in staat om sterke ongepaarde MRI→CT vertaling te bereiken, zowel binnen als buiten het trainingsdomein, met prestaties vergelijkbaar met gesuperviseerde methoden.
3. Uitbreiding naar Natuurlijke Beelden en Tekst: SSB wordt succesvol toegepast op natuurlijke beeldvertaling (bijv. paard→zebra) en tekst-gestuurde bewerking (text-guided editing) op basis van Stable Diffusion 3, waarbij concurrentiekrachtige resultaten worden geboekt.
4. Schalbaarheid: Omdat elke domein-brug onafhankelijk wordt getraind, schaalt het systeem lineair met het aantal domeinen, in tegenstelling tot de kwadratische kosten van domein-gekoppelde methoden.

Resultaten

De auteurs evalueren SSB op medische en natuurlijke datasets:

• Medische Beelden (MRI→CT):
  • In-Domain: SSB presteert beter dan state-of-the-art methoden zoals CycleGAN, UNIT, en SynDiff op de SynthRAD2023/2025 datasets. Het behoudt de anatomische structuur beter (hoge MS-SSIM en PSNR) en produceert realistischere CT-scans (lage FID).
  • Out-of-Domain (OOD): Een cruciale prestatie is de robuustheid op ongezien MRI-contrasten (bijv. UKBB datasets met water- en vet-onderdrukking). Waar andere methoden falen bij deze distributieveranderingen, behoudt SSB de structuur en levert betrouwbare vertalingen op.
• Natuurlijke Beelden:
  • Op benchmarks zoals Horse→Zebra en Apple→Orange bereikt SSB de beste balans tussen tekst-echtheid (CLIP-T) en structurele consistentie (LPIPS, SSIM, PSNR).
• Tekst-Gestuurde Bewerking:
  • Bij het aanpassen van Stable Diffusion 3 (SD3-M) voor tekst-gestuurde bewerking (bijv. "verander de zomer in de winter"), overtreft SSB methoden zoals FlowEdit en ControlNet, vooral in complexe scènes waar zowel semantische aanpassing als structurele behoud vereist is.

Betekenis en Impact

Deze paper biedt een paradigmaverschuiving in ongepaarde beeldvertaling:

• Decoupling van Training: Het loskoppelen van de vertalingstaken van kruis-domein training maakt het mogelijk om nieuwe domeinen toe te voegen zonder de bestaande modellen te herscholen of gepaarde data te verzamelen.
• Robuustheid: De methode lost het probleem van "domain shift" op, wat essentieel is voor medische toepassingen waar protocollen en apparatuur variëren.
• Structuurbehoud: Door gebruik te maken van zelfsupervisie voor geometrische consistentie, vermijdt SSB de structurele drift die vaak voorkomt bij inversie-gebaseerde methoden.
• Toepasbaarheid: Het raamwerk is breed toepasbaar, van kritieke medische beeldvorming (waar fouten kostbaar zijn) tot creatieve beeldbewerking.

Kortom, SSB bewijst dat het combineren van zelfsupervisie met moderne diffusie-architecturen een krachtige, schaalbare en robuuste oplossing biedt voor de uitdagingen van ongepaarde beeld-naar-beeld vertaling.