Retinal OCT Synthesis with Denoising Diffusion Probabilistic Models for Layer Segmentation

Deze paper presenteert een methode die Denoising Diffusion Probabilistic Models (DDPMs) gebruikt om realistische retinale OCT-beelden te synthetiseren op basis van ruwe schetsen, waardoor de noodzaak voor handmatige annotaties wordt verminderd en de laagsegmentatie-accuraatheid aanzienlijk wordt verbeterd.

De kern

Hoe een AI-schilderijmaker helpt bij het diagnosticeren van oogziektes

Stel je voor dat je een meester-schilder bent die fantastische, hyper-realistische schilderijen van oogweefsels kan maken. Maar er is een probleem: om deze schilderijen te maken, heb je duizenden echte foto's nodig die door experts handmatig zijn ingekleurd en gemarkeerd. In de medische wereld is dat echter een enorm probleem. Het kost artsen veel tijd en moeite om elke laag in een oogfoto (een OCT-scan) nauwkeurig te tekenen.

Dit paper beschrijft een slimme oplossing die dit probleem oplost met behulp van een nieuwe soort "AI-kunstenaar" genaamd DDPM (Denoising Diffusion Probabilistic Models). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Te weinig gekleurde tekeningen

Om een computer te leren oogziektes te herkennen, moet je hem duizenden voorbeelden geven. Maar omdat elke voorbeeldfoto handmatig moet worden ingekleurd door een specialist, zijn er vaak te weinig voorbeelden. Het is alsof je iemand wilt leren auto rijden, maar je hebt maar één oefenauto en één instructeur.

2. De Oplossing: De "Ruwe Schets" en de "AI-Schilder"

De onderzoekers hebben een systeem bedacht dat werkt als een samenwerking tussen een ruwe schetsmaker en een meester-schilder:

• De Ruwe Schets: In plaats van een compleet ingekleurde foto te maken, tekenen we eerst een heel simpel, vaag potloodschetsje. Dit schetsje toont alleen de grove vormen: "Hier zit een dun laagje, hier een dik laagje." Het is niet perfect, maar het geeft de richting aan.
• De AI-Schilder (DDPM): Dit is de ster van het verhaal. Deze AI is getraind op echte oogfoto's. Hij kijkt naar je ruwe schets en denkt: "Oké, dit is een dun laagje... laat me nu een echte, realistische oogfoto schilderen die precies op die vorm lijkt, maar dan met alle details, ruis en textuur van een echte foto."

Het proces lijkt op het maken van een schilderij door eerst een foto te vervagen tot ruis (zoals een wazig beeld) en die ruis vervolgens weer stap voor stap te "ontwarren" tot een helder beeld, terwijl je de vorm van de schets vasthoudt.

3. Het Grote Probleem: De "Misplaatste" Labels

Er was echter een klein struikelblok. Omdat de AI zo creatief is, paste hij de details soms net iets anders aan dan in de originele schets.

• Vergelijking: Stel je voor dat je een schets tekent van een huis met een dak op de eerste verdieping. De AI schildert een prachtig huis, maar het dak zit nu net iets te hoog of te laag. Als de computer denkt dat het dak (de laag) precies op de plek van de schets zit, maar in het schilderij zit het ergens anders, dan leert de computer de verkeerde les.

4. De Slimme Oplossing: De "Meester-Leraar"

Om dit op te lossen, gebruikten ze een trucje uit het onderwijs, genaamd kennisdistillatie:

1. Ze namen een zeer sterke AI (de "Meester") die al getraind was op de echte, handmatig ingekleurde foto's.
2. Deze Meester keek naar de nieuwe, door de AI geschilderde foto's en zei: "Nee, kijk goed, het laagje zit hier, niet daar."
3. De Meester maakte een nieuwe, perfecte "ingekleurde versie" (een zogenaamd pseudo-label) voor de gesynthetiseerde foto's.
4. Nu konden de andere AI's (de "Leerlingen") veilig oefenen met deze nieuwe, perfecte foto's en labels.

5. De Resultaten: Meer is beter!

De onderzoekers deden een aantal verrassende ontdekkingen:

• De mix werkt wonders: Als je de echte foto's combineert met de door de AI gegenereerde foto's, worden de diagnose-computers veel slimmer. Ze maken minder fouten.
• Alleen synthetisch is ook goed: Het meest verbazingwekkende is dat een computer die alleen op de door de AI gegenereerde foto's is getraind, bijna net zo goed presteert als een computer die alleen op de echte foto's is getraind.
• Hoe meer, hoe beter: Hoe meer gesynthetiseerde foto's ze maakten, hoe beter de resultaten werden.

Waarom is dit belangrijk?

Dit onderzoek laat zien dat we in de toekomst minder afhankelijk hoeven te zijn van duurdere, tijdrovende handmatige werk van artsen om trainingsdata te maken. We kunnen met een paar echte foto's als basis, duizenden nieuwe, perfecte oefenfoto's genereren.

Het is alsof we een "3D-printer" hebben gevonden voor medische data. We printen duizenden realistische oefenmateriaal, trainen onze computers daarop, en krijgen zo betere diagnosehulpmiddelen voor ziektes zoals glaucoom of maculadegeneratie, zonder dat we duizenden artsen urenlang hoeven te laten tekenen.

Technische samenvatting

Probleemstelling

Moderne biomedische beeldanalyse met diep leren (deep learning) staat vaak voor de uitdaging van een gebrek aan gelabelde data. Voor het segmenteren van retinale lagen in optische coherentietomografie (OCT)-beelden is grote hoeveelheden handmatig geannoteerde data vereist, wat kostbaar en tijdrovend is. Bestaande generatieve modellen, zoals Generative Adversarial Networks (GANs), zijn wel succesvol, maar recente ontwikkelingen tonen aan dat Denoising Diffusion Probabilistic Models (DDPMs) superieure beeldkwaliteit kunnen produceren. Het doel van dit onderzoek is om DDPMs te gebruiken om realistische retinale OCT-beelden te synthetiseren, zodat deze kunnen worden gebruikt om segmentatiemodellen te trainen en zo de afhankelijkheid van handmatige annotaties te verminderen.

Methodologie

De auteurs stellen een pijplijn voor die bestaat uit drie hoofdfasen:

1. Data en Voorbereiding:

   • Er wordt gebruikgemaakt van de trainingsset van de GOALS Challenge (MICCAI 2022), bestaande uit 100 circumpapillaire OCT-beelden.
   • Drie lagen worden geannoteerd: de retinale zenuwvezellaag (RNFL), de ganglioncellen-innere plexiforme laag (GCIPL) en de choroïdale laag (CL).
   • De beelden worden voorverwerkt tot een resolutie van 480x128 pixels.

2. Synthese met DDPMs:

   • Invoer: In plaats van puur ruis te gebruiken, worden ruwe schetsen van de retinale lagen gebruikt als input. Deze schetsen worden gegenereerd door de statistieken (dikte en intensiteit) van de grondwaarheid (ground-truth) van de trainingsdata te modelleren (Gaussische verdeling en spline-interpolatie).
   • Proces: Een DDPM wordt getraind op de echte OCT-beelden. Tijdens de synthese wordt het proces "afgekapt" bij een tijdstap $t_{start} < T$. Hierdoor wordt de ruwe schets (die al enige structuur bevat) omgezet in een realistisch OCT-beeld door het toevoegen van ruis en vervolgens het verwijderen daarvan (denoising).
   • Preprocessing: Om de distributie van de schetsen dichter bij die van echte beelden te brengen, worden Gaussische vervaging (blurring) en perturbatie van pixelintensiteit toegepast op de schetsen.

3. Knowledge Adaptation (Distillatie):

   • Een kritieke bevinding is dat de lagen in de gegenereerde beelden niet perfect overlappen met de oorspronkelijke schetslabels (misregistratie), vooral bij de choroïdale laag.
   • Om dit op te lossen, gebruiken de auteurs knowledge distillation. Een "teacher"-model (U2-Net), vooraf getraind op de echte data, voorspelt de segmentatielabels voor de synthetische beelden.
   • Deze voorspellingen fungeren als pseudo-labels (distilled labels) voor het trainen van andere "student"-modellen. Dit maakt het proces semi-supervised, zelfs als alleen synthetische data wordt gebruikt.

Belangrijkste Bijdragen

• DDPM-toepassing op OCT: Dit is een van de eerste studies die DDPMs toepast op retinale OCT-beelden voor synthese, in plaats van alleen voor denoising.
• Schets-gedreven generatie: Het introduceren van een methode om realistische OCT-beelden te genereren vanuit ruwe laag-schetsen, wat de controle over de anatomische structuur vergroot.
• Pseudo-label verbetering: Het aantonen dat kennisadaptatie (distillatie) essentieel is om de discrepantie tussen de input-schets en de gegenereerde textuur te overbruggen, wat leidt tot nauwkeurigere labels dan de ruwe schetsen.
• Semi-supervised prestatie: Het bewijzen dat een model dat uitsluitend is getraind op synthetische data (met gedistilleerde labels) vergelijkbare prestaties levert als een model getraind op echte data.

Resultaten

De resultaten zijn geëvalueerd met vijf verschillende segmentatiearchitecturen (U-Net, U2-Net, FCN-ResNet, DeepLabv3+, TransUNet) op een testset van 50 beelden. De prestaties worden gemeten met de Dice-score.

• Optimalisatie: De beste resultaten werden behaald met een starttijdstap ($t_{start}$) van 300 en het combineren van vervaging en perturbatie op de schetsen.
• Vergelijking Real vs. Synthetisch:
  • Het toevoegen van synthetische beelden aan een kleine set echte data (bijv. 50 real + 50 synthetic) verbeterde de Dice-scores consistent ten opzichte van alleen echte data.
  • Cruciaal: Modellen die uitsluitend waren getraind op 1000 synthetische beelden (0/1000 ratio) presteerden op hetzelfde niveau als modellen getraind op 50 echte beelden (50/0). Sommige modellen (zoals FCN-ResNet en DeepLabv3+) presteerden zelfs marginaal beter met alleen synthetische data.
• Aantal data: Er werd een positieve correlatie gevonden tussen het aantal synthetische beelden en de prestatie, vooral wanneer alleen synthetische data werd gebruikt.

Betekenis en Conclusie

De studie demonstreert het grote potentieel van Denoising Diffusion Probabilistic Models (DDPMs) in de biomedische beeldanalyse. Door het gebruik van ruwe schetsen als input en kennisdistillatie voor het genereren van accurate pseudo-labels, kunnen realistische en geannoteerde datasets worden gegenereerd zonder extra handmatige arbeid.

Dit heeft belangrijke implicaties voor:

1. Dataverrijking: Het verminderen van de noodzaak voor dure handmatige annotaties.
2. Robuustheid: Het mogelijk maken van het trainen van hoogwaardige segmentatiemodellen zelfs wanneer slechts beperkte echte data beschikbaar is.
3. Toekomstige toepassingen: De methode biedt een basis voor verdere toepassingen, zoals unsupervised domain adaptation tussen verschillende OCT-scanners of het simuleren van pathologische aandoeningen.

Kortom, de auteurs tonen aan dat DDPMs een krachtig alternatief kunnen zijn voor traditionele generatieve modellen om de kwaliteit en kwantiteit van trainingsdata voor retinale OCT-segmentatie te verbeteren.