DualDiT: A Conditional Dual-Output Diffusion Transformer for Joint OCT Image and Segmentation Mask Generation

Stel je voor dat je een robot probeert te leren hoe hij een specifiek type fruit moet herkennen, zoals een aardbei, maar je hebt slechts drie foto's van aardbeien en duizenden foto's van appels. De robot zou in de war raken en denken dat elke rode vrucht een appel is. Dit is een enorm probleem in de medische wetenschap, waar artsen duizenden gelabelde afbeeldingen nodig hebben om computers te trainen om ziekten op te sporen, maar het verkrijgen van die afbeeldingen moeilijk, duur en soms zelfs onmogelijk is omdat patiënten zeldzaam zijn of de data privé is. Om dit op te lossen, gebruiken wetenschappers "generatieve AI", een type computerprogramma dat werkt als een supercreatieve kunstenaar. In plaats van alleen bestaande plaatjes te kopiëren, leert het de regels van hoe dingen eruitzien en tekent het vervolgens gloednieuwe, neppe plaatjes die zo echt lijken dat ze een mens zouden kunnen misleiden. Maar hier komt het lastige gedeelte bij: als de AI een neppe aardbei tekent, moet hij ook een perfecte kaart tekenen die precies laat zien waar de pitjes zitten. Als de kaart niet overeenkomt met de vrucht, zal de robot die ervan leert nog meer in de war raken.

Dit is precies de uitdaging waar onderzoekers te maken kregen met een speciaal soort oogscan die een OCT (Optical Coherence Tomography) wordt genoemd. Deze scans zijn als ultra-gedetailleerde dwarsdoorsneden van het netvlies, de lichtgevoelige laag aan de achterkant van het oog. Artsen gebruiken ze om ziekten op te sporen, maar het handmatig labelen van de minuscule laagjes binnen deze scans kost experts uren werk, waardoor er zeer weinig voorbeelden overblijven om computers mee te onderwijzen. Om dit op te lossen, introduceert het artikel een nieuwe, slimme AI-kunstenaar genaamd DualDiT. Denk aan DualDiT niet alleen als een schilder, maar als een "dual-wielding" tovenaar die in de ene hand een penseel houdt voor de afbeelding en in de andere hand een sjabloon voor de kaart. In tegen tegenstelling tot oudere AI-modellen die probeerden de afbeelding en de kaart apart te genereren (wat vaak resulteerde in slordige mismatches), leert DualDiT beide tegelijkertijd te creëren, waardoor de lagen in de neppe oogscan perfect uitlijnen met de neppe kaart. De onderzoekers testten dit op kleine, geconserveerde muizenogen, die cruciaal zijn voor het bestuderen van menselijke oogziekten maar berucht moeilijk te scannen en te labelen zijn.

De Magie van de Dual-Output Kunstenaar

Het team achter deze studie, onder leiding van Fernando García-Torres en collega's, wilde het "tekort aan data"-probleem voor muizenoogscans oplossen. Ze bouwden een nieuw AI-model genaamd DualDiT (Conditional Dual-Output Diffusion Transformer). Om te begrijpen waarom dit speciaal is, stel je voor dat je een kind probeert te leren een huis te tekenen. Als je hen een plaatje van een huis laat zien en een aparte tekening van het dak, kunnen ze een huis tekenen met een dak dat in de lucht zweeft. Oudere AI-modellen werkten een beetje zoals dat, waarbij ze probeerden de afbeelding en de "masker" (de omtrek van de belangrijke delen) apart of op een onhandige manier te genereren.

DualDiT is echter als een kind dat leert om zowel het huis als het dak tegelijkertijd te tekenen, met het begrip dat het dak moet rusten op de muren. De onderzoekers trainden deze AI op een dataset van muizenetvliezen die op twee verschillende manieren waren geconserveerd: één groep werd bewaard in een vloeibaar (fysiologisch) medium, en de andere groep werd ingebed in hard hars. Deze twee methoden zien er iets anders uit, zoals het maken van een foto van een vis in water versus een foto van een vis op een bord. De AI leerde deze verschillen te herkennen en genereerde nieuwe, neppe scans die pasten bij de specifieke stijl van de vloeistof of de hars.

De Resultaten: De Experts Misleiden

Het team zette hun nieuwe AI op de proef tegen twee oudere, meer traditionele methoden: één die direct op de ruwe pixels werkte (genaamd DDPM) en een andere die in een gecomprimeerde "latente" ruimte werkte (genaamd LDM). Ze maten hoe realistisch de neppe afbeeldingen waren met behulp van een score genaamd FID (Fréchet Inception Distance), waarbij een lager getal betekent dat de neppe afbeeldingen meer lijken op de echte beelden.

De resultaten waren duidelijk: DualDiT was de winnaar.

• DualDiT behaalde een FID-score van 56,14 en een ruimtelijke FID (sFID) van 114,35.
• Het oudere DDPM-model scoorde 164,55 (FID) en 254,52 (sFID).
• Het LDM-model scoorde 102,21 (FID) en 150,66 (sFID).

In gewone taal: de neppe afbeeldingen van DualDiT kwamen veel dichter bij het origineel dan die van de andere modellen. De oudere modellen maakten vaak fouten, zoals het tekenen van wazige lagen of het creëren van "hallucinaties" waarbij het netvlies een vorm aannam die het niet hoorde te zijn. DualDiটি produceerde echter scherpe, gedetailleerde afbeeldingen die er precies zo uitzagen als de echte muizenogen, inclusief de minuscule stipjes en texturen die ze authentiek maken.

Maar de echte test was niet alleen hoe mooi de plaatjes waren; het was of ze een computer daadwerkelijk beter konden helpen leren. De onderzoekers gebruikten de door DualDiT gegenereerde neppe afbeeldingen om een nieuw computerprogramma te trainen om segmentatie (het omlijnen van de lagen) van het netvlies uit te voeren.

• Wanneer ze alleen de echte data gebruikten, behaalde de computer een score van 0,908 (Dice-score).
• Wanneer ze de neppe DualDiT-afbeeldingen toevoegden aan de training, steeg de score naar 0,927.
• De oudere modellen maakten het eigenlijk slechter of hielpen nauwelijks; bijvoorbeeld zorgde het DDPM-model voor een instorting van de prestaties van de computer bij het werken met de hars-ingebedde monsters.

De Menselijke Test: Kun je het Nep herkennen?

Om te zien of de neppe afbeeldingen echt overtuigend waren, lieten de onderzoekers ze zien aan drie experts. De experts kregen de opdracht om naar een mix van echte en neppe afbeeldingen te kijken en te raden welke welke was. De resultaten waren verrassend: de experts zaten er 46% van de tijd naast wanneer ze de neppe afbeeldingen als echt identificeerden. Ze vergaven ook echte afbeeldingen voor nep in 42% van de gevallen. Dit suggereert dat DualDiT afbeeldingen creëerde die zo realistisch waren dat zelfs getrainde ogen niet betrouwbaar het verschil konden zien.

Wat dit Betekent (en Wat het Niet Betekent)

Het artikel suggereert dat DualDiT een krachtig nieuw hulpmiddel is voor het creëren van "synthetische data" om te helpen bij het trainen van medische AI wanneer echte data schaars is. Het bewijst dat het gebruik van een Transformer-gebaseerde architectuur (een type AI die bekend staat om het begrijpen van langetermijnverbindingen) beter is dan de oudere U-Net gebaseerde methoden voor deze specifieke taak van het tegelijkertijd genereren van afbeeldingen en kaarten.

De auteurs merken echter voorzichtig op dat dit nog geen wondermiddel is. De studie werd uitgevoerd op een relatief kleine dataset (ongeveer 340 gescande plakjes van 10 muizen), en de afbeeldingen hadden een specifieke resolutie (512 × 256 pixels). Hoewel de resultaten veelbelovend zijn, stellen de auteurs dat er meer testen op grotere datasets nodig zijn om zeker te weten dat dit werkt voor alle soorten oogscans. Ze vermelden ook dat de huidige opstelling aanzienlijke rekenkracht vereist, wat een hindernis kan zijn voor sommige klinieken.

Kortom, DualDiT is een zeer bekwame "dual-wielding" kunstenaar die neppe muizenoogscans en de bijbehorende kaarten zo goed kan schilderen dat het experts misleidt en computers sneller leert. Het suggereert dat door AI te leren om afbeeldingen en hun labels samen te creëren, we de grootste flessenhals in medische AI kunnen overwinnen: het gebrek aan gelabelde data. Maar zoals elk nieuw instrument, heeft het meer oefening en grotere tests nodig voordat het vertrouwd kan worden bij het diagnosticeren van echte patiënten.