OTLesMix: Wasserstein Barycenter and Optimal Transport Map for Synthetic Lesion Generation with Diverse Shapes and Locations

Stel je voor dat je een robot probeert te leren om een specifiek type wolk in de lucht te herkennen. Je laat het de robot duizend foto's zien van pluizige witte stapelwolken (cumulus), en hij wordt er behoorlijk goed in. Maar dan laat je hem een foto zien van een wolk die op een draak lijkt, of een wolk die de vorm heeft van een theepot, en de robot raakt in de war. Hij heeft deze vormen nog nooit eerder gezien. Dit is een veelvoorkomend probleem in de wereld van medische beeldvorming, waar computers moeten leren om ziekten zoals tumoren of beroertes in hersenscans te herkennen. Het probleem is dat echte medische data moeilijk te verkrijgen is; het kost een menselijke expert uren om zorgvuldig een kaart te tekenen van precies waar een ziekte zich op een enkele 3D-hersenscan bevindt. Omdat er niet genoeg voorbeelden zijn, leert de computer vaak alleen de "standaard" vormen en locaties herkennen die hij al heeft gezien.

Om dit op te lossen, gebruiken wetenschappers een truc genaamd "data-augmentatie". Denk aan een chef-kok die een student probeert te leren bakken. Als de student slechts één recept ziet, kan hij falen als de ingrediënten enigszins veranderen. Dus geeft de chef-kok hem een paar extra oefenbatches. In de informatica betekent dit het nemen van de bestaande afbeeldingen en ze aan te passen – ze te draaien, de helderheid te veranderen, of zelfs een stukje van de ene afbeelding af te snijden en op een andere te plakken. Het doel is om een enorme bibliotheek van "nep", maar realistische voorbeelden te creëren, zodat de computer leert om te gaan met elke vorm of locatie die een ziekte kan aannemen. Echter, de oude manieren om dit te doen, resulteren vaak in vreemde, wazige of onmogelijk uitziende afbeeldingen die de computer niet veel nieuws leren.

Dit is waar een nieuwe methode genaamd OTLesMix in beeld komt, voorgesteld door onderzoekers Robin Trombetta en Carole Lartizien. Ze wilden een slimmere manier ontwikkelen om medische beelden te mengen die nieuwe, realistisch uitziende ziektevormen en -locaties konden verzinnen, in plaats van alleen de oude rond te schuiven.

De Magie van de "Perfecte Mix"

Het grote idee van de onderzoekers rust op een tak van de wiskunde genaamd Optimal Transport (optimale transporttheorie). Om dit te begrijpen, stel je voor dat je twee bergen zand hebt. De ene berg is gevormd als een ster, en de andere als een cirkel. Je wilt zand van beide bergen verplaatsen om een nieuwe berg te creëren die een perfecte mix is van de twee – misschien een ster-cirkel hybride. Het "Optimal Transport"-probleem vraagt: Wat is de meest efficiënte manier om elk korreltje zand te verplaatsen zodat je de minste energie verbruikt?

In de wereld van medische beelden zijn de "zandkorrels" de pixels die een tumor of laesie vormen. De onderzoekers gebruiken een specifiek type optimaal transport genaamd een Wasserstein barycenter. Als je twee hersenscans met tumoren als twee verschillende "kaarten" beschouwt, vindt dit wiskundige instrument een "middelweg"-kaart. Het middelt niet alleen de foto's (wat een wazige bende zou opleveren); in plaats daarvan berekent het een nieuwe, unieke vorm die perfect tussen de twee oorspronkelijke vormen in ligt. Het is also kind met het nemen van een foto van een kat en een foto van een hond, en het wiskundig genereren van een nieuw dier dat de oren van de kat en de staart van de hond heeft, maar eruitziet als een echt, levend wezen in tussenin.

Hoe OTLesMix werkt

Het proces verloopt in twee hoofdfasen, als een recept met twee stappen:

1. De Vorm Koken: Eerst kiest de computer twee echte hersenscans die laesies (ziektegebieden) bevatten. Het gebruikt de "Wasserstein barycenter"-wiskunde om een gloednieuwe laesievorm en -locatie te berekenen. Deze nieuwe vorm is een vloeiende, realistische interpolatie tussen de twee originelen. Het kan een tumor zijn die iets groter is, iets verschoven is of anders van vorm is dan alles in de oorspronkelijke trainingsset.
2. Het Beeld Schilderen: Zodra de nieuwe vorm is bepaald, moet de computer uitzoeken hoe de binnenkant van deze nieuwe laesie eruit moet zien. Het gebruikt een "optimal transport plan" om te berekenen welke pixels van de originele afbeeldingen verplaatst moeten worden om deze nieuwe vorm in te vullen. Het is alsof je de textuur en kleur van de originele tumoren neemt en ze vervolgens zorgvuldig "inpaint" (invult) in de nieuwe vorm. Ten slotte wordt deze nieuwe, synthetische laesie op een gezonde hersenscan (of op een van de originele scans) geplakt om een volledig nieuw trainingsvoorbeeld te creëren.

Werkt het ook echt?

De onderzoekers hebben deze methode getest op drie verschillende datasets van hersenbeelden met betrekking tot verschillende soorten hersenproblemen: glioblastoom (een type hersenkanker), beroerte en ischemische beroerte-laesies. Ze vergeleken hun nieuwe methode met oudere, populaire mengtechnieken zoals MixUp (die afbeeldingen lineair mengen) en CutMix (die rechthoeken uitknipt en plakt).

De resultaten waren zeer veelbelovend. Wanneer ze een computermodel trainden om deze hersenlaesies te segmenteren (identificeren), presteerde het model dat de OTLesMix synthetische data gebruikte aanzienlijk beter dan modellen die getraind waren zonder deze data.

• Op de hersenkanker-dataset (BraTS 2020) verbeterde de nauwkeurigheid van het model met 2,9 tot 6,6 punten op een standaard scoringsmetriek genaamd de Dice-score vergeleken met een model dat geen synthetische data gebruikte.
• Het versloeg ook de andere mengmethoden (MixUp, CutMix en CarveMix) op alle drie de datasets. Zo behaalde OTLesMix op de BraTS-dataset bijvoorbeeld een score van 83,3% voor de gehele tumor, terwijl de op één na beste methode (CarveMix) een score van 82,5% behaalde.

De auteurs merken op dat het verschil niet slechts een kleine toevalstreffer was; statistische tests toonden aan dat OTLesMix consistent beter presteerde dan de anderen. Visueel gezien produceerde de nieuwe methode ook laesies die er diverser uitzagen in vorm en locatie, terwijl de oudere methoden de neiging hadden om vormen te produceren die ofwel te veel op de originelen leken, of simpelweg onhandig uit- en ingeknipt waren.

De Haken en Grenzen

Hoewel de methode een succes is, zijn de auteurs eerlijk over de huidige beperkingen. Het genereren van deze nieuwe beelden kost tijd. Voor een 2D-doorsnede van een brein duurt het ongeveer 1 seconde. Maar voor volledige 3D-hersenscans kan het 1 tot 3 minuten per afbeelding duren. Dit is veel langzamer dan simpelweg een rechthoek uitknippen en plakken.

Daarnaast vertrouwt de methode op een eenvoudige lineaire interpolatie van pixelkleuren. Als de twee originele hersenscans afkomstig waren van zeer verschillende machines of zeer verschillende lichtomstandigheden hadden, kan de nieuwe "gemengde" laesie er wat onrealistisch uitzien, als een foto die slecht bewerkt is. De auteurs suggereren dat ze in de toekomst deze vormgenererende wiskunde kunnen combineren met krachtige AI-beeldgeneratoren om deze textuurproblemen op te lossen.

Kortom, OTLesMix is een slim nieuw hulpmiddel dat geavanceerde wiskunde gebruikt om realistische, diverse voorbeelden van hersenziekten te verzinnen. Door dit te doen, helpt het om medische AI te leren ziekten te herkennen in vormen en locaties die het nog nooit eerder heeft gezien, wat potentieel kan leiden tot betere diagnostische instrumenten in de toekomst.