OTLesMix: Wasserstein Barycenter and Optimal Transport Map for Synthetic Lesion Generation with Diverse Shapes and Locations

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine bestimmte Art von Wolke am Himmel zu erkennen. Sie zeigen ihm tausend Bilder von flauschigen weißen Kumuluswolken, und er wird ziemlich gut darin. Aber dann zeigen Sie ihm ein Bild einer Wolke, die wie ein Drache aussieht, oder eine Wolke, die die Form eines Teekessels hat, und der Roboter wird verwirrt. Er hat diese Formen bisher nicht gesehen. Dies ist ein häufiges Problem in der Welt der medizinischen Bildgebung, wo Computer lernen müssen, Krankheiten wie Tumore oder Schlaganfälle in Gehirnscans zu erkennen. Das Problem ist, dass echte medizinische Daten schwer zu bekommen sind; es dauert Stunden, bis ein menschlicher Experte sorgfältig eine Karte genau dort zeichnet, wo eine Krankheit auf einem einzelnen 3D-Gehirnscan liegt. Da es nicht genügend Beispiele gibt, lernt der Computer oft nur, die „Standard“-Formen und -Positionen zu erkennen, die er bereits gesehen hat.

Um dies zu beheben, nutzen Wissenschaftler einen Trick namens „Data Augmentation“ (Datenaugmentation). Denken Sie daran wie ein Koch, der versucht, einem Schüler das Backen beizubringen. Wenn der Schüler immer nur ein einziges Rezept sieht, wird er vielleicht scheitern, wenn sich die Zutaten leicht ändern. Also gibt der Koch ihm ein paar zusätzliche Übungschargen. In der Informatik bedeutet dies, die vorhandenen Bilder zu nehmen und sie zu verändern – sie zu drehen, die Helligkeit zu ändern oder sogar ein Stück eines Bildes auszuschneiden und auf ein anderes einzufügen. Das Ziel ist es, eine massive Bibliothek aus „falschen“, aber realistisch aussehenden Beispielen zu erstellen, damit der Computer lernt, mit jeder Form oder Position umzugegehen, die eine Krankheit annehmen könnte. Die alten Methoden führen jedoch oft zu seltsamen, verschwommenen oder unmöglich aussehenden Bildern, die dem Computer nicht viel über neue Formen beibringen.

Hier kommt eine neue Methode namens OTLesMix ins Spiel, die von den Forschern Robin Trombetta und Carole Lartizien vorgeschlagen wurde. Sie wollten einen klügeren Weg finden, medizinische Bilder zu mischen, der in der Lage ist, brandneue, realistisch aussehende Krankheitsformen und -positionen zu erfinden, anstatt nur die alten umzuverteilen.

Die Magie der „perfekten Mischung“

Die große Idee der Forscher beruht auf einem Zweig der Mathematik namens Optimal Transport (Optimaler Transport). Um dies zu verstehen, stellen Sie sich zwei Sandhaufen vor. Einer ist in Form eines Sterns und der andere in Form eines Kreises. Sie möchten Sand aus beiden Haufen nehmen, um einen neuen Haufen zu erstellen, der eine perfekte Mischung aus beiden ist – vielleicht ein Stern-Kreis-Hybrid. Das „Optimal Transport“-Problem fragt: Was ist der effizienteste Weg, jeden Sandkorn zu bewegen, sodass man mit dem geringsten Aufwand an Energie arbeitet?

In der Welt der medizinischen Bilder ist der „Sand“ die Pixel, aus denen ein Tumor oder eine Läsion besteht. Die Forscher verwenden eine spezifische Art des optimalen Transports, die als Wasserstein-Baryzentrum bezeichnet wird. Wenn Sie zwei Gehirnscans mit Tumoren als zwei verschiedene „Landkarten“ betrachten, findet dieses mathematische Werkzeug eine „mittlere“ Landkarte. Es bildet nicht einfach die Bilder im Durchschnitt ab (was zu einem verschwommenen Matsch führen würde); stattdessen berechnet es eine neue, einzigartige Form, die perfekt zwischen den beiden Originalformen liegt. Es ist, als würde man ein Foto einer Katze und ein Foto eines Hundes nehmen und mathematisch ein brandneues Tier generieren, das die Ohren der Katze und den Schwanz des Hundes hat, aber wie ein echtes, lebendes Wesen dazwischen aussieht.

Wie OTLesMix funktioniert

Der Prozess läuft in zwei Hauptschritten ab, wie ein zweistufiges Kochrezept:

1. Das Formen „Kochen“: Zuerst wählt der Computer zwei echte Gehirnscans aus, die Läsionen (erkrankte Bereiche) aufweisen. Er nutzt die „Wasserstein-Baryzentrum“-Mathematik, um eine brandneue Läsionsform und -position zu berechnen. Diese neue Form ist eine glatte, realistische Interpolation zwischen den beiden Originalen. Es könnte ein Tumor sein, der etwas größer ist, etwas verschoben ist oder eine andere Form hat als alles, was im ursprünglichen Trainingsdatensatz vorhanden war.
2. Das Bild „Malen“: Sob es die neue Form entschieden hat, muss der Computer herausfinden, wie das Innere dieser neuen Läsion aussehen sollte. Er verwendet einen „optimalen Transportplan“, um genau zu berechnen, welche Pixel aus den Originalbildern bewegt werden müssen, um diese neue Form zu füllen. Es ist, als würde man die Textur und Farbe der ursprünglichen Tumore nehmen und sie sorgfältig in die neue Form „einpainted“ (einfärbt). Schließlich wird diese synthetische Läsion auf einen gesunden Gehirnscan (oder einen der Originale) aufgeklebt, um ein völlig neues Trainingsbeispiel zu erstellen.

Funktioniert es tatsächlich?

Die Forscher testeten diese Methode an drei verschiedenen Datensätzen für Gehirnbilder, die unterschiedliche Arten von Hirnproblemen betreffen: Glioblastom (eine Art Hirntumor), Schlaganfall und ischämische Läsionen. Sie verglichen ihre neue Methode mit älteren, populären Mischtechniken wie MixUp (die Bilder lediglich linear mischen) und CutMix (die Rechtecke ausschneiden und aufkleben).

Die Ergebnisse waren sehr vielversprechend. Als sie ein Computermodell trainierten, um diese Gehirnläsionen zu segmentieren (zu identifizieren), schnitt das Modell, das mit den synthetischen OTLesMix-Daten trainiert wurde, signifikant besser ab als Modelle, die ohne diese synthetischen Daten trainiert wurden.

• Beim Datensatz für Hirntumore (BraTS 2020) verbesserte sich die Genauigkeit des Modells um 2,9 bis 6,6 Punkte auf eine Standard-Bewertungsmetrik namens Dice-Score im Vergleich zu einem Modell, das keine synthetischen Daten verwendete.
• Es schlug auch die anderen Mischmethoden (MixUp, CutMix und CarveMix) in allen drei Datensätzen. Beispielsweise erreichte OTLesMix beim BraTS-Datensatz einen Wert von 83,3 % für den gesamten Tumor, während die nächstbeste Methode (CarveMix) 82,5 % erreichte.

Die Autoren merken an, dass der Unterschied nicht nur ein kleiner Zufall war; statistische Tests zeigten, dass OTLesMix konsistent besser als die anderen war. Visuell produkte die neue Methode auch Läsionen, die vielfältiger in Form und Lage erschienen, während die älteren Methoden dazu neigten, Formen zu erzeugen, die den Originalen zu ähnlich sahen oder einfach nur ungeschickt auf und ab geschnitten wirkten.

Der Haken

Obwohl die Methode ein Erfolg ist, sind die Autoren ehrlich über ihre derzeitigen Grenzen. Das Generieren dieser neuen Bilder kostet Zeit. Für einen 2D-Schnitt eines Gehirns dauert es etwa 1 Sekunde. Aber für vollständige 3D-Gehirnscans kann es zwischen 1 und 3 Minuten pro Bild dauagen. Dies ist wesentlich langsamer als das bloße Ausschneiden und Aufkleben eines Rechtecks.

Zudem beruht die Methode auf einer einfachen linearen Interpolation der Pixelfarben. Wenn die beiden Original-Gehirnscans von sehr unterschiedlichen Maschinen stammten oder sehr unterschiedliche Lichtverhältnisse aufwiesen, könnte die neue „gemischte“ Läsion etwas unrealistisch wirken, wie ein schlecht bearbeitetes Foto. Die Autoren schlagen vor, dass sie in Zukunft diese Formgenerierungs-Mathematik mit leistungsstarken KI-Bildgeneratoren kombinieren könnten, um diese Texturprobleme zu beheben.

Kurz gesagt ist OTLesMix ein kluges neues Werkzeug, das fortgeschrittene Mathematik nutzt, um realistische, vielfältige Beispiele von Gehirnerkrankungen zu erfinden. Dadurch hilft es, medizinische KI darauf zu trainieren, Krankheiten in Formen und Orten zu erkennen, die sie noch nie zuvor gesehen hat, was in Zukunft zu besseren Diagnosewerkzeugen führen kann.