MOSAIC: Modality-agnostic Spectral Alignment for Federated Image-level Weakly Supervised Tumor Segmentation under Client-specific Missing Modalities

In der Welt der modernen Medizin stammen die genauesten Diagnosen oft aus der Kombination verschiedener Arten medizinischer Bilder. Ein Arzt betrachtet möglicherweise gleichzeitig eine Standard-Röntgenaufnahme, einen Magnetresonanztomogramm-Scan und einen spezialisierten Gewebescan, wobei er die Stärken eines Bildes nutzt, um die Schwächen eines anderen auszugleichen. Diese Praxis, bekannt als multimodale Fusion, ermöglicht ein viel klareres Bild dessen, was im Körper geschieht, insbesondere bei der Erkennung komplexer Zustände wie Hirntumoren. Eine erhebliche Barriere steht jedoch der weltweiten Nutzung dieser leistungsstarken Kombination im Weg: die Privatsphäre der Patienten. Krankenhäuser können ihre Patientenscans nicht einfach an einen zentralen Server senden, um sie zu kombinieren, da strenge Gesetze die individuellen medizinischen Daten vor dem Verlassen der jeweiligen Institution schützen. Zudem stimmen Krankenhäuser, selbst wenn sie einer Zusammenarbeit zustimmen, selten über exakt denselben Satz an Bildern für jeden Patienten überein. Ein Krankenhaus verfügt vielleicht über eine vollständige Suite von Scans, während ein anderes, vielleicht in einem anderen Land oder mit älteren Geräten, nur über wenige verfügt. Diese Inkonsistenz schafft ein Rätsel, bei dem die Werkzeuge, die zur Kombination der Bilder entwickelt wurden, oft scheitern, weil sie erwarten, dass jedes Puzzleteil vorhanden ist.

Forscher suchen schon lange nach einem Weg, künstliche Intelligenz darauf zu trainieren, aus diesen verstreuten, unvollständigen Datensätzen zu lernen, ohne jemals die Rohdaten aus dem Krankenhaus zu bewegen, in dem sie gesammelt wurden. Dieser Ansatz, genannt föderiertes Lernen (Federated Learning), ermöglicht es Krankenhäusern, nur die Lektionen zu teilen, die ihre Computer lernen, nicht aber die Patienten selbst. Doch ein neues Problem ist aufgetaucht: Wie bringt man einem Computer bei, einen Tumor zu erkennen, wenn er nur einen Bruchteil der verfügbaren Bildtypen sieht und die einzigen Labels, die ihm zur Verfügung stehen, so simpel wie ein „Ja“ oder „Nein“ in einem Bericht sind, statt einer detaillierten Zeichnung der Form des Tumors? Die Herausforderung besteht darin, ein System zu bauen, das aus diesen spärlichen, privaten und unvollständigen Hinweisen lernen kann, ohne an Genauigkeit zu verlieren oder die Privatsphäre zu gefährden.

Ein Team von Forschern am Indian Institute of Science hat einen neuen Rahmen namens MOSAIC entwickelt, um genau dieses Problem zu lösen. Ihre Arbeit konzentriert sich darauf, eine künstliche Intelligenz darauf zu trainieren, Hirntumoren zu segmentieren, oder zu umreißen, indem sie nur Bild-Level-Labels verwendet – einfache Indikatoren dafür, ob ein Tumor vorhanden ist oder nicht – während sie sich in einer Landschaft bewegt, in der verschiedene Krankenhäuser über unterschiedliche, unvollständige Sätze von MRT-Scans verfügen. Die Forscher fanden heraus, dass sie durch die Erstellung eines Systems, dem es egal ist, welche spezifischen Scans fehlen, sondern das stattdessen auf die zugrunde liegenden Muster der Daten fokussiert ist, eine hohe Genauigkeit erreichen konnten, ohne die detaillierten, zeitaufwendigen Annotationen zu benötigen, die ein solches Training normalerweise möglich machen.

Der Kern ihrer Lösung liegt darin, wie das System mit den fehlenden Teilen umgeht. In einem typischen Szenario versucht der Computer, wenn einem Krankenhaus ein bestimmter Typ eines MRT-Scans fehlt, zu erraten, wie dieser fehlende Scan aussehen würde, oder ignoriert ihn einfach, was oft zu Fehlern führt. Das MOSAIC-System verfolgt einen anderen Ansatz. Es verwendet ein spezialisiertes Modul, das wie ein Übersetzer fungiert und die Scans, die ein Krankenhaus verfügbar hat, in eine gemeinsame, gemeinsame Sprache überträgt. Diese Übersetzung findet lokal in jedem Krankenhaus statt, sodass niemals Rohbilder den Standort verlassen. Das System muss nur wissen, wie viele Arten von Scans vorhanden sind, nicht aber welche spezifischen es sind, was es einem Krankenhaus mit einer einzigartigen Kombination von Scans ermöglicht, ohne spezielles Setup oder erneutes Training am Netzwerk teilzunehmen.

Um sicherzustellen, dass alle Krankenhäuser trotz ihrer unterschiedlichen Daten von derselben „Wahrheit“ lernen, führten die Forscher eine Methode zur Ausrichtung der Daten mittels Frequenzmustern ein. Stellen Sie sich vor, jedes medizinische Bild hat eine einzigartige musikalische Signatur, die aus verschiedenen Tönen und Rhythmen besteht. Während die spezifischen Noten je nach verfügbaren Scans variieren können, bleiben der allgemeine Rhythmus und die Struktur der Musik konsistent. Das MOSAIC-System hört auf diese rhythmischen Muster, oder Spektralsignaturen, anstatt auf die rohen visuellen Details. Durch den Vergleich dieser kompakten, nicht umkehrbaren Frequenzmuster über alle Krankenhäuser hinweg kann das System das Verständnis darüber, wie ein Tumor aussieht, abgleichen, ohne jemals die tatsächlichen Patientenbilder preiszugeben. Diese Methode, die die Autoren als spektrale Prototyp-Ausrichtung bezeichnen, schließt effektiv die Lücke zwischen Krankenhäusern, die über unterschiedliche Instrumente verfügen, und stellt sicher, dass die kollektive Intelligenz stärker wird, selbst wenn einzelne Teile fehlen.

Der Trainingsprozess ist in zwei distinkte Phasen unterteilt, um die inhärente Unschärfe des Lernens aus einfachen „Ja“ oder „Nein“-Labels zu bewältigen. In der ersten Phase generiert das System grobe Vermutungen, oder Pseudo-Labels, darüber, wo sich der Tumor basierend auf den verfügbaren Scans befinden könnte. Da die Daten unvollständig sind, können diese ersten Vermutungen unordentlich oder ungenau sein. Die zweite Phase fungt als ein dediziertes Verfeinerungsnetzwerk, eine zweite Ebene der Intelligenz, die diese groben Vermutungen übernimmt und bereinigt. Es nutzt eine Kombination von Techniken, einschließlich eines „Lehrer“-Modells, das stabile Führung bietet, und eines Abstimmungssystems, das verschiedene Hinweise gewichtet, um die endgültige Form des Tumors zu bestimmen. Dieser zweistufige Prozess ermöglicht es dem System, die üblichen Genauigkeitsgrenzen der schwachen Überwachung (Weak Supervision) zu durchbrechen und aus groben, verrauschten Hinweisen präzise, detaillierte Umrisse des Tumors zu erstellen.

Die Forscher testeten ihr Framework an drei Datensätzen mit Hirntumoren aus mehreren Institutionen, darunter die FeTS2022 Challenge, der BraTS-MEN-Datensatz für Meningiome und der BraTS-SSA-Datensatz aus Subsahara-Afrika. Diese Tests umfassten eine Vielzahl von Szenarien, in denen Krankenhäuser über unterschiedliche Kombinationen von MRT-Scans verfügten, reichend von vollständigen Sätzen bis hin zu einzelnen Scans. Die Ergebnisse waren beeindruckend. Unter Verwendung von nur Bild-Level-Labels und beim Umgang mit fehlenden Scans erreichte das MOSAIC-System einen Dice-Score von 0,84 auf dem FeTS2022-Datensatz, eine Metrik, die misst, wie gut die vorhergesagte Tumorumriss mit dem tatsächlichen Tumor übereinstimmt. Diese Leistung übertraf alle anderen Methoden, die auf detailliertere Überwachung angewiesen waren, wie etwa Bounding Boxes oder Punkt-Annotationen, und übertraf sogar ein zentralisiertes Modell, das Zugriff auf alle kombinierten Daten hatte. Tatsächlich arbeitete das System so gut, dass es die Genauigkeit voll überwachter Methoden erreichte, die Experten erfordern, um manuell jede Tumorgrenze zu zeichnen, obwohl es nur die einfachste Form der Kennzeichnung verwendete.

Eines der bedeutendsten Ergebnisse war die Fähigkeit des Systems, sich an neue, ungesehene Krankenhäuser anzupassen. Da das Translationsmodul nur von der Anzahl der verfügbaren Scans abhängt und nicht von deren spezifischer Art, kann ein neues Krankenhaus dem Netzwerk beitreten und sofort einen Beitrag leisten. Die Forscher demonstrierten, dass eine neue Institution einem bereits trainierten Netzwerk beitreten und eine Leistung innerhalb einer sehr geringen Marge der bestehenden Mitglieder erreichen kann, ohne das gesamte System von Grund auf neu trainieren zu müssen. Diese Fähigkeit ist entscheidend für den Einsatz in der realen Welt, in der medizinische Protokolle und die Verfügbarkeit von Geräten stark variieren und sich im Laufe der Zeit ändern. Das System zeigte auch eine bemerkenswerte Fähigkeit, seine eigene Unsicherheit zu quantifizieren, indem es korrekt identifizierte, wann es aufgrund fehlender Daten weniger vertrauensvoll bezüglich der Tumorgrenzen war – eine Funktion, die für den Aufbau von Vertrauen in klinischen Settings essenziell ist.

Die Studie untersuchte auch, was passiert, wenn unterschiedliche Ausrichtungsstrategien verwendet werden. Die Forscher verglichen ihren frequenzbasierten Ansatz mit anderen Methoden, die versuchten, Daten durch den Abgleich einfacher Mittelwerte oder Standardabweichungen der Bilder auszurichten. Sie fanden heraus, dass diese einfacheren Methoden daran scheiterten, die komplexen, texturbasierten Signaturen zu erfassen, die verschiedene Arten von medizinischen Scans unterscheiden. Nur der frequenzbasierte Ansatz, der auf die zugrunde liegenden rhythmischen Muster der Daten blickte, war in der Lage, die diversen Datensätze erfolgreich abzugleichen. Dies deutet darauf hin, dass es für Aufgaben mit unvollständigen und heterogenen Daten weitaus effektiver ist, auf die „Musik“ der Daten zu achten als nur auf deren „Lautstärke“.

Die Implikationen dieser Arbeit erstrecken sich über Hirntumore hinaus. Die Fähigkeit, leistungsstarke medizinische KI-Modelle zu trainieren, ohne Patientendaten zu bewegen und gleichzeitig die Realität zu berücksichtigen, dass verschiedene Krankenhäuser über unterschiedliche Werkzeuge und Detailgrade verfügen, adresset einen fundamentalen Flaschenhals in der globalen Gesundheitsversorgung. Indem sie bewiesen haben, dass eine hohe Genauigkeit mit einfachen Labels und unvollständigen Daten möglich ist, haben die Forscher einen Weg geebnet, damit mehr Krankenhäuser an kollaborativer KI-Forschung teilnehmen können. Das System erfordert keine teuren, zeitaufwendigen manuellen Annotationen und verlangt auch nicht, dass jedes Krankenhaus über die gleiche teure Ausrüstung verfügt. Stattdessen schafft es ein flexibles, privatsphäre-wahrendes Netzwerk, in dem das kollektive Wissen vieler unvollkommener Quellen zu einem hochgradig genauen, vertrauenswürdigen Modell synthetisiert werden kann.

Letztendlich zeigt das MOSAIC-Framework, dass die Einschränkungen durch Privatsphäre und unvollständige Daten keine Barrieren für den Fortschritt sein müssen. Indem sie ein System entworfen haben, das die Beschränkungen der realen Welt respektiert – in der Daten isoliert sind, Labels knapp sind und die Ausrüstung variiert –, haben die Forscher gezeigt, dass es möglich ist, eine kollaborative Intelligenz aufzubauen, die nicht nur sicher, sondern auch überlegen gegenüber traditionellen, zentralisierten Ansätzen ist. Die Arbeit legt nahe, dass die Zukunft der medizinischen KI nicht darin liegt, alle Daten an einem Ort zu sammeln, sondern in der Schaffung smarter, adaptiver Systeme, die aus der diversen und fragmentierten Realität der globalen Gesundheitsversorgung lernen können.