CoM$^3$eT: A foundation model for medical image analysis through federated, multidimensional context integration

Der menschliche Körper stellt eine weite Landschaft visueller Daten dar, von den flachen, zweidimensionalen Schatten eines Röntgenbildes bis hin zu den komplexen, dreidimensionalen Volumina einer CT-Aufnahme und den mikroskopischen, Gigapixel-Detailansichten eines Gewebeschnitts. Seit Jahrzehnten lernt die künstliche Intelligenz, diese Landschaften zu navigieren, doch dies geschah bisher in isolierten Nischen. Ein System, das darauf trainiert wurde, Tumore in einem Röntgenbild des Brustkorbs zu erkennen, kann oft ein Mikroskoppräparat nicht verstehen, und ein Modell, das darauf ausgelegt ist, Zellen in einer Gewebeprobe zu zählen, hat Schwierigkeiten, eine 3D-Organaufnahme zu interpretieren. Diese Fragmentierung zwingt Ärzte und Forscher dazu, für jede Art von Bild ein anderes spezialisiertes Werkzeug zu verwenden – eine Einschränkung, die kritisch wird, wenn Daten knapp sind oder wenn der Zustand eines Patienten eine gleichzeitige Betrachtung mehrerer Arten von Scans erfordert. Das Ziel moderner medizinischer KI ist es, einen einzigen, vielseitigen Verstand zu erschaffen, der das gesamte Bild erfassen kann, unabhängig vom Format, aber die Erstellung eines solchen Systems wurde durch die Schwierigkeit behindert, diese vielfältigen visuellen Welten zu kombinieren, ohne dabei an Präzision zu verlieren.

Ein Forschungsteam hat nun ein einheitliches System namens CoM³eT konstruiert, ein Foundation Model, das darauf ausgelegt ist, medizinische Bilder über alle Dimensionen und Aufgaben hinweg zu verstehen. Im Gegensatz zu bisherigen Modellen, die auf eine einzige Spezialisierung wie Radiologie oder Pathologie beschränkt waren oder auf bestimmte Arten von Antworten wie einfache Klassifizierung oder detaillierte Segmentierung begrenzt waren, vereint dieses neue Modell sie alle. Es behandelt ein 3D-Volumen eines Herzens, ein flaches Röntgenbild und ein massives digitales Mikroskoppräparat als Variationen derselben grundlegenden visuellen Sprache. Durch das Training auf einer riesigen Sammlung von über 100.000 Patienten, die alles von Einzelzellbildern bis hin zu Ganzkörper-Scans umfasst, lernte das Modell, Muster zu erkennen, die über verschiedene Skalen und Modalitäten hinweg bestehen bleiben. Das Ergebnis ist eine einzige Architektur, die Aufgaben ausführen kann, die so unterschiedlich sind wie die Diagnose einer Pneumonie in einem Röntgenbild des Brustkorbs, das Zählen sich teilender Zellen in einem Brustkrebs-Präparat und die Segmentierung von Blutgefäßen in einem 3D-CT-Scan – und das alles mit einem Genauigkeitsniveau, das den besten derzeit verfügbaren spezialisierten Werkzeugen ebenbürtig ist oder diese sogar übertrifft.

Die Stärke dieses Systems liegt darin, wie es Informationen verarbeitet. Anstatt einen 3D-Scan als einen Stapel separater 2D-Schichten zu behandeln, betrachtet das Modell das gesamte Volumen als ein zusammenhängendes Ganzes, was es ermöglicht, einen Kontext zu verstehen, der über verschiedene Schichten eines Bildes hinweg reicht. Es verwendet einen Mechanismus, der es ihm ermöglicht, sich auf die relevantesten Teile eines Bildes zu konzentrieren und gleichzeitig im Auge zu behalten, wo sich diese Teile im Raum befinden. Dieser Ansatz erwies sich als so effektiv, dass CoM³eT in einem kürzlich durchgeführten unabhängigen Wettbewerb, der darauf ausgelegt war, medizinische Foundation Models zu testen, den Gesamtsieg errang und andere führende Modelle sowohl in der Radiologie als auch in der Pathologie übertraf. Es war das einzige Modell, das in der Lage war, alle präsentierten Aufgaben zu bewältigen, von der Erstellung von Textberichten über Bilder bis hin zur Identifizierung spezifischer Strukturen in komplexen 3D-Daten. In einem spezifischen Test zur Segmentierung von Brusttumoren in MRT-Scans erreichte das Modell einen Score, der signifikant höher war als der spezialisierter Konkurrenten, was zeigt, dass ein einziger, vereinheitlichter Ansatz spezialisierte, enge Werkzeuge übertreffen kann.

Der vielleicht praktischere Durchbruch dieser Arbeit ist nicht nur ihre Intelligenz, sondern auch ihre Effizienz. Das Training eines solch massiven Modells erfordert normalerweise enorme Rechenleistung, die oft auf einige wenige Elite-Institutionen mit Zugang zu Supercomputern beschränkt ist. Die Forscher entdeckten jedoch, dass sie dieses leistungsstarke System an neue medizinische Aufgaben anpassen konnten, indem sie nur einen winzigen Bruchteil seiner internen Einstellungen aktualisierten – weniger als 2,5 Prozent der gesamten Parameter. Diese Technik, bekannt als partielles Fine-Tuning, ermöglicht es dem Modell, neue Fähigkeiten zu erlernen, ohne sein gesamtes Gehirn neu trainieren zu müssen. Diese Effizienz öffnet die Tür zu einer neuen Art der Zusammenarbeit zwischen Krankenhäusern. Das Team demonstrierte, dass sie das Modell über mehrere deutsche Universitätskliniken hinweg trainieren konnten, ohne jemals die sensiblen Patientendaten aus deren lokalem Speicher zu bewegen. Indem sie den Kern des Modells eingefroren hielten und nur die kleinen, aktualisierten Teile des Systems über das Internet austauschten, erreichten sie Leistungsniveaus, die mit dem Training auf einem einzigen, massiven kombinierten Datensatz vergleichbar sind. Dies beweist, dass hochgradig fortschrittliche medizinische KI entwickelt und geteilt werden kann, selbst mit Standard-Computerhardware und gewöhnlichen Internetverbindungen, was fortschrittliche Diagnosetools einem viel breiteren Spektrum an medizinischen Zentren zugänglich macht.

Die Fähigkeit des Modells, vielfältige Datentypen zu handhaben, adressiert zudem eine langjährige Herausforderung in der medizinischen Bildgebung: die Notwendigkeit, den Zustand eines Patienten aus mehreren Blickwinkeln zu analysieren. In der Vergangenheit musste sich ein Arzt möglicherweise auf einen Radiologen verlassen, um einen CT-Scan zu lesen, und auf einen Pathologen, um ein Gewebepräparat zu beurteilen, ohne dass ein einzelnes System in der Lage wäre, beide Ansichten zu synthetisieren. CoM³eT schließt diese Lücke, indem es lernt, Informationen aus verschiedenen Quellen zu integrieren. Beispielsweise konnte das Modell in Aufgaben, die eine Vorhersage der Krebsrezidiv-Wahrscheinlichkeit erforderten, den räumlichen Kontext eines gesamten Gewebeschnitts mit den spezifischen Details einzelner Zell-Patches kombinieren. Diese ganzheitliche Sichtweise ermöglichte es ihm, genauere Vorhersagen zu treffen als Modelle, die die Daten isoliert betrachteten. Die Forscher fanden heraus, dass die Leistung des Modells signifikant besser wurde, wenn es den Beziehungen zwischen verschiedenen Teilen eines Bildes Rechnung tragen durfte, was darauf hindeutet, dass der Kontext eines Bildes genauso wichtig ist wie das Bild selbst.

Trotz seines Erfolges weisen die Forscher vorsichtig darauf hin, dass das System keine magische Lösung ist, die in jedem Szenario perfekt funktioniert. Bei bestimmten spezifischen Aufgaben, wie etwa der Identifizierung sehr kleiner Blutgefäße in einem CT-Scan, stößt das Modell noch an Grenzen, insbesondere wenn die Strukturen schwer von ihrer Umgebung zu unterscheiden sind. Das Team räumt ein, dass die Fähigkeit des Modells, den globalen Kontext zu integrieren, zwar eine große Stärke ist, es aber dennoch Bereiche gibt, in denen spezialisierte, traditionelle Methoden einen Vorteil haben könnten. Dass jedoch ein einziges, flexibles System in der Lage ist, mit diesen spezialisierten Methoden zu konkurrieren und sie oft zu übertreffen, deutet auf einen Wandel in der Entwicklung medizinischer KI hin. Anstatt für jede neue Krankheit oder jede neue Bildgebungstechnik ein neues, eng gefasstes Werkzeug zu bauen, könnte die Zukunft in diesen breiten, anpassungsfähigen Fundamenten liegen, die schnell auf spezifische Bedürfnisse abgestimmt werden können.

Die Auswirkungen dieser Arbeit reichen weit über das Labor hinaus. Indem sie bewiesen haben, dass ein einziges Modell von einer riesigen Menge medizinischer Daten lernen und effizient an neue Aufgaben anpassen kann, haben die Forscher einen Bauplan für die nächste Generation der medizinischen KI geliefert. Dieser Ansatz senkt die Eintrittsbarriere für die Entwicklung neuer Diagnosetools, da er nicht mehr für jede neue Anwendung massive Datensätze oder Supercomputing-Ressourcen erfordert. Die Fähigkeit, diese Modelle über mehrere Institutionen hinweg zu trainieren, ohne Rohdaten von Patienten zu teilen, adressiert zudem kritische Datenschutzbedenken und bietet einen Weg für eine kollaborative Forschung, die die Vertraulichkeit der Patienten wahrt. Während sich das Feld weiterentwickelt, wird sich der Fokus wahrscheinlich von der Erstellung isolierter, spezialisierter Modelle hin zum Aufbau dieser vielseitigen, fundierten Systeme verschieben, die mit unserem Verständnis der menschlichen Gesundheit wachsen und sich anpassen können. Der Erfolg von CoM³eT legt nahe, dass die Zukunft der medizinischen Bildanalyse nicht durch die Anzahl der Werkzeuge definiert sein wird, die ein Arzt besitzt, sondern durch die Tiefe und Breite eines einzigen, intelligenten Systems, das die gesamte Landschaft der medizinischen Daten erfassen kann.