Vision Foundation Models for Multi-Modal Medical Image Classification
Diese Arbeit zeigt, dass die Initialisierung von Vision-Foundation-Modellen (wie DINOv2 und MedSigLIP) die zufällige Initialisierung bei der multimodalen medizinischen Bildklassifizierung signifikant übertrifft, insbesondere wenn gelabelte Daten knapp sind oder Bildgebungsmodalitäten fehlen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In einem modernen Krankenhaus verlässt sich ein Arzt selten auf ein einzelnes Bild, um eine Diagnose zu stellen. Stattdessen weben sie einen Teppich aus Informationen aus verschiedenen Arten medizinischer Scans zusammen. Ein Patient mit einem Hirntumor benötigt möglicherweise eine Serie von Magnetresonanztomographien, die mit unterschiedlichen Einstellungen aufgenommen wurden, um die Ränder des Tumors und seine Blutversorgung zu sehen. Ein Patient mit einer Lebererkrankung benötigt möglicherweise Scans, die zu verschiedenen Zeitpunkten aufgenommen wurden, während das Kontrastmittel durch das Organ fließt. Ähnlich verhält es sich mit einem Pathologen, der Gewebe untersucht und vielleicht zwei verschiedene chemische Färbungen auf demselben Objektträger betrachtet, um das Verhalten eines Krebses zu verstehen. Dieser Ansatz, der als multimodale Bildgebung bekannt ist, ist der Behandlungsstandard, da jede Ansicht etwas offenbart, das die anderen übersehen. Es ist jedoch notorisch schwierig, einen Computer so zu lehren. Um einen Computer darauf zu trainieren, Muster zu erkennen, benötigen Forscher normalerweise Tausende von Beispielen, bei denen jeder einzelne Scan vorhanden und von einem menschlichen Experten perfekt beschriftet ist. In der realen Welt sind solche perfekten Datensätze selten. Patienten verpassen oft Termine, Maschinen gehen kaputt oder verschiedene Krankenhäuser verwenden unterschiedliche Scanning-Protokolle, was den Computer mit unvollständigen Informationen zurücklässt. Wenn Daten fehlen oder knapp sind, versagen Standard-Computermodelle oft, was zu Fehldiagnosen führt.
Forscher der Technischen Universität München und des TUM Klinikums setzten sich zum Ziel, dieses Problem zu lösen, indem sie änderten, wie sie diese Computermodelle lehren. Anstatt ein Modell von Grund auf neu mit zufälligen Einstellungen zu trainieren, jedes Mal, wenn eine neue medizinische Aufgabe auftaucht, testeten sie, ob es helfen könnte, mit einem Modell zu beginnen, das bereits gelernt hat, die Welt zu sehen. Diese vortrainierten Modelle, sogenannte Foundation Models, sind wie Studenten, die bereits Jahre damit verbracht haben, Millionen von allgemeinen Bildern zu studieren und gelernt haben, Formen, Texturen und Strukturen zu erkennen, noch bevor sie jemals einen medizinischen Scan gesehen haben. Das Team verglich drei Ansätze: das Training eines Modells von Grund auf mit zufälligen Einstellungen, den Beginn mit einem allgemeinen Modell, das auf Alltagsfotos trainiert wurde, und den Beginn mit einem Modell, das speziell auf medizinischen Bildern trainiert wurde. Sie testeten diese Methoden bei drei unterschiedlichen medizinischen Herausforderungen: der Klassifizierung von Hirntumoren aus mehreren MRT-Sequenzen, der Bewertung von Brustkrebsgewebe aus gepaarten Mikroskopie-Objektträgern und der Identifizierung von Leberläsionen aus mehrphasigen Abdominalscans.
Die Ergebnisse zeigten, dass es fast immer die bessere Wahl ist, mit einem vortrainierten Modell zu beginnen, wobei der Vorteil am dramatischsten ist, wenn die Daten unvollständig sind. Wenn die Forscher einen vollständigen Satz beschrifteter Bilder für jeden Patienten zur Verfügung hatten, schnitten die vortrainierten Modelle genauso gut ab wie oder sogar etwas besser als die Modelle, die von Grund auf neu trainiert wurden. Beispielsweise verbesserte die Verwendung eines vortrainierten Modells bei der Aufgabe der Leberläsion die Fähigkeit, die Krankheit korrekt zu identifizieren, von 54 Prozent auf 76 Prozent. Die wahre Stärke dieses Ansatzes zeigte sich jedoch, als die Forscher reale Probleme simulierten. Als sie die Menge der verfügbaren beschrifteten Daten für das Training reduzierten, hielten die vortrainierten Modelle stand, während die von Grund auf neu trainierten Modelle Schwierigkeiten bekamen. Der Unterschied war noch ausgeprägter, als sie einen der erforderlichen Scans vollständig entfernten, was in der klinischen Praxis ein häufiges Vorkommnis ist. In diesen Szenarien mit fehlenden Daten brachen die von Grund auf neu trainierten Modelle oft zusammen, wobei ihre Fähigkeit, Leberläsionen zu erkennen, auf nur 29 Prozent sank. Im Gegensatz dazu behielten die Modelle, die mit vortrainiertem Wissen begannen, eine Sensitivität von fast 73 Prozent bei, indem sie die fehlenden Informationen effektiv ignorierten und dennoch genaue Vorhersagen trafen.
Die Studie untersuchte auch, wie diese Modelle mit der Tatsache umgehen, dass verschiedene Krankenhäuser unterschiedliche Maschinen verwenden, was das Erscheinungsbild der Scans verändern kann. Beim Testen auf Daten aus einem Krankenhaus, das das Modell zuvor noch nie gesehen hatte, zeigten die vortrainierten Modelle erneut eine überlegene Stabilität, insbesondere in Kombination mit einer Trainingsmethode, die sowohl beschriftete als auch unbeschriftete Daten verwendet. Die Forscher fanden heraus, dass die Art und Weise, wie der Computer die verschiedenen Arten von Bildern kombiniert, wichtig ist, aber der Ausgangspunkt des Modells der entscheidende Faktor ist. Sie entdeckten, dass die vortrainierten Modelle Merkmale erlernt hatten, die robust genug waren, um fehlende Eingaben zu handhaben, ohne dass spezielle Engineering-Tricks zur Schließung der Lücken erforderlich waren. Dies deutet darauf an, dass das allgemeine Wissen, das durch das Sehen von Millionen von Bildern gewonnen wurde, eine starke Grundlage bietet, die gut auf die komplexe, oft chaotische Realität der medizinischen Bildgebung übertragbar ist.
Letztendlich argumentieren die Forscher, dass die alte Methode, medizinische KI-Modelle von Grund auf neu zu trainieren, die Ausnahme und nicht die Regel sein sollte. Indem man mit einem Modell beginnt, das bereits visuelle Muster versteht, werden medizinische KI-Systeme zuverlässiger, benötigen weniger beschriftete Beispiele zum Lernen und können die unvermeidlichen Lücken in den Patientendaten bewältigen, die im täglichen Betrieb auftreten. Dieser Wandel könnte fortschrittliche Diagnosetools zugänglicher und robuster machen und sicherstellen, dass ein computergestützter Assistent auch dann hilfreich bleibt, wenn ein Scan eines Patienten unvollständig ist oder ein Arzt nur wenige Beispiele hat, um ihn zu lehren. Die Studie bestätigt, dass es in der hochsensiblen Welt der medizinischen Diagnose, in der Daten oft knapp und unvollständig sind, die beste Strategie ist, auf dem aufzubauen, was der Computer bereits weiß.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.