Expert-level vision-language foundation model for real-world radiology and comprehensive evaluation

In der modernen Klinik ist das Büro des Radiologen ein Ort intensiver Konzentration, an dem das menschliche Auge tausende von Bildern scannt, um die unsichtbaren Zeichen von Krankheiten zu finden. Diese Bilder, die von flachen Röntgenaufnahmen des Brustkorbs bis hin zu dreidimensionalen Schnitten der Schilddrüse reichen, sind mehr als nur Fotos; sie sind komplexe Datensätze, die ein tiefes Verständnis von Anatomie und Pathologie erfordern, um korrekt interpretiert zu werden. Seit Jahrzehnten werden Computer darauf trainiert, spezifische Muster in diesen Bildern zu erkennen, wobei sie als spezialisierte Werkzeuge fungieren, die einen Knochenbruch oder einen Lungenknoten identifizieren können. Diese Werkzeuge waren jedoch traditionell auf Einzelaufgaben beschränkt und unfähig, mit einem Arzt zu kommunizieren oder ihre Argumentation in natürlicher Sprache zu erklären. Vor kurzem ist eine neue Generation künstlicher Intelligenz entstanden, die die Fähigkeit zu sehen mit der Fähigkeit zu verstehen und Sprache zu generieren kombiniert. Diese Systeme, bekannt als Vision-Language-Modelle, zielen darauf ab, die Lücke zwischen der visuellen Welt der medizinischen Bildgebung und der textuellen Welt klinischer Berichte zu schließen, und versprechen einen Assistenten, der nicht nur sieht, was ein Arzt sieht, sondern dies auch mit der Nuancierung eines menschlichen Experten beschreiben kann.

Ein Forscherteam hat nun ein neues System namens RadFound vorgestellt, das speziell darauf ausgelegt ist, die komplexe Sprache der Radiologie zu meistern. Im Gegensatz zu früheren Versuchen, die auf allgemeinem Wissen oder einfachen Anpassungen bestehender Werkzeuge beruhten, basiert dieses neue Modell auf der BLIP-2-Architektur, wurde jedoch unter Verwendung einer massiven Sammlung medizinischer Daten verfeinert. Die Forscher sammelten über 8,1 Millionen medizinische Bilder und 250.000 Paare aus Bildern und den dazugehörigen Textbeschreibungen. Dieser Datensatz deckt 19 große Organsysteme und 10 Bildgebungsverfahren ab, was sicherstellt, dass das Modell aus einer breiten Vielfalt realer Fälle lernt, statt aus einer engen Auswahl. Um dem System beizubringen, wie ein Spezialist zu sehen, entwickelte das Team eine einzigartige Trainingsmethode, die das Modell dazu zwingt, ein Bild zu betrachten, Teile davon zu verbergen und dann die fehlenden Details zu rekonstruieren, während es gleichzeitig andere verwandte Bilder vergleicht. Dieser Prozess hilft dem Computer, nicht nur die feinen Details eines einzelnen Scans zu lernen, sondern auch den breiteren Kontext dessen, wie verschiedene Bilder miteinander in Beziehung stehen, was die Art und Weise nachahmt, wie ein Radiologe einen aktuellen Scan mit den vergangenen Aufzeichnungen eines Patienten vergleicht.

Das System lernte zudem, diese visuellen Erkenntnisse durch einen spezialisierten Ausrichtungsprozess mit Sprache zu verknüpfen. Anstatt lediglich Wörter mit Bildern abzugleichen, wurde das Modell auf Daten trainiert, bei denen Bilder und Texte in einer spezifischen Reihenfolge miteinander verwoben waren, was ihm beibrachte, den Fluss eines medizinischen Berichts zu verstehen. Es lernte, Anweisungen zu verarbeiten, die die Betrachtung mehrerer Bilder gleichzeitig beinhalten könnten, wie etwa den Vergleich einer Mammographie aus zwei verschiedenen Winkeln oder die Analyse eines dreidimensionalen CT-Scans der Schilddrüse. Diese Fähigkeit ermöglicht es dem Modell, komplexe klinische Fragen zu bearbeiten, wie etwa die Frage nach einem Vergleich zwischen einem aktuellen Scan und einem vorherigen oder die Anforderung einer detaillierten Beschreibung von Befunden über verschiedene Körperteile hinweg. Die Forscher testeten dieses System an einem neuen Satz von Herausforderungen, die sie selbst erstellt hatten, welche die Beantwortung von Fragen zu medizinischen Bildern, das Schreiben kurzer Bildunterschriften und das Erstellen vollständiger diagnostischer Berichte für Thorax-Röntgenaufnahmen, Mammographien und Schilddrüsenscans umfassten.

Die Ergebnisse dieser Tests zeigten, dass das neue Modell bestehende Systeme, die nicht spezifisch für die Radiologie entwickelt wurden, deutlich übertraf. Wenn es gefragt wurde, Fragen zu medizinischen Bildern zu beantworten, lieferte das Modell weita큼 häufiger korrekte Antworten als seine Konkurrenten, selbst wenn die Fragen komplex waren oder den Vergleich mehrerer Ansichten erforderten. Bei Aufgaben, bei denen das Modell Texte generieren musste, erstellte es Berichte, die nicht nur grammatikalisch korrekt, sondern auch klinisch präzise waren. Die Forscher maßen diesen Erfolg anhand von Standard-Computermetriken, gingen aber noch einen Schritt weiter, indem sie menschliche Ärzte die Berichte bewerten ließen. In diesen Auswertungen wurde die Ausgabe des Modells hinsichtlich Lesbarkeit, medizinischer Argumentation und der Fähigkeit, wichtige Anomalien zu erkennen, bewertet. Die Ergebnisse zeigten, dass das Modell ein Niveau erreichte, das mit erfahrenen Radiologen mit über zehn Jahren Berufserfahrung vergleichbar ist und in einigen Fällen sogar Junioren-Radiologen übertraf. Dies deutet darauf hin, dass das System ein Expertenniveau erreicht hat, das es potenziell in der Lage macht, als zuverlässiger Partner im klinischen Arbeitsablauf zu dienen, fähig, die vielfältigen und anspruchsvollen Aufgaben der modernen Radiologie zu bewältigen.

Trotz dieser beeindruckenden Ergebnisse betonen die Forscher vorsichtig, dass die Arbeit ein bedeutender Schritt nach vorn und keine endgültige Lösung ist. Sie räumen ein, dass die Integration einer solchen Technologie in den täglichen Krankenhausbetrieb, obwohl das Modell in kontrollierten Tests gut abschneidet, weitere Untersuchungen erfordert. Die aktuelle Evaluierung stützte sich stark auf menschliche Experten, um die Qualität der Berichte zu beurteilen – ein Prozess, der zwar genau, aber zeitaufwendig und schwer skalierbar ist. Das Team schlägt vor, dass sich zukünftige Arbeiten darauf konzentrieren müssen, bessere Wege zu entwickeln, um den klinischen Wert dieser Berichte automatisch zu messen, ohne ausschließlich auf menschliche Bewertungsmethoden angewiesen zu sein. Darüber hinaus bleibt abzuwarten, welchen tatsächlichen Einfluss der Einsatz dieses Systems neben menschlichen Ärzten in einem geschäftigen Krankenhausumfeld hat. Dennoch zeigt die Entwicklung von RadFound, dass es möglich ist, eine künstliche Intelligenz zu erschaffen, welche die einzigartige Komplexität der medizinischen Bildgebung versteht, und bietet ein leistungsstarkes neues Werkzeug, das Ärzten eines Tages helfen könnte, Patienten schneller und genauer zu versorgen.