Chest2Vec: A multipurpose text encoder conditioned by instructions for chest radiograph and computed tomography reports

In der Welt der medizinischen Bildgebung ist ein Bild oft mehr als tausend Worte wert, aber für die Computer, die Ärzten beim Lesen dieser Bilder helfen, sind die Worte ebenso entscheidend. Wenn ein Radiologe ein Röntgenbild des Brustkorbs oder eine CT-Aufnahme untersucht, schreibt er einen Bericht, der beschreibt, was er sieht: ob die Lungen frei sind, ob sich Flüssigkeit um das Herz befindet oder ob ein Knochen gebrochen ist. Diese Berichte sind die primäre Aufzeichnung dessen, was das Bild zeigt, und sie sind zur Grundlage für den Aufbau von Systemen der künstlichen Intelligenz geworden, die bei der Diagnose helfen können. Um einem Computer beizubringen, diese Bilder zu verstehen, müssen Ingenieure ihm zuerst beibringen, die Sprache der Berichte zu verstehen. Dies erfordert einen „Text-Encoder“, ein spezialisiertes Computerprogramm, das menschliche Sätze in ein mathematisches Format übersetzt, das die Maschine verarbeiten kann. Jahrelang wurden diese Programme auf allgemeiner Sprache oder speziell auf Thorax-Röntgenaufnahmen trainiert, aber sie hatten Schwierigkeiten mit den komplexeren und detaillierteren Berichten, die von Thorax-CT-Scans erstellt werden, welche eine viel breitere Sicht auf das Innere des Körpers ermöglichen.

Ein Forschungsteam hat nun ein neues Werkzeug namens Chest2Vec entwickelt, um diese Lücke zu schließen. Dieses System ist darauf ausgelegt, den Text sowohl von Thorax-Röntgenaufnahmen als auch von Thorax-CT-Scans zu verstehen, und fungiert als universeller Übersetzer für diese zwei verschiedenen Arten der medizinischen Bildgebung. Die Forscher entwickelten zwei Versionen dieses Werkzeugs, eine kleinere und eine größere, und testeten sie gegen bestehende Programme, um zu sehen, welches das Verständnis medizinischer Berichte am besten erfassen konnte. Sie fanden heraus, dass ihr neues System, insbesondere die größere Version, die Nuancen von CT-Berichten deutlich besser verstand als jedes andere verfügbare Werkzeug. Es konnte spezifische Befunde in einem Bericht korrekt einem endgültigen Schluss der Ärzte zuordnen, subtile Fehler im Text erkennen und sogar seine Aufmerksamkeit auf bestimmte Körperteile wie die Lunge oder das Herz richten, indem es einfach einer einfachen Anweisung folgte. Diese Arbeit legt nahe, dass wir durch das Training von Computern speziell auf der Sprache der Thorax-Bildgebung – anstatt sie nur größer zu machen oder allgemeine Sprachkenntnisse zu nutzen – zuverlässigere und nützlichere Werkzeuge für die medizinische Diagnose schaffen können.

Die Herausforderung, der die Forscher gegenüberstanden, war, dass die in CT-Berichten verwendete Sprache sich von der in Thorax-Röntgenaufnahmen unterscheidet. Obwohl beide dieselben Organe beschreiben, ist ein CT-Bericht oft länger und enthält Details über Bereiche, die eine Röntgenaufnahme nicht sehen kann, wie etwa den oberen Abdomen oder die Blutgefäße im Hals. Bestehende Computerprogramme waren entweder zu allgemein, um diese medizinischen Spezifika zu erfassen, oder wurden nur auf der einfacheren Sprache von Röntgenaufnahmen trainiert. Die Forscher hypothetisierten, dass ein Computermodell, das speziell auf dem Text beider Arten von Thorax-Berichten trainiert wurde, die Bedeutung der Wörter genauer repräsentieren würde als ein Modell, das auf allgemeiner Sprache oder nur einer Art von Scan trainiert wurde. Sie begannen mit einem leistungsstarken Basismodell und unterrichteten es dann mithilfe von tausenden echten medizinischen Berichten, wobei sie den Text mit Anweisungen kombinierten, die dem Computer die zu ausführende Aufgabe vorgaben, wie zum Beispiel „Finde den Fehler“ oder „Fasse die Befunde zusammen“.

Um ihre Schöpfung zu testen, unterzog das Team Chest2Vec einer Reihe strenger Herausforderungen unter Verwendung von Daten aus Krankenhäusern, die der Computer zuvor noch nie gesehen hatte. In einem Test baten sie das System, die korrekte Zusammenfassung des Zustands eines Patienten basierend nur auf der detaillierten Liste der Befunde zu finden. Bei Thorax-CT-Berichten gelang es dem neuen System, die korrekte Zusammenfassung in fast 69 Prozent der Fälle zu finden, während das nächstbeste Konkurrenzprogramm, ein auf Röntgenaufnahmen spezialisiertes Programm, in weniger als 58 Prozent der Fälle erfolgreich war. In einem anderen Test baten die Forscher den Computer zu identifizieren, ob ein Bericht subtil verändert worden war, um einen medizinischen Fehler einzuschleusen, wie etwa die Änderung eines negativen Befundes in einen positiven. Das neue System identifizierte den unveränderten, korrekten Bericht in mehr als 87 Prozent der Fälle korrekt und übertraf damit die anderen Werkzeuge bei weitem. Diese Ergebnisse zeigten, dass die Verbesserung aus dem spezifischen Training auf dem Text der Thorax-Bildgebung resultierte und nicht bloß aus der Größe des Computermodells.

Die Forscher entdeckten auch, dass das System angewiesen werden konnte, sich auf bestimmte Körperteile zu konzentrieren, ohne neu trainiert werden zu müssen. Indem sie einfach die Anweisung änderten, die dem Computer gegeben wurde, konnten sie ihn dazu bringen, Informationen über die Lunge, das Herz oder die Knochen zu priorisieren, wodurch sie seine Aufmerksamkeit effektiv auf den interessierenden Bereich abstimmten. Diese Flexibilität ist wertvoll, da sie es einem einzelnen Computermodell ermöglicht, viele verschiedene Zwecke zu erfüllen, vom Überprüfen spezifischer Krankheiten bis hin zum Helfen von Ärzten, ähnliche vergangene Fälle zu finden. Darüber hinaus zeigten das Team, dass dieser Text-Encoder die Leistung einer bildbasierten KI verbessern kann. Als sie das neue Textwerkzeug verwendeten, um einem Computer beizubringen, wie er CT-Scans „sieht“, war das daraus resultierende Bilderkennungssystem genauer als jene, die mit älteren, weniger spezialisierten Textwerkzeugen trainiert worden waren.

Trotz dieser Erfolge wiesen die Forscher auf mehrere Einschränkungen hin. Die Trainingsdaten für CT-Scans stammten aus einer einzigen öffentlichen Quelle, was bedeutet, dass das System möglicherweise nicht perfekt an die Berichtsstile jedes Krankenhauses oder jedes Landes angepasst ist. Zudem wurde das System mit englischsprachigen Berichten getestet, und es bleibt abzuwarten, wie seine Leistung in anderen Sprachen oder in anderen medizinischen Kontexten ausfällt. Das Team wies auch darauf hin, dass die Fehler, die in ihrem Test verwendet wurden, von Computern erzeugt wurden und nicht natürlich in realen Berichten vorkommen, was bedeutet, dass die Fähigkeit des Systems, reale Fehler zu entdecken, abweichen könnte. Dennoch liefert die Studie starke Beweise dafür, dass ein spezialisierter, anweisungsgesteuerter Ansatz besser funktioniert als allgemeine Methoden für das Verständnis von Thorax-Bildgebungsberichten. Durch die Veröffentlichung ihrer Werkzeuge und der von ihnen erstellten strukturierten Daten hoffen die Forscher, andere Wissenschaftler in die Lage zu versetzen, noch fortschrittlichere Systeme zu bauen, die bei der komplexen und lebenswichtigen Arbeit der Interpretation medizinischer Bilder unterstützen können.