FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records
Dieses Paper führt FoMoH ein, einen umfassenden Benchmark aus 14 klinisch bedeutsamen Aufgaben und über 6 Millionen Patienten, der hochmoderne strukturierte EHR-Foundation-Modelle evaluiert und aufzeigt, dass diese zwar herkömmliche Baselines in Bezug auf Diskriminierung und Fairness unter begrenzten Daten übertreffen, jedoch weiterhin vor erheblichen Herausforderungen bei der Kalibrierung, in Settings mit geringer Prävalenz und bei der institutionenübergreifenden Transportierbarkeit stehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, ein Arzt zu sein. Lange Zeit war der einzige Weg dafür, dem Computer tausende spezifische Beispiele für jeden einzelnen Job zu zeigen: „Hier ist, wie ein gebrochener Arm aussieht“, „Hier ist, wie ein Fieber aussieht“, „Hier ist, wie ein Herzinfarkt aussieht“. Das ist so, als würde man einen Hund darauf trainieren, einen spezifischen Ball zu apportieren; wenn man möchte, dass er einen Stock holt, muss man wieder von vorne anfangen. Diese Methode ist langsam, teuer, und der Computer wird oft verwirrt, wenn er einen Patienten sieht, an dem er nicht geübt hat.
Kürzlich haben Wissenschaftler angefangen, einen neuen Trick anzuwenden, den sie „Foundation Models“ (Fundamentmodelle) nennen. Denken Sie an diese Modelle als superintelligente Studenten, die jedes medizinische Lehrbuch in der Bibliothek gelesen haben, bevor sie jemals einen Patienten treffen. Sie wurden noch nicht spezifisch darauf trainiert, wie man einen gebrochenen Arm diagnostiziert, aber weil sie die allgemeine Sprache der Medizin verstehen, können sie diese spezifische Fähigkeit sehr schnell mit nur wenigen Beispielen erlernen. Die große Frage, die sich alle stellen, ist: Arbeiten diese Super-Studenten tatsächlich besser als die alte Methode? Können sie mit dem chaotischen, realen Klinikalltag umgehen und sind sie fair gegenüber jeder Art von Patient? Dieses Paper setzt sich zum Ziel, die Antwort zu finden, indem es diese Modelle einem strengen, realitätsnahen Test unterzieht.
Die große Krankenhaus-Prüfung: Die Super-Studenten im Test
Die Autoren dieser Arbeit beschlossen, nicht länger zu raten, sondern zu testen. Sie entwickelten eine massive „Prüfung“ für sechs der fortschrittlichsten medizinischen Foundation Models. Anstatt nur zu fragen: „Hast du die richtige Antwort gegeben?“, stellten sie eine viel tiefere Reihe von Fragen: „Hast du die richtige Antwort gegeben und weißt du, wie sicher du dir bist?“ und „Hast du reiche und arme Patienten oder verschiedene Bevölkerungsgruppen fair behandelt?“
Sie testeten diese Modelle an über 6 Millionen Patienten aus zwei Hauptquellen: dem Columbia University Irving Medical Center und einem öffentlichen Datensatz namens MIMIC-IV. Die Prüfung bestand aus 14 verschiedenen klinischen Aufgaben, die von der Vorhersage, ob ein Patient im Krankenhaus sterben wird, bis hin zur Diagnose chronischer Erkrankungen wie Diabetes oder Schizophrenie reichten.
Hier sind die Ergebnisse, aufgeschlüsselt in das Gute, das Schlechte und die kniffligen Teile.
Die guten Nachrichten: Die „Few-Shot“-Superkraft
Die aufregendste Erkenntnis ist, dass diese Foundation Models in der Tat magisch sind, wenn Daten knapp sind. Stellen Sie sich vor, Sie sind ein Arzt in einer kleinen Klinik, in der Sie nur 100 Fälle einer seltenen Krankheit gesehen haben. Ein traditionelles Computermodell würde wahrscheinlich scheitern, weil es nicht genug Beispiele gesehen hat, um daraus zu lernen. Aber die Foundation Models, die während ihres Pre-Trainings Millionen von Datensätzen „gelesen“ haben, konnten dennoch überraschend gute Vermutungen anstellen.
In diesen „Low-Data“-Situationen (Situationen mit wenig Daten) übertrafen die leistungsstärksten Modelle die traditionellen Methoden bei der Unterscheidung zwischen kranken und gesunden Patienten. Sie schienen zudem fairer zu sein. Da sie von einer so riesigen und vielfältigen Menge gelernt hatten, ließen sie sich weniger von verschiedenen Gruppen von Menschen (wie unterschiedlichen Ethnien oder der Häufigkeit von Arztbesuchen) verwirren als die älteren, spezialisierten Modelle. Es ist, als ob der Super-Student, der in der Bibliothek jeden getroffen hat, weniger dazu neigt, Annahmen über einen Fremden zu treffen, als der Student, der nur mit seinen eigenen Freunden studiert hat.
Die schlechten Nachrichten: Das „Konfidenz“-Problem
Es gibt jedoch einen Haken. Obwohl diese Modelle gut darin waren zu sagen: „Dieser Patient ist krank“, waren sie manchmal schlecht darin zu sagen: „Ich bin mir sicher, dass dieser Patient krank ist.“
In der Medizin ist es genauso wichtig zu wissen, wie wahrscheinlich etwas ist, wie zu wissen, was passieren wird. Wenn ein Modell sagt, dass ein Patient eine 90-prozentige Wahrscheinlichkeit hat zu sterben, muss der Arzt wissen, ob diese Zahl korrekt ist. Die Studie ergab, dass diese Foundation Models unter begrenzten Daten oft schlecht kalibriert waren. Sie könnten zwar richtig raten, aber ihre Konfidenzwerte (Sicherheitswerte) waren ungenau. Es ist wie bei einem Wetterbericht, der immer Regen vorhersagt; er mag zwar die Hälfte der Zeit recht haben, aber wenn er „100 % Regenwahrscheinlichkeit“ sagt, obwohl es eigentlich sonnig ist, ist er nicht vertrauenswürdig. Die Studie legt nahe, dass diese Modelle zwar gut darin sind, Muster zu erkennen, aber noch nicht ganz gelernt haben, ihre eigene Gewissheit genau zu messen.
Der knifflige Teil: Der „Blinde Fleck für seltene Krankheiten“
Die Modelle hatten auch Schwierigkeiten mit sehr seltenen Erkrankungen. Wenn eine Krankheit bei weniger als 1 % der Patienten auftritt, verfehlten die Foundation Models oft das Ziel. Die Autoren vermuten, dass die Modelle während ihres massiven Trainings diese seltenen Ereignisse möglicherweise „ignoriert“ haben, weil sie zu sehr damit beschäftigt waren, das Gewöhnliche zu lernen. Es ist wie ein Student, der für eine Prüfung lernt, indem er eine Million Seiten Geschichte liest, aber die eine Seite über ein winziges, obskures Ereignis überspringt, das tatsächlich in der Prüfung vorkommt. Als die Forscher versuchten, die Modelle zu „feintunen“ (ihnen die spezifische Antwort beizubringen) mit mehr Daten, wurden die Modelle nicht immer besser; manchmal wurden sie sogar schlechter, wahrscheinlich weil sie durch die winzige Anzahl an Beispielen verwirrt wurden.
Die letzte Hürde: Das „Neue-Stadt-Problem“
Schließlich testeten die Autoren, ob diese Modelle reisen können. Wenn ein Modell an Patienten in New York (Columbia) trainiert wurde, kann es dann auch an Patienten in Kalifornien (Stanford) funktionieren? Die Antwort war ein enttäuschendes Nein.
Als sie ein in Stanford trainiertes Modell an der Columbia University testeten, schnitt es schlechter ab als ein lokal trainiertes Modell. Die Autoren erklären, dass Krankenhäuser wie verschiedene Städte mit unterschiedlichen Dialekten sind. Ein Krankenhaus zeichnet Daten vielleicht anders auf oder hat Patienten mit anderen Gewohnheiten. Der „Super-Student“, der in einer Stadt trainiert wurde, verstand den Slang der anderen Stadt nicht. Das bedeutet, dass man derzeit nicht einfach eine medizinische KI herunterladen und erwarten kann, dass sie überall funktioniert; sie muss immer noch für jedes spezifische Krankenhaus neu trainiert werden.
Das Fazit
Dieses Paper sagt nicht, dass Foundation Models noch nicht die Zukunft der Medizin sind, aber es beweist, dass sie viel Potenzial haben. Sie sind fantastisch darin, schnell zu lernen, wenn Daten schwer zu finden sind, und sie sind überraschend fair gegenüber verschiedenen Gruppen. Dennoch haben sie immer noch Schwierigkeiten mit seltenen Krankheiten, sie sind nicht immer ehrlich darüber, wie sicher sie sich sind, und sie können nicht ohne Weiteres zwischen verschiedenen Krankenhäusern wechseln.
Die Autoren kommen zu dem Schluss, dass wir, bevor wir diese Modelle das Ruder übernehmen lassen, ihr „Konfidenz-Meter“ korrigieren, sie lehren müssen, auf seltene Bedingungen zu achten, und herausfinden müssen, wie wir sie dazu bringen, den einzigartigen „Dialekt“ eines jeden Krankenhauses zu verstehen. Bis dahin sind sie zwar mächtige Werkzeuge, aber sie brauchen einen menschlichen Arzt, der ihre Arbeit überprüft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.