Comparative Performance of Frontier Large Language Models for Extracting High-Risk Pathologic Features from Unstructured Gastrointestinal Oncology Reports: A Systematic Benchmarking Study with Human and Traditional NLP Baselines
Diese systematische Benchmarking-Studie zeigt, dass führende große multimodale Modelle, insbesondere Gemini 2.5 Pro und GPT-4o, sowohl zeitlich unter Druck stehende menschliche Experten als auch traditionelle NLP-Baselines bei der Extraktion des kritischen Status der perineuralen Invasion aus unstrukturierten gastrointestinalen Pathologieberichten signifikant übertreffen, während eine neuartige Taxonomie von Fehlermodi handlungsleitende Hinweise für die Modellauswahl basierend auf spezifischen Fehlersignaturen bietet.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Krankenakten als eine riesige, chaotische Bibliothek vor, in der jedes Buch in einem anderen Dialekt geschrieben ist. In dieser Bibliothek schreiben Ärzte lange, unordentliche Geschichten darüber, was sie unter einem Mikroskop sehen, und in diesen Geschichten verbergen sich winzige, entscheidende Hinweise, die über die zukünftige Behandlung eines Patienten entscheiden. Einer der wichtigsten Hinweise ist etwas namens „perineuraler Invasion“ (PNI). Betrachten Sie PNI als einen hinterlistigen Dieb, der es Krebszellen ermöglicht, sich an den winzigen Nerven im Körper entlangzuschleichen, was die Krankheit schwerer bekämpfbar macht. Wenn ein Arzt diesen Hinweis übersieht, wird er dem Patienten vielleicht nicht die richtige Art von Bestrahlung oder zusätzliche Medikamente verschreiben, die er benötigt.
Jahrelang haben Computer versucht, diese Geschichten zu lesen, um die Hinweise zu finden, aber sie wurden oft durch die unordentliche Handschrift der menschlichen Sprache verwirrt. Sie könnten ein „Nein“ übersehen oder an einem komplizierten Satz hängen bleiben. Nun ist eine neue Generation superintelligenter Computergehirne, genannt „Large Language Models“ (ähnlich wie die, die Chatbots antreiben), angekommen. Dies sind nicht nur einfache Suchmaschinen; sie sind wie brillante Studenten, die eine ganze Geschichte lesen, den Kontext verstehen und herausfinden können, was der Arzt eigentlich gemeint hat, selbst wenn die Worte knifflig sind. Die große Frage, die sich alle stellen, ist: Sind diese neuen KI-Studenten klug genug, um die hinterlistigen Krebs-Hinweise besser zu finden als ein müder menschlicher Arzt oder ein altes Computerprogramm?
Dieses Papier ist wie ein riesiger, hochkarätiger Buchstabierwettbewerb, aber anstatt Wörter zu buchstabieren, versuchen die Teilnehmer, diese hinterlistigen Krebs-Hinweise in 445 echten medizinischen Berichten zu finden. Die Forscher ließen in einem Rennen zwischen vier der leistungsstärksten verfügbaren KI-Modelle der Welt – GPT-4o, Gemini 2.5 Pro, Claude 3.7 Sonnet und DeepSeek-R1 – gegeneinander antreten. Aber sie ließen die KI nicht nur alleine spielen; sie fügten zwei weitere Teams zum Wettlauf hinzu, um zu sehen, wer gewinnen würde. Das erste Team war eine Gruppe von Ärzten in Ausbildung (Assistenzärzte), die die Berichte unter einem hektischen Zeitlimit von 90 Sekunden lesen mussten, was die Situation geschäftiger Ärzte in der Realität simulierte. Das zweite Team war ein traditionelles, älteres Computerprogramm (BioBERT), das speziell auf medizinischen Texten trainiert wurde, aber nicht über den „gesunden Menschenverstand“ der neueren KI verfügt.
Die Ergebnisse waren ein klarer Sieg für die neuen KI-Modelle, jedoch mit einigen interessanten Wendungen. Der Gewinner des Rennens um die reine Genauigkeit war Gemini 2.5 Pro, das in 95,8 % der Fälle die richtige Antwort gab. Es folgte sehr dicht auf den Zweitplatzierten GPT-4o, das in 94,2 % der Fälle richtig lag. Beide KI-Superstars übertrafen die Assistenzärzte deutlich, die unter dem Zeitdruck nur 77,2 % richtig bekamen, sowie das ältere BioBERT-Programm, das 79,6 % erreichte. Tatsächlich war das beste KI-Modell fast 10 % genauer als das unter Zeitdruck stehende menschliche Team.
Das Papier fand jedoch auch heraus, dass die KI noch nicht perfekt ist. Selbst die besten KI-Modelle kamen nicht so gut zurecht wie ein Team von erfahrenen Pathologen, die sich Zeit nahmen und keine Stoppuhr über ihrem Kopf ticken hatten (die 97,2 % richtig bekamen). Dies bedeutet, dass die KI großartig darin ist, die erste Durchgangsarbeit zu leisten, also wichtige Fälle zu markieren, aber sie benötigt immer noch einen menschlichen Experten, der die endgültige Entscheidung überprüft.
Die Studie entdeckte auch, dass jedes KI-Modell unterschiedliche Arten von Fehlern macht, wie etwa verschiedene „Persönlichkeitsfehler“. Gemini 2.5 Pro war am besten darin, die Gesamtnote richtig zu setzen, wurde sich aber manchmal von negativen Wörtern verwirren lassen. Wenn in einem Bericht „kein Anzeichen für eine Invasion“ stand, übersah Gemini manchmal das „kein“ und dachte, der Krebs sei vorhanden. Auf der anderen Seite waren GPT-4o und Claude 3.7 Sonnet sehr vorsichtig. Wenn der Bericht vage Wörter wie „möglich“ oder „wahrscheinlich“ verwendete, sagten diese Modelle oft: „Ich bin mir nicht sicher“, anstatt zu raten. Während dies sicher ist, bedeutet es, dass sie möglicherweise Fälle übersehen könnten, die ein Mensch erfassen würde.
Am Ende legt das Papier nahe, dass diese neuen KI-Modelle bereit sind, als „erste Verteidigungslinie“ in Krankenhäusern eingesetzt zu werden. Sie können durch hunderte von Berichten viel schneller und genauer scannen als ein müder Mensch und dabei die gefährlichen Hinweise finden, die Aufmerksamkeit erfordern. Aber da sie immer noch spezifische Arten von Fehlern machen und nicht ganz so perfekt sind wie ein sorgfältiger Experte, ist der beste Plan, die KI die schwere Arbeit erledigen zu lassen und dann einen menschlichen Arzt das letzte Wort geben zu lassen. Es ist ein Teamwork, bei dem die KI der super-schnelle Scout ist und der Mensch der weise Kapitän, der die endgültige Entscheidung trifft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.