Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

In der sich schnell entwickelnden Landschaft der künstlichen IntelligenIntelligenz ist eine neue Klasse von Werkzeugen entstanden, um ein spezifisches Problem anzugehen: wie man Maschinen dazu bringt, zwischen fest vorgegebenen Optionen zu wählen, ohne lange Erklärungen formulieren zu müssen. Traditionell beantworten große Sprachmodelle Fragen, indem sie Text Wort für Wort generieren – ein Prozess, der zwar flexibel, aber oft langsam und teuer ist. Ein neuerer Ansatz, bekannt als Entscheidungsmodellierung (Decision Modeling), überspringt die Textgenerierung gänzlich. Stattdessen betrachtet das Modell eine Liste möglicher Antworten, die vom Benutzer bereitgestellt wurden, und weist jeder davon einen Wahrscheinlichkeitswert zu, was im Wesentlichen bedeutet: „Ich bin mir zu 90 Prozent sicher, dass dies die richtige Wahl ist, und zu 10 Prozent sicher, dass es jene ist.“ Diese Methode ist schneller und kostengünstiger, wirft jedoch eine kritische Frage für Hochrisikofelder wie die Medizin auf: Können diese Maschinen wissen, wann sie falsch liegen? Wenn ein Modell zwar selbstbewusst, aber dennoch falsch liegt, könnte dies zu gefährlichen Fehlern führen. Die Herausforderung besteht darin, einen Weg zu finden, damit das System seine eigene Unsicherheit erkennt und schwierige Fälle an einen menschlichen Experten oder einen leistungsfähigeren Computer übergibt, bevor ein Fehler auftritt.

Forscher am Inje University College of Medicine machten sich daran zu testen, ob diese Entscheidungsmodelle in der Lage sind, ihre eigenen Fehler bei medizinischen Zulassungsprüfungen zuverlässig zu erkennen. Sie konzentrierten sich auf drei verschiedene Modelle von unterschiedlichen Unternehmen und testeten diese an Hunderten von Fragen aus koreanischen und US-amerikanischen medizinischen Fachprüfungen. Das Ziel war nicht nur zu sehen, wie viele Fragen die Maschinen richtig beantworteten, sondern auch zu prüfen, ob die von ihnen generierten Wahrscheinlichkeitswerte als Warnsystem dienen konnten. Die Forscher fragten sich: Wenn ein Modell angibt, dass es sich bei einer Antwort nur geringfügig sicher ist, bedeutet das tatsächlich, dass die Antwort wahrscheinlich falsch ist? Und wenn das System angewiesen wird, seine unsichersten Vermutungen zur Seite zu legen und sie einem stärkeren Modell für eine zweite Begutachtung zuzuleisen, verbessert dies die Gesamtgenauigkeit, ohne ein Vermögen zu kosten?

Um Antworten zu finden, führten die Teams eine Reihe von Computersimulationen unter Verwendung realer Prüfungsfragen durch. Sie fütterten drei verschiedene Entscheidungsmodelle – Jev, OpenAI Decisions und Clef – mit tausenden medizinischen Fragen. Jedes Modell wurde aufgefordert, die richtige Antwort aus einer Liste von Optionen auszuwählen und einen Konfidenzwert für seine Wahl anzugeben. Die Forscher verglichen diese Werte anschließend mit den offiziellen Antwortschlüsseln, um zu sehen, ob eine geringe Konfidenz tatsächlich mit Fehlern korrelierte. Sie entdeckten, dass die Modelle tatsächlich recht gut in dieser Selbsteinschätzung waren. Wenn die Modelle unsicher waren, lagen sie oft falsch. Konkret identifizierten die Modelle die richtige Antwort bei etwa 83 bis 92 Prozent der koreanischen Fragen und bei 85 bis 88 Prozent der englischen Fragen korrekt. Viel wichtiger war jedoch, dass die Wahrscheinlichkeitswerte Fehler erfolgreich signalisierten. Bei den koreanischen Tests konnten die Unsicherheitswerte der Modelle die falschen Antworten mit einem hohen Maß an Zuverlässigkeit von den richtigen unterscheiden, und dasselbe galt auch für die englischen Tests.

Die Studie ging dann zu einer praktischen Anwendung über: einem Überweisungssystem (Referral System). Die Forscher simulierten ein Szenario, in dem die 20 Prozent der Antworten mit der geringsten Konfidenz von jedem Modell automatisch an ein wesentlich leistungsfähigeres und teureres Modell, GPT-6.1 Sol, zur endgültigen Entscheidung weitergeleitet wurden. Die Ergebnisse zeigten, dass diese einfache Strategie bemerkenswert gut funktionierte. Durch die Überweisung von nur einem Fünftel der Antworten fing das System zwischen 56 und 91 Prozent der Fehler ab, die die ursprünglichen Modelle gemacht hatten. Dieser Prozess steigerte die Gesamtgenauigkeit des Systems um 6 bis 9 Prozentpunkte. Die Kosten für diese Verbesserung betrugen nur einen Bruchteil dessen, was es gekostet hätte, das leistungsstarke Modell für jede einzelne Frage laufen zu lassen. Der Überweisungsansatz erreichte nahezu die Hälfte bis fast alle möglichen Genauigkeitsgewinne, die verfügbar wären, wenn ein perfekter „Orakel“ im Voraus genau wüsste, welche Antworten falsch sind, und das bei nur etwa einem Viertel bis einem Drittel der Kosten einer ausschließlichen Nutzung des leistungsstarken Modells.

Die Forscher deckten jedoch auch wichtige Einschränkungen auf, die darauf hindeuten, dass diese Werkzeuge noch nicht bereit für den Einsatz im Krankenhaus sind. Obwohl die Modelle gut darin waren, ihre eigene Unsicherheit zu erkennen, waren sie nicht perfekt. Es wurden Fehler mit hoher Konfidenz gemacht, was bedeutet, dass die Maschine sich der falschen Antwort sicher war. Diese selbstbewussten Fehler waren oft stabil, was heißt, dass sie sich nicht änderten, selbst wenn die Reihenfolge der Antwortmöglichkeiten vertauscht wurde, und sie stimmten manchmal mit den falschen Antworten anderer fortgeschrittener Modelle überein. Dies deutet darauf hin, dass diese Modelle, wenn sie zwar selbstbewusst, aber falsch liegen, oft aus denselben tiefgreifenden Gründen falsch liegen, wie etwa durch fehlende Informationen in der Fragestellung oder das Vertrauen auf veraltete Vorschriften. In den koreanischen Prüfungen betrafen beispielsweise viele Fehler spezifische lokale Gesetze und Verwaltungsvorschriften, bei denen die Modelle Schwierigkeiten hatten, selbst wenn sie eine geringe Konfidenz äußerten. In den englischen Prüfungen wurden einige der Fragen selbst von menschlichen Ärzten bestritten, was es schwierig machte, basierend auf historischen Schlüsseln eine „richtige“ Antwort zu finden.

Die Studie untersuchte auch, wie empfindlich diese Systeme auf die Art und Weise reagieren, wie Fragen präsentiert werden. Als die Forscher die Reihenfolge der Antwortmöglichkeiten rotierten, änderten die Modelle ihre Entscheidungen in etwa 7 bis 16 Prozent der Fälle. Das bedeutet, dass ein Modell eine Frage möglicherweise nur deshalb zur zweiten Begutachtung weiterleitet, weil die Optionen in einer anderen Reihenfolge aufgelistet waren, selbst wenn der medizinische Inhalt unverändert blieb. Während die Gesamtgenauigkeit des Systems trotz dieser kleinen Verschiebungen stabil blieb, waren die individuellen Entscheidungen nicht völlig konsistent. Die Forscher merkten an, dass diese Instabilität, kombiniert mit dem Vorhandensein von selbstbewussten Fehlern, bedeutet, dass diesen Modellen noch nicht vertraut werden kann, um allein zu arbeiten. Sie funktionieren am besten als Erstleser, die die einfachen Fälle bewältigen und die schwierigen Fälle zur Überprüfung an einen menschlichen Arzt weiterleiten.

Letztendlich zeigt die Forschung, dass Entscheidungsmodelle einen vielversprechenden Mittelweg zwischen Geschwindigkeit und Genauigkeit bieten. Sie können medizinische Fragen schnell und kostengünstig bearbeiten, und ihre internen Konfidenzwerte bieten einen nützlichen Mechanismus, um die wahrscheinlichsten Fehler herauszufiltern. Durch die Überweisung der unsicheren 20 Prozent der Antworten an ein stärkeres System ist es möglich, den Großteil der Genauigkeit eines Top-Modells zu einem wesentlich geringeren Preis zurückzugewinnen. Dennoch erfordert der Weg zur klinischen Anwendung mehr als nur diese Simulationen. Das Vorhandensein von selbstbewussten Fehlern und die Sensibilität gegenüber der Formatierung der Fragen zeigen, dass diese Werkzeuge noch einer sorgfältigen Validierung in realen Umgebungen bedürfen. Bevor sie die Patientenversorgung leiten können, müssen sie in tatsächlichen klinischen Arbeitsabläufen getestet werden, in denen menschliche Ärzte die überwiesenen Fälle überprüfen und die selbstbewussten Antworten, die dennoch falsch sein könnten, auditieren können. Die Technologie zeigt großes Potenzial, bleibt aber ein Werkzeug, das eine menschliche Hand benötigt, die es führt.