Evaluation format, not model capability, drives triage failure in the assessment of consumer health AI

Die Studie zeigt, dass das in einer früheren Veröffentlichung berichtete Versagen von KI-Triage-Systemen bei der Erkennung von Notfällen primär auf den unpassenden, prüfungsähnlichen Evaluierungsformaten beruht und nicht auf mangelnden Fähigkeiten der Modelle, da natürlichere Interaktionsformen die Genauigkeit signifikant verbessern.

Das Wesentliche

Titel: Warum der Test schief lief – oder: Warum KI im Gesundheitswesen nicht wie in der Schule geprüft werden sollte

Stellen Sie sich vor, Sie wollen testen, wie gut ein neuer Koch kochen kann. Aber statt ihn in einer echten Küche mit echten Gästen zu beobachten, setzen Sie ihn in einen Raum, in dem er nur eine einzige, sehr seltsame Aufgabe hat: Er muss eine Multiple-Choice-Prüfung schreiben.

Die Frage lautet: „Wenn Sie nur diese eine Zeile über den Gast lesen dürfen, keine Fragen stellen dürfen und Ihre Antwort muss aus genau einem der vier Buchstaben A, B, C oder D bestehen – was würden Sie tun?"

Der Koch antwortet vielleicht: „Ich würde dem Gast sofort ins Krankenhaus schicken, er hat eine lebensgefährliche Allergie!" Aber da er gezwungen ist, nur einen Buchstaben zu wählen und keine Erklärung abzugeben, markiert er aus Versehen „C: Warten und abwarten".

Das ist genau das, was diese neue Studie über KI im Gesundheitswesen herausgefunden hat.

Das große Missverständnis

Ein anderes Forschungsteam hatte vor kurzem behauptet, dass KI-Chatbots (wie ChatGPT Health) in 51,6 % der Fälle zu gefährlich sind, weil sie Notfälle übersehen. Die Medien waren alarmiert: „KI ist zu gefährlich für die Gesundheit!"

Die Autoren dieser neuen Studie (Fraile Navarro, Magrabi und Coiera) haben sich gedacht: „Moment mal. Das klingt, als hätten wir den Koch in der falschen Umgebung getestet."

Sie haben fünf der fortschrittlichsten KI-Modelle getestet, aber unter zwei verschiedenen Bedingungen:

1. Der „Schul-Test" (wie im Original): Die KI bekam eine medizinische Aufgabe, durfte aber keine Fragen stellen, musste ihre Antwort auf einen Buchstaben (A/B/C/D) beschränken und durfte kein eigenes Wissen nutzen.
2. Der „echte Patient" (natürlich): Die KI bekam eine Nachricht, so wie sie ein echter Mensch sie tippen würde: etwas unscharf, umgangssprachlich, vielleicht mit Unsicherheiten. Und die KI durfte frei antworten, Fragen stellen und erklären, was sie denkt.

Das Ergebnis: Der Test war das Problem, nicht die KI

Das Ergebnis war verblüffend:

• Im „Schul-Test" sah es so aus, als würde die KI viele Notfälle übersehen.
• Im „echten Patient"-Test wurde die KI plötzlich viel besser. Die Treffsicherheit stieg um fast 7 Prozentpunkte.

Die wichtigste Erkenntnis:
Der Hauptgrund für die „Fehlschläge" war nicht, dass die KI dumm ist. Es war der Zwang, nur einen Buchstaben zu wählen.

Stellen Sie sich vor, ein Arzt sagt zu einem Patienten: „Ich denke, Sie brauchen sofort eine Notaufnahme!" Aber der Arzt ist gezwungen, auf einem Fragebogen nur ein Häkchen bei „Warten" zu setzen, weil die Formulare so dumm sind. Würden Sie sagen, der Arzt sei inkompetent? Nein! Das Formular ist das Problem.

Genauso war es bei der KI:

• Wenn die KI frei reden durfte, sagte sie: „Das klingt nach einem Asthma-Anfall, bitte gehen Sie sofort ins Krankenhaus!"
• Wenn sie gezwungen wurde, nur einen Buchstaben zu wählen, rutschte sie oft in die falsche Kategorie, obwohl sie im Kopf das Richtige wusste.

Ein konkretes Beispiel: Der Asthma-Anfall

Bei einem der schlimmsten Fälle (Asthma) sah es im strengen Test so aus, als würde die KI in 52 % der Fälle versagen.
Aber als man den KI-Modellen erlaubte, frei zu antworten (wie im echten Leben), stieg die Erfolgsrate auf 80 %.

Einige Modelle (wie Gemini) versagten im „Buchstaben-Test" komplett (0 %), schafften es aber im „freien Gespräch" zu 100 %. Sie sagten im Text ganz klar: „Notfall!", aber das Test-System zählte es als Fehler, weil der Buchstabe nicht passte.

Was bedeutet das für uns?

Die Studie sagt uns etwas sehr Wichtiges:

1. Man kann KI nicht wie einen Schüler prüfen. Wenn Sie einen KI-Chatbot testen wollen, müssen Sie ihn so testen, wie echte Menschen ihn nutzen: mit freiem Text, mit der Möglichkeit, nachzufragen und mit echten, etwas chaotischen Patientennachrichten.
2. Die „Angst vor der KI" war vielleicht übertrieben. Die ursprüngliche Studie hat die Gefahr durch einen zu strengen, künstlichen Test exaggeriert. Die KI ist nicht so dumm, wie der Test suggerierte.
3. Der Kontext ist König. In der echten Welt kann ein Patient sagen: „Mir ist schwindelig und ich habe Angst." Die KI kann dann fragen: „Haben Sie auch Brustschmerzen?" In einem starren Test darf sie das nicht. Ohne diese Frage scheint die KI blind zu sein, aber in Wirklichkeit ist sie nur gebunden.

Fazit

Die KI im Gesundheitswesen ist wie ein sehr kluger Assistent, der gerade erst lernt. Wenn wir ihn in einen Käfig stecken und ihm verbieten, Fragen zu stellen oder zu erklären, wird er Fehler machen. Aber wenn wir ihn in eine echte Situation bringen, wo er mit Menschen sprechen darf, zeigt er sein wahres, hilfreiches Potenzial.

Die Botschaft ist also: Hören wir auf, KI mit veralteten Schulprüfungen zu testen, und fangen wir an, sie so zu prüfen, wie sie im echten Leben funktioniert. Nur so können wir sicherstellen, dass sie uns wirklich hilft und nicht nur im Testbuch versagt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papers auf Deutsch:

Titel:

Die Evaluierungsform, nicht die Modellfähigkeit, treibt Triage-Fehler bei der Bewertung von Consumer-Health-KI voran

Autoren: David Fraile Navarro, Farah Magrabi, Enrico Coiera (Macquarie University, Australien)
Datum: März 2026

---

1. Problemstellung

Das Paper reagiert auf eine Studie von Ramaswamy et al. (Nature Medicine), die behauptete, dass „ChatGPT Health" in 51,6 % der Fälle Notfälle untertriagiert (d.h. als weniger dringend eingestuft, als sie sind). Diese Schlussfolgerung führte zu weitreichenden Bedenken hinsichtlich der Sicherheit von KI-gestützten Gesundheits-Triagen.

Die Autoren dieses Papers argumentieren jedoch, dass die hohe Fehlerrate kein inhärentes Problem der KI-Modelle darstellt, sondern ein Artefakt des Evaluierungsdesigns ist. Das ursprüngliche Design nutzte einen „exam-ähnlichen" (prüfungsähnlichen) Rahmen, der fundamental von der Art und Weise abweicht, wie Verbraucher tatsächlich mit Gesundheits-Chatbots interagieren. Spezifische Einschränkungen wie:

• Erzwingung einer A/B/C/D-Auswahl (Multiple Choice),
• Unterdrückung von Hintergrundwissen („nur basierend auf der Nachricht"),
• Verbot von klärenden Fragen,
  schufen Bedingungen, die die klinische Reasoning-Fähigkeit der Modelle künstlich behinderten.

2. Methodik

Die Autoren führten eine kontrollierte empirische Evaluation durch, die drei Hauptkomponenten umfasste, um die Reproduzierbarkeit der Ergebnisse und die Sensitivität gegenüber dem Evaluierungsformat zu testen.

• Getestete Modelle: Fünf führende Large Language Models (LLMs) von drei Anbietern:

  • OpenAI: GPT-5.2 (und explorativ GPT-5.3 Instant).
  • Anthropic: Claude Sonnet 4.6, Claude Opus 4.6.
  • Google: Gemini 3 Flash, Gemini 3.1 Pro.
    (Hinweis: ChatGPT Health selbst war in der Region der Autoren nicht verfügbar, daher wurden die zugrundeliegenden Frontier-Modelle getestet.)

• Studiendesign:

  1. Eingeschränkte Bedingung (Constrained): Nachbildung des Prüfungs-Scaffolds von Ramaswamy et al. (1.275 Versuche). Dies beinhaltete strukturierte Szenarien, erzwungene A/B/C/D-Ausgaben und das Verbot von Rückfragen.
  2. Natürliche Bedingung (Naturalistic): Patientenähnliche Nachrichten in Alltagssprache ohne Evaluierungsbeschränkungen, System-Prompts oder erzwungene Formatierung (850 Versuche).
  3. Ablationsstudien & Prompt-Faithful Checks: Gezielte Tests, um zu isolieren, welche Komponenten des Scaffolds (z.B. nur das Format, nur die Wissensunterdrückung) die Fehler verursachen. Zudem wurden die exakten Prompts der Originalstudie getestet.

• Datensatz: Ein Bank von 17 klinischen Szenarien, darunter die beiden kritischen Notfallfälle der Originalstudie: diabetische Ketoazidose (DKA) und Asthma-Exazerbation.

• Auswertung: In der natürlichen Bedingung wurden die freien Textantworten durch zwei unabhängige LLM-Richter (Adjudicators) nach demselben A-D-Schema bewertet (Inter-Rater-Übereinstimmung: 94,7 %).

3. Wichtige Beiträge und Ergebnisse

A. Der „Exam-Style"-Format zwingt zu Fehlern

Der zentrale Befund ist, dass die erzwungene Diskretisierung (A/B/C/D-Wahl) der Haupttreiber für Untertriage ist.

• Asthma-Beispiel: In der erzwungenen Wahlform erreichten drei Modelle (GPT-5.2, Gemini 3 Flash, Gemini 3.1 Pro) eine Trefferquote von 0–24 %. Im Freitext-Modus (wo sie ihre Empfehlung in eigenen Worten formulieren konnten) stieg die Trefferquote auf 100 %.
• Statistische Signifikanz: Der Unterschied war hochsignifikant (p < 10⁻⁸). Die Modelle empfahlen in ihren eigenen Worten korrekt den Notfall, wurden aber durch das Format als „Untertriage" gewertet.
• DKA-Fall: Diabetische Ketoazidose wurde in 100 % aller Versuche (sowohl eingeschränkt als auch natürlich) korrekt triagiert. Dies widerlegt die Annahme, dass die Modelle grundsätzlich nicht in der Lage sind, lebensbedrohliche Zustände zu erkennen.

B. Natürliche Interaktion verbessert die Genauigkeit

Unter natürlichen Bedingungen (patientenähnliche Sprache, keine Einschränkungen) verbesserte sich die Gesamtgenauigkeit um 6,4 Prozentpunkte (von 63,6 % auf 70,1 %, p = 0,015).

• Bei Asthma stieg die Genauigkeit von 48 % (unter Einschränkungen) auf 80 % (natürlich).
• Dies zeigt, dass die Modelle in einem interaktiven Kontext, der dem realen Gebrauch entspricht, deutlich leistungsfähiger sind.

C. Das Scaffold ist nicht neutral

Die Analyse der exakten Prompts der Originalstudie zeigte, dass das Evaluierungs-Scaffold zu modellabhängigen und fallabhängigen Ergebnissen führt.

• Während GPT-5.2 stabil blieb, variierte Claude Opus stark, insbesondere bei Varianten mit „Anker"-Informationen.
• Das Entfernen von Scaffold-Komponenten führte nicht zu einer einheitlichen Verbesserung oder Verschlechterung, sondern hing vom spezifischen Fall und Modell ab. Dies beweist, dass das Scaffold keine neutrale Messinstrument ist, sondern das Verhalten aktiv verändert.

D. Kritik am Original-Design

Die Autoren kritisieren, dass das Original-Design klinische Szenarien in eine hybride Form brachte, die weder echte Patienten noch echte Ärzte widerspiegelt.

• Echte Patienten nutzen oft ungenaue Sprache, unter- oder falschmelden Symptome und benötigen Klärung.
• Das Verbot von klärenden Fragen in der Studie simuliert keine realistische Triage, da kein kompetenter Arzt eine Diagnose nur aus einer einzigen Nachricht ohne Nachfragen stellt.

4. Signifikanz und Implikationen

• Methodische Kritik: Die Studie demonstriert, dass Evaluierungsformate (insbesondere Multiple-Choice-Tests für offene KI-Systeme) systematisch die Leistung von KI-Modellen in klinischen Kontexten unterschätzen können. Die „Headline"-Fehlerrate von 51,6 % ist stark vom Evaluierungsformat abhängig und sollte nicht als stabiler Schätzwert für das Verhalten in der realen Welt interpretiert werden.
• Sicherheitsbewertung: Für eine valide Bewertung von Consumer-Health-KI müssen Tests unter Bedingungen durchgeführt werden, die den tatsächlichen Gebrauch widerspiegeln (interaktiv, mehrstufig, mit Klärungsmöglichkeiten).
• Regulatorische Konsequenz: Da solche Assessments zunehmend regulatorische Diskussionen beeinflussen, ist methodische Strenge bei Prompt-Design und Evaluierungsprotokollen eine Voraussetzung für Aussagen zur realen Sicherheit. Die aktuelle Studie warnt davor, Produktfehler auf ein generelles Defizit in der klinischen Reasoning-Fähigkeit der Modelle zurückzuführen, wenn das Evaluierungsdesign selbst die Fehler verursacht.

Fazit: Das Paper widerlegt nicht die Notwendigkeit von Sicherheitsstandards, sondern zeigt, dass die spezifische Evaluierungsmethode von Ramaswamy et al. zu irreführenden Ergebnissen führte. Die beobachteten „Triage-Fehler" waren primär ein Artefakt des erzwungenen Antwortformats und nicht ein Mangel an klinischer Intelligenz der Frontier-LLMs.