MedCalc-Bench Doesn't Measure What You Think: A Benchmark Audit and the Case for Open-Book Evaluation

Die Studie zeigt durch eine systematische Fehlerbereinigung und den Einsatz von „Open-Book"-Prompting, dass MedCalc-Bench primär Formelwissen und Rechengenauigkeit statt klinischer Reasoning-Fähigkeiten misst und daher als Tool-Use-Evaluierung neu zu bewerten ist.

Das Wesentliche

Stellen Sie sich vor, Sie nehmen an einem sehr strengen Mathe-Test teil. Die Aufgabe lautet: „Hier ist ein Patient mit bestimmten Symptomen. Berechnen Sie jetzt sofort den genauen medizinischen Risikowert, ohne nachzuschauen, ohne Taschenrechner und ohne Google."

Das ist im Grunde das, was der aktuelle Benchmark MedCalc-Bench von großen KI-Modellen (wie Chatbots) verlangt. Und das Ergebnis ist bisher enttäuschend: Die besten KIs haben nur etwa 35 % der Aufgaben richtig gelöst. Die Forscher dachten lange, das liege daran, dass die KIs noch nicht „klug genug" sind, um medizinisch zu denken.

Aber diese neue Studie sagt: „Nein, das ist gar kein Test für Intelligenz. Das ist ein Test für Gedächtnis und peinliche Genauigkeit."

Hier ist die einfache Erklärung der drei wichtigsten Entdeckungen der Autoren, übersetzt in Alltagssprache:

1. Der Test war voller Fehler (Die „kaputten Lineale")

Bevor die Forscher die KIs überhaupt bewerten konnten, haben sie den Test selbst überprüft. Und was fanden sie?
Stellen Sie sich vor, Sie prüfen die Antworten von Schülern, aber die Aufgabenstellung im Lehrbuch enthält Tippfehler, falsche Formeln oder veraltete Regeln.

• Das Problem: In den offiziellen Formeln des Tests steckten über 20 gravierende Fehler. Mal war ein Dezimalpunkt falsch gesetzt, mal fehlte eine Regel, mal war ein Dateiname vertippt.
• Die Folge: Die „richtige" Antwort, die der Computer als Musterlösung hatte, war oft gar nicht richtig! Die KIs wurden also für Fehler bestraft, die gar nicht ihre waren. Die Forscher haben diese Fehler jetzt korrigiert.

2. Das „Offene Buch"-Experiment (Der große Aha-Effekt)

Die Autoren stellten sich eine einfache Frage: „Warum soll ein Arzt die komplizierte Formel für einen Risikowert auswendig lernen? In der echten Welt nutzt er doch einfach ein Taschenrechner-App oder ein Online-Tool!"

Also machten sie einen kleinen Trick: Sie gaben den KIs die Formel direkt mit auf den Weg.

• Der alte Weg (Geschlossenes Buch): „Hier ist der Patient. Rechne selbst!" -> Die KI musste sich die Formel aus dem Gedächtnis holen und oft daneben liegen. Ergebnis: ~35–50 % richtig.
• Der neue Weg (Offenes Buch): „Hier ist der Patient. Hier ist auch die Formel und die Anleitung. Rechne jetzt!" -> Die KI musste nur noch die richtigen Zahlen aus dem Text finden und die Formel anwenden.
• Das Ergebnis: Die Genauigkeit sprang sofort von ca. 50 % auf über 85 %.
• Die Lehre: Die KIs waren gar nicht dumm. Sie waren nur überfordert, weil man ihnen eine Aufgabe stellte, die Ärzte in der Realität nie so lösen würden. Es war wie ein Mathe-Test, bei dem man die Formel nicht nachschlagen darf, obwohl man sie in der echten Welt immer nachschlägt.

3. Was bleibt übrig? (Der echte Test)

Wenn man den KI-Modellen die Formel gibt, was machen sie dann falsch?

• Sie lesen manchmal die falschen Werte aus dem Patientenbericht (z. B. den falschen Blutdruckwert).
• Sie machen kleine Rechenfehler bei komplizierten Dezimalzahlen.
• Aber das „Gehirn" für das eigentliche medizinische Verständnis funktioniert eigentlich gut.

Die Studie zeigt: Der aktuelle Test misst nicht, ob eine KI „klinisch denken" kann. Er misst nur, ob sie sich Formeln merken und Dezimalstellen perfekt berechnen kann.

Das Fazit: Ein neuer Ansatz

Die Autoren schlagen vor, den Test neu zu gestalten:
Statt zu fragen: „Kannst du die Formel auswendig?"
Sollte man fragen: „Kannst du die richtigen Informationen aus dem Patientenbericht finden und sie in das richtige Werkzeug (die Formel) einsetzen?"

Zusammengefasst in einer Metapher:
Der aktuelle Test ist wie ein Autoführerschein-Prüfung, bei der man nicht fahren darf, sondern nur die Formel für den Bremsweg auswendig aufsagen muss. Wenn man die Formel nachschlagen darf, besteht fast jeder sofort. Die eigentliche Fähigkeit – das Fahren (die medizinische Diagnose) – wurde dabei gar nicht richtig geprüft.

Diese Studie ist ein Aufruf, KI-Tests realistischer zu machen: Geben Sie den KI-Tools die Werkzeuge, die sie in der echten Welt auch nutzen würden, und prüfen Sie dann, ob sie sie richtig bedienen können.

Technische Zusammenfassung

1. Problemstellung

MedCalc-Bench ist ein weit verbreiteter Benchmark zur Bewertung der Leistung von Large Language Models (LLMs) bei klinischen Rechenaufgaben (z. B. CKD-EPI, APACHE-II, Glasgow Coma Scale). Die Aufgabe besteht darin, aus einem klinischen Fallbericht (Vignette) die relevanten Parameter zu extrahieren und die korrekte Formel anzuwenden, um einen Risikoscore oder eine Dosierung zu berechnen.

Trotz des Fortschritts bei LLMs bleiben die Ergebnisse auf dem HELM-MedHELM-Leaderboard enttäuschend niedrig:

• Direktes Prompting (Zero-Shot): Plateau bei ca. 35 % Genauigkeit.
• Beste veröffentlichte Ansätze (RL mit verifizierbaren Belohnungen, Agenten-Frameworks): Erreichen maximal 74 %.

Die Autoren argumentieren, dass die Schwierigkeit des Benchmarks nicht auf mangelndem klinischen Denken beruht, sondern auf künstlichen Einschränkungen:

1. Formel-Memorierung: Modelle müssen Formeln aus dem parametrischen Gedächtnis abrufen, obwohl Ärzte in der Praxis immer auf externe Rechner zurückgreifen.
2. Arithmetische Präzision: Kleine Fehler bei Dezimalstellen, Logarithmen oder Exponenten führen dazu, dass das Ergebnis außerhalb der strengen Toleranzbänder (±5 %) liegt.
3. Datenqualitätsprobleme: Der Benchmark selbst enthält Implementierungsfehler, die die Ground-Truth-Labels verfälschen.

2. Methodik

Die Studie kombiniert drei methodische Ansätze:

A. Systematisches Audit des Benchmarks

Die Autoren führten eine manuelle und durch LLMs unterstützte Überprüfung aller 55 Implementierungen im MedCalc-Bench-Repository durch. Sie verglichen diese mit primären klinischen Quellen (Originalpublikationen, MDCalc, Leitlinien).

• Fehlerklassifikation: Es wurden über 20 Fehler identifiziert, darunter falsche Formelkoeffizienten, fehlende Kriterien, Tippfehler in Schlüsselwörtern (z. B. liver_diease statt liver_disease), die Scores auf Null setzen, und kaputte Dateipfade.
• Korrektur: Ein korrigierter Datensatz und Test-Suiten wurden erstellt.

B. „Open-Book"-Prompting (Die Kernintervention)

Anstatt dem Modell zu verbieten, auf externe Informationen zuzugreifen, wurde eine minimale Intervention eingeführt:

• Ansatz: Die vollständige Spezifikation des Rechners (Formel, Parameterdefinitionen, Einheiten, Scoring-Regeln) wird direkt an den Prompt angehängt.
• Ziel: Das Modell muss nicht mehr die Formel auswendig lernen, sondern sich auf die Extraktion der Parameter aus dem klinischen Text und die korrekte Anwendung der bereitgestellten Formel konzentrieren.
• Vergleich: Dies wurde gegen Baseline-Prompts (ohne Formel) und gegen Prompts mit strukturierter Anleitung („Scratchpad") getestet.

C. Upper-Bound-Analyse

Um zu bestimmen, wie viel der verbleibenden Fehler auf Modellgrenzen vs. Datensatzprobleme zurückzuführen ist, wurde das leistungsstärkste verfügbare Modell (GPT-5.2-Thinking) auf die verbleibenden Fehlerfälle angewendet. Dies diente zur Schätzung einer theoretischen Obergrenze der Benchmark-Leistung.

3. Wichtige Beiträge

1. Benchmark-Audit: Identifikation und Behebung von über 20 Fehlern in den offiziellen Implementierungen, die die Ground-Truth-Labels systematisch verfälschten.
2. Open-Book-Paradigma: Nachweis, dass das Bereitstellen der Formel die Leistung drastisch steigert, ohne Fine-Tuning oder komplexe Agenten-Frameworks.
3. Neudefinition des Benchmarks: Die Argumentation, dass MedCalc-Bench derzeit eher ein Test für Formel-Auswendiglernen und Dezimalarithmetik ist als für klinisches Denken, und der Vorschlag, ihn als Tool-Use-Benchmark neu zu rahmen.

4. Ergebnisse

Leistungssteigerung durch Open-Book-Prompting

Die Ergebnisse zeigen einen massiven Anstieg der Genauigkeit, sobald die Formel bereitgestellt wird:

• GLM-4.6V: Steigerung von 51,9 % (Vanilla) auf 81,5 % (Open-Book).
• GLM-4.7: Steigerung von 36,0 % (Vanilla) auf 85,5 % (Open-Book).
• Vergleich: Diese Werte übertreffen alle veröffentlichten Ergebnisse, einschließlich RL-getraineter Systeme (DeepSeek-R1: 74 %) und komplexer Agenten-Frameworks (RiskAgent: 67,7 %).
• Schlussfolgerung: Der Großteil der Leistungssteigerung (+29,6 Prozentpunkte) resultiert aus der Beseitigung der Formel-Recall-Aufgabe. Strukturierte Anleitung (Chain-of-Thought) brachte nur marginale zusätzliche Verbesserungen (+0,5 pp).

Fehleranalyse

• Vanilla-Modus: Hauptfehlerquellen waren arithmetische Fehler bei reellen Zahlen, falsche Referenzdaten und Versionenkonflikte bei Formeln.
• Open-Book-Modus: Formel-Recall-Fehler wurden eliminiert. Verbleibende Fehler lagen primär bei der Parameterextraktion (falsche Werte aus dem Text) und verbleibenden Präzisionsproblemen.

Obergrenzen-Analyse (GPT-5.2-Thinking)

Auf den verbleibenden 198 Fehlerfällen (aus dem Open-Book-Setup von GLM-4.6V) wurde GPT-5.2-Thinking getestet:

• Es konnte 140 von 198 Fehlern lösen.
• Eine manuelle Prüfung der restlichen 58 Fälle zeigte:
  • 19 Fehler waren auf Ground-Truth-Probleme oder Implementierungsfehler zurückzuführen.
  • 10 Fälle waren genuinely mehrdeutig (unzureichende Informationen).
  • 29 Fälle waren echte Modellfehler.
• Geschätzte Obergrenze:
  • Konservativ: 94,7 %
  • Optimistisch: 97,4 %

5. Bedeutung und Fazit

Kernaussage:
MedCalc-Bench misst derzeit primär Formel-Memorierung und arithmetische Präzision unter strengen Toleranzbedingungen, nicht aber klinisches Denken. Ein Arzt, der die APACHE-II-Formel nicht auswendig kann, ist nicht inkompetent; ein Arzt, der falsche Laborwerte aus einer Kartei extrahiert, schon.

Empfehlungen:

1. Reframing als Tool-Use-Benchmark: Der Benchmark sollte so umgestaltet werden, dass die Spezifikation des Rechners Teil der Eingabe ist. Die Bewertung sollte sich auf die korrekte Parameterextraktion und die Auswahl des richtigen Tools konzentrieren, nicht auf das Auswendiglernen von Formeln.
2. Datenqualität: Die im Paper identifizierten Fehler müssen in den offiziellen Datensatz integriert werden, da sie die Validität früherer Ergebnisse beeinträchtigen.
3. Forschungsworkflow: Das Paper demonstriert, wie ein einzelner Forscher mit einer Kombination aus kostengünstigen Modellen (für Bulk-Evaluation) und Frontier-Modellen (für Analyse, Code und Review) komplexe Benchmark-Audits durchführen kann.

Zusammenfassend zeigt die Arbeit, dass durch eine einfache Prompt-Änderung (Open-Book) die Leistung von LLMs in diesem Bereich drastisch gesteigert werden kann und dass die aktuellen Schwierigkeiten des Benchmarks eher auf dessen Design als auf die Fähigkeiten der Modelle zurückzuführen sind.