🤖 machine learning

Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents

Dieses Paper führt den Causal Sensitivity Score (CSS) ein, eine interventionelle Metrik, die signifikante Diskrepanzen zwischen der Leistung klinischer KI-Modelle auf standardbasierten Coverage-Benchmarks und deren tatsächlicher Reaktionsfähigkeit auf kritische Änderungen in Patientendaten aufdeckt und dadurch verborgene Fähigkeitsprofile sowie universelle Sicherheitsblindstellen offenlegt, die traditionelle Evaluationsmethoden übersehen.

Ursprüngliche Autoren: Matt Turk

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Matt Turk

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team von medizinischen Beratern (KI-Modellen) ein, um die beste Behandlung für Krebspatienten zu entscheiden. Traditionell haben wir diese Berater getestet, indem wir ihnen eine Patientenakte gaben und prüften, ob ihre endgültige Empfehlung mit dem übereinstimmt, was ein Gremium aus menschlichen Experten sagen würde. Wenn der Rat richtig aussah, erhielten sie eine gute Note.

Dieses Paper argumentiert, dass dieses traditionelle Bewertungssystem so ist, als würde man einen Koch nur nach dem Geschmack des fertigen Gerichts beurteilen, ohne jemals zu fragen: "Hast du die Zutaten tatsächlich probiert, oder hast du nur das Rezept auswendig gelernt und servierst das gleiche Gericht, egal was passiert?"

Hier ist die Aufschlüsselung der Ergebnisse des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Die „Look-Alike“-Falle

Die Autoren fanden heraus, dass zwei KI-Systeme bei Standardtests nahezu identische Punktzahlen erreichen können, sich aber völlig unterschiedlich verhalten, wenn sich die Fakten ändern.

Das Szenario: Ein Patient hat einen spezifischen Marker auf seinen Krebszellen. Die KI schlägt ein Medikament vor.
Der Twist: Stellen Sie sich nun vor, wir ändern das Dossier heimlich so ab, dass der Patient diesen Marker nicht mehr hat.
Das Ergebnis: Eine „kluge“ KI sollte ihre Medikamentenempfehlung ändern. Eine „dumme“ (aber glückliche) KI könnte den Wechsel einfach ignorieren und trotzdem dasselbe Medikament vorschlagen.
Der Fehler: Standardtests (im Paper als CMS bezeichnet) prüfen nur, ob die endgültige Antwort mit den Experten übereinstimmt. Sie entdecken nicht die KI, die einfach auf einer Antwort „feststeckt“. Es ist wie ein Schüler, der den Lösungsschlüssel auswendig gelernt hat; er bekommt eine Eins in der Prüfung, aber wenn man die Frage leicht abändert, scheitert er, weil er die Logik dahinter nicht versteht.

2. Die Lösung: Der „Causal Sensitivity Score“ (CSS)

Um dies zu beheben, entwickelten die Autoren einen neuen Test namens Causal Sensitivity Score (CSS).

Die Analogie: Betrachten Sie dies als ein „Finde den Unterschied“-Spiel für medizinische Akten. Die Forscher nehmen eine Patientenakte und nehmen kleine, geplante Änderungen vor (wie das Umschalten von „Operation durchgeführt“ auf „Operation nicht durchgeführt“ oder das Entfernen einer bestimmten Medikamentenhistorie).
Der Test: Sie fragen die KI: "Jetzt, wo ich diesen Fakt geändert habe, hast du deine Empfehlung geändert?"
Die Bewertung:
- 1.0: Du hast deine Meinung korrekt geändert (Großartig!).
- 0.5: Du hast die Änderung bemerkt, aber deine Meinung nicht geändert (Okay).
- 0.0: Du hast die Änderung komplett ignoriert (Schlecht).

3. Die große Überraschung: Die Rankings drehten sich um

Die Autoren testeten sechs der klügsten verfügbaren KI-Modelle. Als sie den alten Test (CMS) verwendeten, wurden die Modelle in einer bestimmten Reihenfolge eingestuft. Als sie den neuen Test (CSS) verwendeten, drehten sich die Rankings komplett um.

Das Modell, das beim alten Test (CMS) als letztes platziert wurde, wurde beim neuen Test (CSS) zum Gewinner.
Das Modell, das beim alten Test (CSS) auf erste Stelle stand, fiel auf den vierten Platz zurück.
Das Fazzeit: Die „beste“ KI nach alten Standards war in Wirklichkeit die schlechteste darin, auf neue Informationen zu reagieren.

4. Der universelle blinde Fleck: Der „Chirurgie“-Glitch

Die Autoren entdeckten eine spezifische Art von Änderung, bei der jedes einzelne KI-Modell versagte, ungeachtet dessen, wie intelligent es war.

Das Szenario: Die Änderung der Information, ob ein Patient eine Operation hatte oder nicht.
Das Versagen: Wenn die Akte besagte „Patient hatte Operation“, schlug die KI eine bestimmte Behandlung vor. Wenn die Akte geändert wurde zu „Patient hatte keine Operation“, schlug die KI oft die exakt gleiche Behandlung vor.
Warum das wichtig ist: In der echten Medizin ist die Frage, ob ein Patient eine Operation hatte oder nicht, eine enorme Sache. Wenn eine KI dies ignoriert, ist das ein Sicherheitsrisiko. Der alte Test (CMS) hat dies nie entdeckt, da die Antwort der KI immer noch wie eine valide medizinische Meinung „aussah“, obwohl sie einen kritischen Fakt ignorierte.

5. Das „Werkzeugnutzungs“-Experiment

Die Forscher testeten diese KIs auch, wenn sie in der Lage waren, Werkzeuge zu benutzen (wie eine Suchmaschine, um Patientenakten nachzuschlagen), anstatt nur eine statische Datei zu lesen.

Das Ergebnis: Für die meisten Modelle half die Nutzung von Werkzeugen ihnen, bessere Punktzahlen zu erreichen. Sie konnten die neuen Informationen finden und ihren Rat aktualisieren.
Der Außenseiter: Ein spezifisches Modell (gpt-5.4) nutzte die Werkzeuge genauso gut wie die anderen – es fand die richtigen Informationen – aber änderte dennoch nicht seine Empfehlung.
Die Metapher: Es ist, als wäre ein Detektiv, der die rauchende Pistole (den Beweis) findet, aber dennoch darauf beharrt, dass der Verdächtige unschuldig ist. Dies deutet darauf hin, dass das Problem nicht darin besteht, dass die KI die Info nicht finden kann; es ist vielmehr, dass ihr „Gehirn“ strukturell nicht in der Lage ist, ihr Fazit basierend auf dieser Info zu aktualisieren.

Zusammenfassung

Dieses Paper führt eine neue Art und Weise ein, medizinische KIs zu testen, die prüft, ob sie tatsächlich denken oder nur wiederholen.

Alter Weg: Hast du die richtige Antwort gegeben? (Ja/Nein)
Neuer Weg (CSS): Wenn ich die Fakten ändere, änderst du deine Antwort? (Ja/Nein)

Die Studie zeigt, dass die Modelle, die wir für die besten halten könnten, in Wirklichsich die starrsten sind, und dass alle derzeitigen Top-Modelle einen gefährlichen blinden Fleck haben, wenn es um den Status nach einer Operation geht. Die Autoren legen nahe, dass wir diesen neuen Test der „Reaktionsfähigkeit“ benötigen, um sicherzustellen, dass KI-Agenten wirklich sicher und zuverlässig sind, bevor wir sie Ärzte unterstützen lassen.

Technisches Resümee: Kontrafaktische Evaluation offenbart verborgene Fähigkeitsprofile in klinischen LLMs und Agenten

Problemstellung

Aktuelle Evaluationsparadigmen für klinische Large Language Models (LLMs) und Agenten stützen sich stark auf abdeckungsbasierte Metriken, wie etwa String-Ähnlichkeit oder LLM-as-judge-Rubriken, die Ausgaben gegen Referenzverhalten vergleichen. Diese Metriken fragen: „Sieht die Ausgabe richtig aus?“, versäumen es jedoch zu adressieren: „Aktualisiert das Modell seine Ausgabe aus den richtigen Gründen?“

Diese Einschränkung ist in klinischen Settings kritisch, in denen zwei Systeme bei Abdeckungsmetriken identisch abschneiden können, sich aber unter wechselnden Patienteneingaben radikal unterschiedlich verhalten. Beispielsweise könnte eine Onkologie-KI für einen Pankreaskasus unabhängig davon, ob der Patient therapienaiv ist oder bereits Vortherapien erfolglos durchlaufen hat, eine Standardbehandlung (z. B. FOLFIRINOX) vorschlagen. Während Abdeckungsmetriken (wie der Consensus Match Score, CMS) diese Konsistenz belohnen könnten, können sie einen Mangel an kausaler Responsivität nicht detektieren. Dieses Problem wird bei werkzeugnutzenden Agenten verschärft, die zwar korrekte Informationen via Tool-Calls abrufen können, aber dennoch Empfehlungen generieren, die diese Informationen ignorieren.

Methodik

Die Autoren führen den Causal Sensitivity Score (CSS) ein, eine präregistrierte interventionelle Metrik, die darauf ausgelegt ist, die behaviorale Responsivität eines Modells auf klinisch bedeutsame Änderungen in den Eingabedaten zu messen.

1. Präregistrierter Interventionskatalog

Die Studie nutzt einen Katalog von 12 Interventionen aus fünf klinisch motivierten Familien, die vor der Evaluation in einem YAML-Format spezifiziert wurden, um Post-hoc-Selektionsbias zu verhindern:

Familie A (Biomarker-Flip): Ersetzen des Status für HER2, ER oder PD-L1.
Familie B (Vorbehandlung): Injizieren einer Historie einer Progression unter einer Vortherapie.
Familie C (Biomarker-Strip): Löschen von Erwähnungen spezifischer Biomarker.
Familie D (Operationsstatus): Umschalten der Resektionshistorie (z. B. reseziert vs. unreseziert).
Familie E (Stadien-Perturbation): Ändern des Krankheitsstadiums.

2. Scoring-Mechanismus

Für jedes Modell-, Fall- und Interventions-Tripel generiert das System eine Baseline-Empfehlung und eine intervenierte Empfehlung. Ein Judge-LLM (standardmäßig gpt-5.4, wobei claude-opus-4-7 verwendet wurde, wenn gpt-5.4 das Subjekt war, um Selbstpräferenz-Bias zu vermeiden) evaluiert, ob die Empfehlung sich in die vorregistrierte korrekte Richtung aktualisiert.

Score: {0.0, 0.5, 1.0}, entsprechend (keine Änderung / anerkannt, aber unverändert / korrekt aktualisiert).
Metrik: Der CSS ist der Mittelwert der Scores über alle Tripel, berechnet sowohl aggregiert als auch pro Interventionsfamilie.

3. Experimentelles Setup

Kohorte: 224 Experten-annotierte Onkologie-Tumorboard-Fälle mit Ground-Truth-Behandlungsempfehlungen.
Modelle: Sechs Frontier-Modelle aus drei Labors (OpenAI, Anthropic, xAI), evaluiert in zwei Settings:
1. Single-shot LLM-Inferenz: Direkte Prompt-Response.
2. Tool-nutzender Agent: Ein ReAct-artiger Agent, der ein read_chart_section-Tool nutzt, um Informationen abzurufen, wobei Interventionen die durch das Tool abgerufenen Daten mutieren.
Baseline: Der Consensus Match Score (CMS), eine gewichtete Recall-Metrik, die die Überlappung mit dem Expertenkonsens misst.

Kernergebnisse

1. Rangumkehr zwischen Metriken

Die Studie fand eine nahezu entgegengesetzte Rangfolge der Modelle zwischen CMS (Abdeckung) und CSS (Responsivität).

Korrelation: Spearman $\rho = -0.49$ (obwohl aufgrund von $n=6$ unterpowert).
Rang-Swaps: Alle sechs Modelle änderten ihren Rang. Das Modell, das im CMS zuletzt rangierte (grok-4.20-reasoning), rangierte im CSS an erster Stelle. Umgekehrt fiel das CMS-beste Modell (gpt-5) im CSS auf den vierten Platz zurück.
Spezifisches Versagen: gpt-5.4 rangierte im CMS auf Platz 4, schnitt aber im CSS mit Platz 6 (letzter Platz) am schlechtesten ab.

2. Universeller Sicherheitsblindspot (Familie D)

Ein kritischer Befund war ein universelles Versagen aller Frontier-Modelle hinsichtlich der Interventionen zum Operationsstatus (Familie D).

Performance: Alle Modelle erzielten $\le 17,2\,\%$ im CSS für diese Familie. Das beste Modell (grok-4.20) erreichte 17,2 %, während das schlechteste (gpt-5.4) nur 3,9 % erreichte.
Implikation: Keines der Modelle aktualisierte die Behandlungsempfehlungen zuverlässig, wenn sich der Resektionsstatus des Patienten änderte – ein klinisch kritischer Sicherheitssignal, das der CMS nicht aufdeckte.

3. Agenten-Transfer und strukturelle Responsivität

Bei der Evaluierung als werkzeugnutzende Agenten auf einer Teilmenge der Fälle aus Familie D:

Verbesserung: Die Werkzeugnutzung steigerte den CSS für fünf der sechs Modelle (Gewinne von +2,5 bis +20,3 Prozentpunkten).
Die gpt-5.4-Anomalie: gpt-5.4 blieb unverändert (0,050 $\to$ 0,050), obwohl es dieselben Chart-Sektionen wie die responsiven Modelle abrief. Dies deutet auf ein Defizit der strukturellen Responsivität hin und nicht auf ein Informationszugriffsfehler; das Modell ruft die Daten ab, versäumt es aber, sie in den Reasoning-Prozess zu integrieren.

4. Validierung

Cross-Judge-Replikation: Die Verwendung von claude-opus-4-7 als einheitlicher Judge bewahrte die Rangordnung ( $\rho = +1,00$ ), was bestätigt, dass die Ergebnisse keine Artefakte des Judge-Bias sind.
Human-Validierung: Drei medizinische Fachkräfte validierten eine Teilmenge von 100 Tripeln. Während die Übereinstimmung pro Fall moderat war, stimmten die aggregierten Fehlerraten für Familie D eng zwischen den LLM-Judges (0,10) und Menschen (0,09) überein.

Bedeutung und Ansprüche

Das Paper behauptet, dass der CSS als notwendige Ergänzung zur abdeckungsbasierten Evaluation für klinische KI dient. Seine primären Beiträge sind:

Aufdeckung verborgener Profile: Der CSS deckt Fähigkeitsprofile auf (z. B. Sensitivität gegenüber Operationsstatus vs. Biomarker-Flips), die durch aggregierte Abdeckungsmetriken verschleiert werden.
Sicherheitsdetektion: Er identifiziert universelle Sicherheitsblindspots (speziell bezüglich des Operationsstatus), die Standardmetriken übersehen, da diese keine behavioralen Veränderungen unter kontrafaktischen Bedingungen testen.
Agenten-Evaluation: Der CSS lässt sich direkt auf werkzeugnutzende Agenten übertragen und unterscheidet zwischen Modellen, die aufgrund mangelnden Informationszugriffs scheitern, und solchen mit einer strukturellen Unfähigkeit, die auf Basis abgerufener Daten basierende Argumentation zu aktualisieren.
Zukünftiger Nutzen: Die Autoren schlagen den CSS als Kandidaten für ein „dichtes Belohnungssignal“ (dense reward signal) für zukünftiges agentisches Reinforcement Learning (RL) vor, das über statisches Output-Matching hinausgeht und auf dynamische Responsivität setzt.

Die Autoren bleiben bescheiden hinsichtlich der Generalisierbarkeit der spezifischen Befunde auf alle medizinischen Domänen und merken an, dass die Ergebnisse spezifisch für Onkologie-Tumorboard-Fälle sind und die geringe Stichprobengröße ( $n=6$ Modelle) die statistische Aussagekraft der Rangkorrelationsansprüche einschränkt. Sie behaupten jedoch, dass die Methodik der präregistrierten interventionellen Metriken robust und essenziell für die Evaluierung klinischer KI-Agenten ist.