🤖 machine learning

Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents

Dit artikel introduceert de Causal Sensitivity Score (CSS), een interventionele metriek die significante discrepanties onthult tussen de prestaties van klinische AI-modellen op standaard op dekking gebaseerde benchmarks en hun werkelijke responsiviteit op kritieke veranderingen in patiëntgegevens, waardoor verborgen capaciteitsprofielen en universele veiligheidsblinde vlekken worden blootgelegd die traditionele evaluatiemethoden missen.

Oorspronkelijke auteurs: Matt Turk

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matt Turk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van medisch adviseurs (AI-modellen) inhuurt om te helpen bij het beslissen over de beste behandeling voor kankerpatiënten. Traditioneel hebben we deze adviseurs getest door hen een patiëntendossier te geven en te controleren of hun uiteindelijke aanbeveling overeenkomt met wat een panel van menselijke experts zou zeggen. Als het advies er goed uitziet, krijgen ze een goed cijfer.

Dit artikel betoogt dat dit traditionele beoordelingssysteem lijkt op het beoordelen van een chef-kok enkel op basis van de smaak van het eindgerecht, zonder ooit te vragen: "Heb je de ingrediënten eigenlijk wel geproefd, of heb je gewoon het recept uit je hoofd geleerd en telkens hetzelfde gerecht geserveerd?"

Hier is de uitsplitsing van de bevindingen van het artikel met behulp van eenvoudige analogieën:

1. Het Probleel: De "Lijkt-er-op"-valstrik

De auteurs ontdekten dat twee AI-systemen bijna identieke scores kunnen halen op standaardtests, terwijl ze toch volkomen anders reageren wanneer de feiten veranderen.

Het Scenario: Een patiënt heeft een specifieke marker op de kankercellen. De AI stelt een medicijn voor.
De Twist: Stel je nu voor dat we het dossier stiekem aanpassen naar: de patiënt heeft die marker niet meer.
Het Resultaat: Een "slimme" AI zou een andere medicatie moeten voorstellen. Een "domme" (maar gelukkige) AI zou de verandering echter kunnen negeren en gewoon hetzelfde medicijn blijven voorstellen.
De Fout: Standaardtests (in het artikel CMS genoemd) controleren alleen of het uiteindelijke antwoord overeenkomt met dat van de experts. Ze vangen de AI niet die simpelweg "vastzit" op één antwoord. Het is als een student die het antwoordmodel uit zijn hoofd heeft geleerd; hij haalt een 'A' voor de toets, maar als je de vraag een klein beetje verandert, faalt hij omdat hij de logica niet begrijpt.

2. De Oplossing: De "Causal Sensitivity Score" (CSS)

Om dit op te lossen, hebben de auteurs een nieuwe test ontwikkeld genaamd de Causal Sensitivity Score (CSS).

De Analogie: Denk aan dit als een "zoek de verschillen"-spel voor medische dossiers. De onderzoekers nemen een patiëntendossier en maken kleine, vooraf geplande wijzigingen (zoals het omdraaien van een schakelaar van "operatie uitgevoerd" naar "operatie niet uitgevoerd", of het verwijderen van een specifieke medicatiegeschiedenis).
De Test: Ze vragen de AI: "Nu ik dit feit heb veranderd, heb je je aanbeveling aangepast?"
De Score:
- 1.0: Je hebt van gedachten veranderd op de juiste manier (Geweldig!).
- 0.5: Je merkte de verandering op, maar hebt je mening niet gewijzigd (Oké).
- 0.0: Je hebt de verandering volledig genegeerd (Slecht).

3. De Grote Verrassing: De Ranglijsten Keerden Om

De auteurs testten zes van de slimste beschikbare AI-modellen. Wanneer zij de oude test (CMS) gebruikten, werden de modellen in een bepaalde volgorde gerangschikt. Toen zij de nieuwe test (CSS) gebruikten, keerden de ranglijsten volledig om.

Het model dat volgens de oude test laatst stond, werd de winnaar volgens de nieuwe test.
Het model dat volgens de oude test op eerste plaats stond, zakte naar de vierde plaats.
De Les: De "beste" AI volgens de oude standaarden was in werkelijkheid de slechtste in het reageren op nieuwe informatie.

4. De Universele Blinde Vlek: De "Operatie"-fout

De onderzoekers ontdekten een specif kind van verandering waar elke AI-model voor faalde, ongeacht hoe slim ze waren.

Het Scenario: Het veranderen van de vraag of een patiënt wel of niet een operatie heeft ondergaan.
De Fout: Wanneer het dossier zei "Patiënt heeft operatie ondergaan," stelde de AI één behandeling voor. Wanneer het dossier werd gewijzigd naar "Patiënt heeft geen operatie ondergaan," stelde de AI vaak de exact dezelfde behandeling voor.
Waarom dit ertoe doet: In de echte geneeskunde is het feit of iemand een operatie heeft ondergaan een enorme zaak. Als een AI dit negeert, vormt dat een veiligheidsrisico. De oude test (CMS) merkte dit nooit op, omdat het antwoord van de AI nog steeds als een valide medische mening "leek", ook al negeerde het een cruciaal feit.

5. Het "Gereedschap Gebruiken"-experiment

De onderzoekers testten deze AI's ook wanneer ze de mogelijkheid hadden om tools te gebruiken (zoals een zoekmachine om patiëntendossiers op te zoeken) in plaats van alleen een statisch bestand te lezen.

Het Resultaat: Voor de meeste modellen hielp het gebruik van tools hen om betere scores te halen. Ze konden de nieuwe informatie vinden en hun advies bijwerken.
De Uitzondering: Eén specifiek model (gpt-5.4) gebruikte de tools net zo goed als de anderen — het vond de juiste informatie — maar veranderde nog steeds niet van aanbeveling.
De Metafoor: Het is alsoam een detective die het bewijsstuk (het bewijs) vindt, maar nog steeds beweert dat de verdachte onschuldig is. Dit suggereert dat het probleem niet is dat de AI de info niet kan vinden; het probleem is dat de AI-structuur niet in staat is om zijn conclusie op basis van die info te actualiseren.

Samenvatting

Dit artikel introduceert een nieuwe manier om medische AI's te testen die controleert of ze daadwerkelijk nadenken of alleen maar herhalen.

Oude manier: Heb je het juiste antwoord gegeven? (Ja/Nee)
Nieuwe manier (CSS): Als ik de feiten verander, verander je dan ook je antwoord? (Ja/Nee)

De studie laat zien dat de modellen die we als de beste beschouwen, misschien wel de meest rigide zijn, en dat alle huidige topmodellen een gevaarlijke blinde vlek hebben wat betreft de status van een operatie. De auteurs stellen dat we deze nieuwe "responsiviteitstest" nodig hebben om te garanderen dat AI-agenten werkelijk veilig en betrouwbaar zijn voordat we ze de hulp van artsen laten ondersteunen.

Technische Samenvatting: Counterfactual Evaluatie Onthult Verborgen Capaciteitsprofielen in Klinische LLM's en Agents

Probleemstelling

Huidige evaluatieparadigma's voor klinische Large Language Models (LLM's) en agents leunen zwaar op dekking-gebaseerde metrieken, zoals string-overeenkomst of LLM-als-rechter-rubrieken die outputs vergelijken met referentiegedragingen. Deze metrieken vragen: "Ziet de output er juist uit?", maar adresseren niet: "Update de model de output om de juiste redenen?".

Deze beperking is kritiek in klinische settings waar twee systemen identiek kunnen scoren op dekking-metrieken, maar onder veranderende patiëntinputs radicaal anders kunnen reageren. Bijvoorbeeld, een oncologische AI zou een standaardbehandeling (bijv. FOLFIRINOX) kunnen voorstellen voor een pancreasgeval, ongeacht of de patiënt nog nooit eerder behandeld is of al heeft gefaald op eerdere therapieën. Terwijl dekking-metrieken (zoals de Consensus Match Score, CMS) deze consistentie zouden belonen, kunnen zij een gebrek aan causale responsiviteit niet detecteren. Dit probleem wordt verergerd bij tool-gebruikende agents, die correcte informatie kunnen ophalen via tool-calls, maar nog steeds aanbevelingen genereren die die informatie negeren.

Methodologie

De auteurs introduceren de Causal Sensitivity Score (CSS), een vooraf geregistreerde intersectionele metriek ontworpen om de gedragsmatige responsiviteit van een model te meten op klinisch relevante veranderingen in inputdata.

1. Pre-geregistreerde Interventie Catalogus

De studie maakt gebruik van een catalogus van 12 interventies over vijf klinisch gemotiveerde families, gespecificeerd in een YAML-formaat voorafgaand aan de evaluatie om post-hoc selectiebias te voorkomen:

Familie A (Biomarker Flip): Vervangen van status voor HER2, ER of PD-L1.
Familie B (Eerdere Behandeling): Injecteren van een geschiedenis van progressie op een eerdere lijn therapie.
Familie C (Biomarker Strip): Verwijderen van vermeldingen van specifieke biomarkers.
Familie D (Surgery Status): Wisselen tussen resectiegeschiedenis (bijv. geresecteerd vs. niet-gereseceerd).
Familie E (Stage Perturbatie): Veranderen van het ziektestadium.

2. Scoring Mechanisme

Voor elke combinatie van model, casus en interventie genereert het systeem een baseline-aanbeveling en een geïntervenieerde aanbeveling. Een judge LLM (standaard gpt-5.4, met claude-opus-4-7 gebruikt wanneer gpt-5.4 het onderwerp is om zelfvoorkeur-bias te vermijden) evalueert of de aanbeveling update in de vooraf geregistreerde correcte richting.

Score: {0.0, 0.5, 1.0} overeenkomend met (geen verandering / erkend maar onveranderd / correct geüpdatet).
Metriek: CSS is de gemiddelde score over alle tuples, berekend zowel in aggregaat als per interventiefamilie.

3. Experimentele Opzet

Cohort: 224 door experts geannoteerde oncologische tumorboard-casussen met ground-truth behandelingsaanbevelingen.
Modellen: Zes frontier modellen uit drie labs (OpenAI, Anthropic, xAI) geëvalueerd in twee settings:
1. Single-shot LLM inferentie: Directe prompt-respons.
2. Tool-gebruikende Agent: Een ReAct-stijl agent die een read_chart_section tool gebruikt om informatie op te halen, waarbij interventies de onderliggende data muteren die door de tool wordt opgehaald.
Baseline: De Consensus Match Score (CMS), een gewogen recall-metriek die de overlap met expert-consensus meet.

Belangrijkste Resultaten

1. Rank Reversal Tussen Metrieken

De studie vond een bijna tegengestelde rangschikking van modellen tussen CMS (dekking) en CSS (responsiviteit).

Correlatie: Spearman $\rho = -0.49$ (hoewel onderpowered door $n=6$ ).
Rank Swaps: Alle zes de modellen veranderden van rang. Het model dat laatste rang kreeg op CMS (grok-4.20-reasoning) rangschikte als eerste op CSS. Omgekeerd daalde het CMS-beste model (gpt-5) naar de vierde plaats op CSS. De gpt-5.4 die 4e rangschikte op CMS, eindigde als absolute laatste (6e) op CSS.

2. Universele Veiligheidsblind Spot (Familie D)

Een kritieke bevinding was een universele fout over alle frontier modellen heen met betrekking tot interventies in chirurgische status (Familie D).

Prestatie: Alle modellen scoorden $\le 17.2\%$ op CSS voor deze familie. De beste performer (grok-4.20) scoorde 17.2%, terwijl de slechtste (gpt-5.4) slechts 3.9% scoorde.
Implicatie: Geen van de modellen update de behandelingsaanbevelingen betrouwbaar wanneer de resectiestatus van de patiënt verandert, een klinisch kritisch veiligheidssignaal dat CMS niet blootlegde.

3. Agent Transfer en Structurele Responsiviteit

Wanneer geëvalueerd als tool-gebruikende agents op een subset van Familie D gevallen:

Verbetering: Tool-gebruik verhoogde de CSS voor vijf van de zes modellen (winsten van +2.5 tot +20.3 procentpunten).
De gpt-5.4 Anomalie: gpt-5.4 bleef ongewijzigd (0.050 $\to$ 0.050) ondanks het ophalen van dezelfde secties van het dossier als de responsieve modellen. Dit suggereert een structureel-responsiviteitsdeficit in plaats van een falen in informatie-access; het model haalt de data op maar faalt om deze te integreren in het redeneerproces.

4. Validatie

Cross-Judge Replicatie: Het gebruik van claude-opus-4-7 als uniforme rechter behield de rangorde ( $\rho = +1.00$ ), wat bevestigt dat de bevindingen geen artefacten van judge-bias waren.
Menselijke Validatie: Drie medische professionals valideerden een subset van 100 tuples. Hoewel de overeenstemming per casus matig was, kwamen de geaggregeerde foutpercentages voor Familie D nauw overeen tussen LLM-rechters (0.10) en mensen (0.09).

Betekenis en Claims

Het artikel claimt dat CSS dient als een noodzakelijke aanvulling op dekking-gebaseerde evaluatie voor klinische AI. De belangrijkste bijdragen zijn:

Onthullen van Verborgen Profielen: CSS onthult capaciteitsprofielen (bijv. sensitiviteit voor chirurgische status vs. biomarker flips) die geaggregeerde dekking-metrieken maskeren.
Detectie van Veiligheid: Het identificeert universele veiligheidsblind spots (specifiek met betrekking tot chirurgische status) die standaard metrieken missen omdat ze niet testen op gedragsverandering onder counterfactuals.
Agent Evaluatie: CSS is direct overdraagbaar naar tool-gebruikende agents, waarbij onderscheid wordt gemaakt tussen modellen die falen door een gebrek aan informatie-access versus modellen met een structureel onvermogen om redenering te updaten op basis van opgehaalde data.
Toekomstige Nut: De auteurs stellen CSS voor als een kandidaat voor een "dense reward" signaal voor toekomstige agentic Reinforcement Learning (RL), waarbij de focus verschuift van statische output-matching naar dynamische responsiviteit.

De auteurs blijven bescheiden over de generaliseerbaarheid van de specifieke bevindingen naar alle medische domeinen, waarbij zij opmerken dat de resultaten specifisch zijn voor oncologische tumorboard-casussen en dat de kleine steekproefgrootte ( $n=6$ modellen) de statistische power van de rangcorrelatieclaims beperkt. Ze stellen echter dat de methodologie van pre-geregistreerde intersectionele metrieken robuust en essentieel is voor het evalueren van klinische AI-agents.