Technisch overzicht: Compositionele redeneerdiepte voorspelt falen van klinische AI

Probleemstelling

Hoewel grote taalmodellen (LLM's) een verbeterende prestatie laten zien op gestandaardiseerde medische examens, wordt hun toepassing op real-world vraag-antwoord-taken (QA) met elektronische patiëntendossiers (EPD) gekenmerkt door inconsistente en potentieel gevaarlijke fouten. Een kritieke beperking van huidige evaluatiekaders is de afhankelijkheid van geaggregeerde nauwkeurigheidsmetrieken, die de structurele aard van modeluitval verbergen. Specifiek ontbreekt het onderzoekers en clinici aan een principieel begrip van wanneer en waarom modellen falen bij EPD-taken.

Dit artikel stelt dat compositionele redeneerdiepte—gedefinieerd als het aantal afzonderlijke inferentiestappen (hops) dat vereist is om een antwoord te synthetiseren uit een EPD—een systematische voorspeller van falen is. Deze hypothese is geworteld in een convergerende hoeveelheid theoretische literatuur over de limieten van transformer-compositionaliteit (Hahn, 2020; Merrill et al., 2022; Sanford et al., 2023; Dziri et al., 2023; Peng et al., 2024), die suggereert dat fixed-architecture transformers moeite hebben met het representeren van complexe compositionele functies in een enkele forward pass. De studie onderzoekt of de nauwkeurigheid monotoon afneemt met het aantal hops en of mechanismen voor redeneren tijdens de testtijd (bijv. Chain-of-Thought) deze degradatie kunnen verzachten.

Methodologie

Dataset en Taxonomie

De studie maakt gebruik van MedAlign, een dataset van door clinici gegenereerde instructies gekoppeld aan EPD XML-records en door clinici gegenereerde referentieantwoorden.

• Steekproef: 313 unieke door clinici gegenereerde EPD vraag-antwoordparen werden geannoteerd en geëvalueerd (301 met volledige modelresponsen).
• Hop-count Taxonomie: Een vooraf gespecificeerde vier niveaus tellende taxonomie werd toegepast om de vereiste redeneerdiepte voor elk vraagstuk te annoteren:
  • Hop 1: Directe extractie van een enkel benoemd feit.
  • Hop 2: Compositie van twee feiten, drempelwaarde-toepassing of binaire temporele vergelijking.
  • Hop 3: Redeneerketens van drie stappen waarbij cross-domain lookup, temporele aritmetica of richtlijntoepassing betrokken zijn.
  • Hop 4: Multi-component synthese die integratie vereist van $\ge$4 EPD-bronnen of tijdsperioden.
• Annotatiebetrouwbaarheid: Annotaties werden uitgevoerd door LLM's en gevalideerd door drie gecertificeerde internisten. De meerderheidsstem van clinici overeenkomend met de primaire LLM-annotator was substantieel ($\kappa = 0.916$).

Experimenteel Ontwerp

De studie evalueerde drie modellen over twee providers (Anthropic, OpenAI) en twee OpenAI-generaties:

1. Claude Sonnet 4-6 (Anthropic): Geëvalueerd in twee condities:
   • Zero-Shot (ZS): Direct antwoord zonder expliciete redeneerinstructies.
   • Extended Thinking (ET): Ingeschakelde interne chain-of-thought met een budget van 3.000 tokens.
2. GPT-4o (OpenAI): Geëvalueerd in de Zero-Shot conditie.
3. GPT-5.4-2026-03-05 (OpenAI): Geëvalueerd in de Zero-Shot conditie (flagship model op het moment van evaluatie).

Controles en Ablaties:

• Audit van Context Sufficiëntie: Geverifieerd dat EPD-truncatie (beperkt tot 8.000 tekens) hogere-hop vragen niet differentiëel benadeelde.
• Redeneercondities: Aanvullende ablaties omvatten een gestructureerde vierstaps expliciete CoT-prompt en een Extended Thinking conditie met een 5$\times$ groter budget (16.000 tokens).
• Retrieval Augmentatie: Getest met BM25 en dense semantische RAG-baselines om te bepalen of retrieval alleen de redeneerbottleneck kon oplossen.
• Judge Validatie: Responsen werden gescoord door een geautomatiseerde judge (GPT-4o-mini) gevalideerd tegen strikte klinische adjudicatie ($\kappa = 0.957$). Cross-provider validatie werd uitgevoerd met Claude Haiku om provider-familie bias uit te sluiten.

Belangrijkste Resultaten

1. Monotone Nauwkeurigheidsafname (Voorspelling P1)

Alle drie de geëvalueerde modellen vertoonden een statistisch significante, monotone afname in nauwkeurigheid naarmate de compositionele diepte toenam.

• Claude Sonnet (ZS): Nauwkeurigheid daalde van 30,6% (Hop 1) naar 17,6% (Hop 4) ($p=0,011$). Odds Ratio (OR) per hop: 0,72.
• GPT-4o (ZS): Nauwkeurigheid daalde van 37,8% naar 14,7% ($p<0,001$). OR per hop: 0,58.
• GPT-5.4 (ZS): Nauwkeurigheid daalde van 37,8% naar 23,5% ($p=0,027$). OR per hop: 0,80.
• Robuustheid: Deze trend bleef bestaan na correctie voor vraagtype, EPD-lengte en bij gebruik van een 4$\times$ groter contextvenster (32.000 tekens), wat bevestigt dat de degradatie te wijten is aan de moeilijkheid van het redeneren in plaats van de beschikbaarheid van context.

2. Falen van Test-Time Reasoning om de Curve Af te Vlakken (Voorspelling P2)

In tegenstelling tot de hypothese dat Chain-of-Thought (CoT) redeneren de nauwkeurigheid-versus-diepte curve zou afvlakken, heeft extended thinking de afname niet significant verzacht.

• Extended Thinking (Claude): Toonde een vergelijkbare helling als Zero-Shot (34,2% naar 19,6%), zonder significant interactie-effect tussen hop count en redeneerconditie ($p=0,72$).
• Expliciete CoT & Grotere Budgets: Noch een gestructureerde vierstaps prompt, noch een 5$\times$ groter thinking budget (16.000 tokens) heeft de curve significant afgevlakt.
• Mechanisme: Hoewel modellen proportioneel meer rekenkracht toewezen aan moeilijkere taken (thinking tokens schaalden met hop count, $r=0,31$), vertaalde deze toegenomen rekenkracht zich niet in hogere nauwkeurigheid. Sterker nog, correcte antwoorden vereisten minder thinking tokens dan incorrecte antwoorden bij gelijke hop-niveaus, wat suggereert dat het model moeite heeft om rekenkracht effectief toe te passen op complexe composities.

3. Verschuivingen in Fouttypen

De aard van de fouten veranderde systematisch met de diepte:

• Omissie vs. Hallucinatie: Naarmate de hop count toenam, verschoven de modellen van hallucinatie naar omissie. Bij Hop 4 domineerden omissie-fouten (72,5% in ZS, 71,6% in ET), terwijl de hallucinatie-ratio's afnamen.
• Klinische Implicatie: Gestructureerde decompositie (Expliciete CoT) verminderde hallucinaties verder (0,3%) maar verhoogde omissies (76,1%). De auteurs merken op dat dit een gunstige veiligheidsoverweging is, aangezien omissie leidt tot escalatie door de clinicus, terwijl zelfverzekerde hallucinaties mogelijk niet worden opgemerkt.

4. Limieten van Retrieval Augmentation

Zowel lexicale (BM25) als dense semantische (RAG) retrieval baselines faalden om de hop-nauwkeurigheid helling significant af te vlakken. Hoewel retrieval de absolute nauwkeurigheid in sommige gevallen verbeterde, bleef de monotone afname bestaan, wat aangeeft dat multi-hop integratie een redeneerbottleneck blijft die verder gaat dan eenvoudige fact retrieval.

Betekenis en Claims

Het artikel vestigt hop count als een door theorie gemotiveerde, cross-architectuur voorspeller van LLM-falen in klinische EPD QA. De bevindingen suggeren dat de "compositionele redeneercapaciteit-plafond" een kwalitatieve beperking is van huidige transformer-architecturen die niet wordt opgelost door simpelweg contextvensters te vergroten, thinking budgets uit te breiden of standaard retrieval augmentatie toe te passen.

Primaire Bijdragen:

1. Taxonomie: Een vooraf gespecificeerde hop-count taxonomie voor het stratificeren van klinische EPD QA-taken.
2. Empirisch Bewijs: Cross-architectuur validatie (Anthropic en OpenAI modellen) die aantoont dat de nauwkeurigheid monotoon afneemt met de redeneerdiepte.
3. Mechanisch Inzicht: Bewijs dat test-time reasoning (CoT) de compositionele limieten van transformers in dit domein momenteel niet overwint, ondanks het verhoogde gebruik van tokens.
4. Veiligheidskader: Een voorstel om hop-count stratificatie te gebruiken als een risicostratificatietool voor klinische AI-implementatie, waarbij verder wordt gekeken dan geaggregeerde nauwkeurigheidsmetrieken om hoog-risico taken te identificeren waar modellen het meest waarschijnlijk zullen falen.

De auteurs concluderen dat hoewel geaggregeerde nauwkeurigheidsmetrieken een hoge prestatie kunnen suggereren, zij een systematische kwetsbaarheid in multi-hop redeneren verbergen. Dit noodzaakt een verschuiving in evaluatiekaders om rekening te houden met compositionele diepte, met name voor klinische toepassingen waar multi-stap inferentie cruciaal is.