💻 computer science

Language Models as Interfaces, Not Oracles: A Hybrid LLM-ML System for Pediatric Appendicitis

Dit artikel introduceert ClaMPAPP, een hybride systeem dat grote taalmodellen inzet als robuuste interfaces om gestructureerde kenmerken te extraheren uit klinische narratieven voor een stabiele XGBoost-classifier, waarmee een superieure diagnostische prestatie en veiligheid wordt aangetoond bij de triage van pediatrische appendicitis in vergelijking met end-to-end LLM-benaderingen.

Oorspronkelijke auteurs: Soheyl Bateni, Maryam Abdolali

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Soheyl Bateni, Maryam Abdolali

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een ziek kind probeert te diagnosticeren met buikpijn. Je hebt twee zeer verschillende hulpmiddelen om je te helpen:

De "Verhalenverteller" (Het Large Language Model of LLM): Dit is als een briljante, goed opgeleide medisch student die je slordige, handgeschreven aantekeningen kan lezen en het verhaal van de pijn van de patiënt kan begrijpen. Echter, deze student is geneigd tot "hallucinaties" (het verzinnen van feiten die echt klinken maar niet waar zijn) en raakt in de war als je het verhaal in een andere volgorde vertelt. Als je hen vraagt om de uiteindelijke diagnose te stellen, kunnen ze het fout raden.
De "Rekentool" (Het Machine Learning Model): Dit is als een superprecieze, saaie rekenmachine. Het is ongelooflijk goed in het verwerken van getallen (zoals leeftijd, temperatuur en bloedtestresultaten) om het exacte risico op appendicitis te berekenen. Maar het kan geen slordig verhaal lezen; het begrijpt alleen nette, georganiseerde spreadsheets.

Het Probleem:
Dokters hebben slordige verhalen (klinische aantekeningen), maar hebben de precieze wiskunde nodig voor een veilige diagnose. Als je de "Verhalenverteller" de wiskunde laat doen, kunnen ze gokken. Als je de "Rekentool" probeert te dwingen het verhaal te lezen, kan hij het niet begrijpen.

De Oplossing: ClaMPAPP
De auteurs van dit artikel hebben een hybride systeem gebouwd genaamd ClaMPAPP. Ze hebben niet geprobeerd de "Verhalenverteller" slimmer te maken; in plaats daarvan hebben ze hen een nieuwe taak gegeven.

Zie ClaMPAPP als een zeer efficiënte fabriekslijn:

Station 1: De Vertaler (De LLM als Interface)
De "Verhalenverteller" (LLM) zit bij de eerste station. Hun enige taak is om de slordige klinische aantekeningen te lezen en ze te vertalen naar een nette, georganiseerde checklist. Zij mogen geen diagnose stellen. Zij zeggen alleen: "Oké, de patiënt is 12 jaar oud, heeft een koorts van 38°C, en heeft pijn in de rechteronderbuik."
Station 2: De Veiligheidsinspecteur (De Validator)
Voordat de checklist verder gaat, controleert een strikte veiligheidsinspecteur of alles klopt. Als de "Vertaler" per ongeluk heeft opgeschreven dat de patiënt 200 jaar oud is of een temperatuur van 500°C heeft, vangt de inspecteur dit op en markeert het als "ontbrekend" in plaats van de slechte gegevens door te laten. Dit voorkomt dat het systeem wordt misleid door stomme fouten.
Station 3: De Rekentool (Het XGBoost Model)
De schone, geverifieerde checklist wordt overhandigd aan de "Rekentool" (een specif kind type wiskundig model genaamd XGBoost). Deze machine doet het zware werk. Hij kijkt naar de getallen en berekent het risico op appendicitis. Omdat het alleen wiskunde uitvoert op geverifieerde getallen, is het zeer betrouwbaar en raakt het niet in de war door de volgorde van het verhaal.
Station 4: De Verslaggever (De LLM opnieuw)
Ten slotte komt de "Vertaler" terug om het resultaat van de Rekentool te nemen en een duidelijke, gemakkelijk leesbare samenvatting voor de dokter te schrijven.

Waarom is dit beter?
De onderzoekers hebben dit systeem getest tegen het gebruik van de "Verhalenverteller" alleen (de LLM vragen om simpelweg de diagnose te raden). Dit is wat ze vonden:

De "Verhalenverteller" alleen is wankel: Wanneer de onderzoekers de volgorde van de zinnen in de aantekeningen door elkaar haalden (zoals het verhaal achterstevoren vertellen), raakte de "Verhalenverteller" erg in de war en maakte veel fouten. Ze misten ook veel echte gevallen van appendicitis (vals-negatieven), wat gevaarlijk is in een spoedeisende hulp.
Het Hybride Systeem is stabiel: Zelfs wanneer het verhaal door elkaar werd gehusseld, bleef ClaMPAPP correct werken. Omdat de "Rekentool" alleen naar de getallen keek, deed de volgorde van de woorden er niet toe.
Veiligheid Voorop: Het belangrijkste doel in een spoedeisende hulp is om niet een zieke patiënt te missen. ClaMPAPP mistte veel minder gevallen van appendicitis dan de "Verhalenverteller" alleen. Het was bereid vaker het alarm te laten afgaan (wat kan betekenen dat er meer tests nodig zijn voor gezonde kinderen) dan het risico te lopen een zieke patiënt te missen.

De Kern van het Verhaal
Het artikel betoogt dat we AI niet moeten behanden als een "Orakel" (een magische, alwetende stem die het uiteindelijke antwoord geeft). In plaats daarvan moeten we het behandelen als een "Interface" (een behulpzame assistent die informatie organiseert).

Door de AI het taalwerk te laten doen en de wiskunde de beslissing te laten nemen, creëert ClaMPAPP een systeem dat veiliger, betrouwbaarder en makkelijker te vertrouwen is dan een AI simpelweg de diagnose te laten "raden". De auteurs hebben dit specifiek getest bij kinderen met buikpijn in Duitse ziekenhuizen en vonden dat deze "Vertaler + Rekentool"-aanpak beter werkte dan het gebruiken van een slimme AI om alles zelf te doen.

Technische Samenvatting: ClaMPAPP – Een Hybride LLM–ML-systeem voor Pediatrische Appendicitis

Probleemstelling

De integratie van Kunstmatige Intelligentie in klinische besluitvormingsondersteuning voor pediatrische appendicitis (blindedarmontsteking) staat voor een fundamentele dichotomie. Supervised Machine Learning (ML) modellen, getraind op gestructureerde klinische gegevens (bijv. laboratoriumwaarden, echografie-metingen), bieden robuuste, deterministische risicovoorspelling maar hebben moeite met de interactie met de ongestructureerde, narratieve aard van real-world klinische documentatie. Daartegenover staan Large Language Models (LLMs) die uitblinken in het interpreteren van vrije tekstnarratieven, maar kritieke betrouwbaarheidsproblemen vertonen wanneer ze als zelfstandige diagnostische motoren worden gebruikt. Deze problemen omvatten gevoeligheid voor de formulering van prompts, positionele bias (volgorde van informatie) en de generatie van "gehallucineerde" maar plausibel klinkende outputs. In hoog-risico triage-settings, zoals bij pediatrische appendicitis, is het risico op fout-negatieven (gemiste diagnoses) een primaire veiligheidszorg, wat de instabiliteit van end-to-end LLM-diagnostiek onacceptabel maakt.

Methodologie: De ClaMPAPP-architectuur

Om de kloof tussen bruikbaarheid in natuurlijke taal en diagnostische betrouwbaarheid te overbruggen, stellen de auteurs ClaMPAPP (Clinical Language-assisted Machine-learning Pipeline for Appendicitis) voor. Dit hybride systeem herpositioneert de LLM van een beslisser naar een interface, waarbij de uiteindelijke risicovoorspelling wordt gedelegeerd aan een supervised ML-model. De pijplijn bestaat uit vier opeenvolgende stadia:

LLM-gebaseerde Feature Extractie: Een LLM (specifiek Llama-3.1-8B tijdens de herschrijfase) verwerkt ongestructureerde, notatie-achtige klinische narratieven. In plaats van een diagnose te genereren, wordt de LLM via tool calling beperkt tot semantische parsing, waarbij vrije tekst wordt in kaart gebracht naar een schema-geconstreerde gestructureerde representatie (JSON) die demografie, klinische scores (Alvarado, PAS), symptomen, laboratoriumvariabelen en echografiebevindingen bevat.
Deterministische Feature Validatie: Een veiligheidshek controleert de geëxtraheerde features tegen vooraf gedefinieerde fysiologische en klinische plausibiliteitsrestricties (bijv. $0 \le \text{Leeftijd} \le 18$ , $35,0 \le \text{Temperatuur} \le 42,0^\circ\text{C}$ ). Waarden die deze grenzen schenden, worden in plaats van afgekapt (clipping) toegewezen aan ontbrekende waarden (NaN), om de introductie van bevoordeelde inputs te voorkomen. Deze stap zorgt ervoor dat alleen klinisch plausibele data de voorspeller bereikt.
Risicovoorspelling: De gevalideerde feature-vector wordt doorgegeven aan een XGBoost classifier, getraind op gestructureerde klinische, laboratorium- en echografievariabelen. XGBoost werd gekozen vanwege het vermogen om van nature met ontbrekende gegevens om te gaan en de sterke prestaties bij klinische classificatietaken. Het model geeft een continue risicoscore voor appendicitis.
Rapportgeneratie: De LLM fungeert als een klinische samenvatter die de XGBoost-risicoscore en de geëxtraheerde features contextualiseert in een gestructureerd rapport voor clinici, gebruikmakend van niet-voorschrijvende triage-taal (bijv. "Hoog risico: overweeg chirurgisch consult") zonder definitieve diagnostische instructies te geven.

Datageneratie en Evaluatie:
Om een gecontroleerde evaluatie met behoud van de grondwaarheid (ground truth) mogelijk te maken, hebben de auteurs notatie-achtige klinische narratieven gesynthetiseerd vanuit gestructureerde Electronic Health Record (EHR) data met behulp van een template-gebaseerde rendering gevolgd door LLM-herschrijving. Deze aanpak maakte het mogelijk om "gepermuteerde" narratieven te creëren waarbij de volgorde van informatie werd omgewisseld om de robuustheid tegen positionele bias te testen, een bekende kwetsbaarheid van LLM's.

Het systeem werd geëvalueerd op twee onafhankelijke retrospectieve cohorten uit Duitse ziekenhuizen:

Interne Cohort (Regensburg): 782 patiënten (580 training, 202 test).
Externe Cohort (Düsseldorf): 301 patiënten (gebruikt uitsluitend voor externe validatie).

Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

Herpositionering van de LLM: Het framework beperkt de LLM tot een rol van feature extractie en interface in plaats van directe diagnostische classificatie. Dit maakt de uiteindelijke voorspelling deterministisch, transparant en controleerbaar door te vertrouwen op een gevalideerd ML-model voor risicotaxatie.
Veiligheidsgerichte Prestaties: ClaMPAPP demonstreert een superieure sensitiviteit-specificiteit trade-off vergeleken met standalone LLM-baselines. Het vermindert significant het aantal fout-negatieven (gemiste gevallen van appendicitis), wat de kritieke veiligheidsmetriek is in acute triage.
Robuustheid tegen Narratieve Perturbaties: Door experimenten met zinsvolgorde-permutatie toont de studie aan dat terwijl end-to-end LLM-baselines lijden onder significante prestatiedegradatie door positionele bias, de hybride ClaMPAPP-architectuur relatief stabiel blijft.

Experimentele Resultaten

Het systeem werd gebenchmarkt tegen een spectrum van LLM's (inclusclusief OpenAI GPT-5.5, o3-pro, Anthropic Claude Opus 4.7, en open-source modellen zoals MedGemma en Llama-3.1) en traditionele ML-modellen.

Diagnostische Prestaties:
- Interne Validatie (Regensburg): ClaMPAPP behaalde de hoogste nauwkeurigheid (85,1%) en F1-score (84,8%) met een sensitiviteit van 97,7%, waarbij slechts 2 bevestigde gevallen werden gemist. In contrast vertoonden standalone LLM's instabiele trade-offs; bijvoorbeeld had MedGemma-4b-it een hoge specificiteit maar miste 40 gevallen (sensitiviteit 53,5%), terwijl OASST-Pythia-12b slechts 1 geval miste maar een fout-positief ratio van 113 had (specificiteit 2,6%).
- Externe Validatie (Düsseldorf): ClaMPAPP behield de hoogste nauwkeurigheid (80,7%) en F1-score (0,881) met een sensitiviteit van 93,5%, waarbij 15 gevallen werden gemist. Het presteerde beter dan alle baselines in het minimaliseren van gemiste diagnoses, terwijl modellen zoals OpenAI GPT-5.5 78 gevallen misten ondanks een hogere specificiteit.
Robuustheidsanalyse:
- Onder zinsvolgorde-permutatie (het verwisselen van de eerste en tweede helft van het narratief) vertoonden pure LLM-baselines een significante prestatie-instorting. Bijvoorbeeld, de nauwkeurigheid van Llama-3.1-8b daalde naar 0,475, en de sensitiviteit van MedGemma-4b-it kelderde naar 0,128.
- ClaMPAPP demonstreerde een hoge architecturale robuustheid, waarbij het intern een perfecte sensitiviteit (1,000) behield en extern 0,926 onder permutatie, met slechts een kleine afname in nauwkeurigheid (5,2%).
Kalibratie:
- Hoewel ClaMPAPP uitstekende discriminatie toonde (Interne AUC = 0,982; Externe AUC = 0,804), was de ruwe waarschijnlijkheidskalibratie imperfect. Exploratieve post-hoc logistische recalibratie verbeterde de kalibratiemetrieken (bijv. het verlagen van de Brier-score en ECE) zonder de ranking-prestaties te veranderen, wat suggereert dat de miskalibratie te wijten was aan een mismatch in de waarschijnlijkheidsschaal in plaats van slechte voorspellende kracht.

Betekenis en Claims

Het artikel beweert dat het "LLM-als-interface, ML-als-voorspeller" paradigma een meer controleerbare en veiligheidsgeoriënteerde route biedt voor klinische besluitvormingsondersteuning dan ongecontroleerde generatieve diagnose. Door de bruikbaarheid in natuurlijke taal te scheiden van de voorspellende inferentie, benut het systeem de klinische nut van LLM's voor data-extractie terwijl het vertrouwt op gevalideerde, deterministische ML-modellen voor de cruciale beslissingsstap.

De auteurs benadrukken dat ClaMPAPP is ontworken als een triage-georiënteerde risico-stratificatie hulp, en niet als een zelfstandige diagnostische test. De primaire waarde ligt in het minimaliseren van gemiste diagnoses (fout-negatieven) in acute settings. De studie concludeert dat hoewel end-to-end LLM's momenteel ongeschikt zijn voor veiligheidskritische diagnostische beslissingen vanwege instabiliteit en risico's op hallucinaties, hybride systemen effectief de kloof kunnen overbruggen tussen narratieve documentatie en gestructureerde voorspellende modellen. De auteurs merken op dat dit integratiepatroon overdraagbaar is naar andere medische domeinen waar gevalideerde tabulaire voorspellers en narratieve documentatie naast elkaar bestaan, hoewel zij waarschuwen dat prospectieve validatie in real-world workflows noodzakelijk is voordat klinische implementatie kan plaatsvinden.