🤖 machine learning

Automatic Construction of Clinical Scoring Systems with LLM Agents

Dit artikel introduceert AgentScore, een LLM-agentkader dat automatisch inzetbare, eenheidsgewogen klinische scoresystemen construeert door semantische regelgeneratie te combineren met data-gedreven verificatie, waarbij prestaties worden bereikt die vergelijkbaar zijn met flexibele modellen, terwijl wordt voldaan aan de strikte interpretabiliteit en workflowbeperkingen die vereist zijn voor routinematig klinisch gebruik.

Oorspronkelijke auteurs: Silas Ruhrberg Estévez, Christopher Chiu, Mihaela van der Schaar

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Silas Ruhrberg Estévez, Christopher Chiu, Mihaela van der Schaar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je arts bent die haastig door een drukke spoedeisende hulp loopt. Je moet snel een beslissing nemen over het risiconiveau van een patiënt, maar je hebt geen tijd om een rekenmachine tevoorschijn te halen, een complexe app te openen of een formule met vijf verschillende getallen die met verschillende gewichten vermenigvuldigd moeten worden, uit je hoofd te halen. Je hebt een eenvoudige checklist nodig: "Als de patiënt symptoom A heeft, tel één punt op. Als ze symptoom B hebben, tel één punt op. Als het totaal 3 of meer is, roep hulp."

Dit zijn klinische scoresystemen: eenvoudige, onthoudbare checklists die artsen aan het bed gebruiken.

Echter, moderne Kunstmatige Intelligentie (KI) is geweldig in het voorspellen van risico's, maar werkt meestal als een "zwarte doos" met complexe wiskunde die onmogelijk in je hoofd te doen is. De auteurs van dit artikel, Silas Ruhrberg Estévez en collega's, merkten een kloof op: we hebben krachtige KI, maar we kunnen deze niet gemakkelijk omzetten in de eenvoudige checklists die artsen daadwerkelijk gebruiken.

Hier is hoe ze dit oplosten, met een creatieve nieuwe methode genaamd AgentScore.

Het Probleem: De "Chef" versus de "Proever"

Meestal, wanneer wetenschappers proberen deze checklists te bouwen, doen ze een van de volgende twee dingen:

Vragen ze experts om handmatig de regels te kiezen (traag en moeilijk bij te werken).
Gebruiken ze KI om patronen te vinden, maar de KI suggereert complexe wiskunde (zoals "Leeftijd × 0,4 + Bloeddruk × -0,2") die moeilijk te gebruiken is in een echt ziekenhuis.

De auteurs realiseerden zich dat je, om een goede checklist te bouwen, twee dingen nodig hebt die samenwerken:

Creativiteit: Iemand die nieuwe, slimme combinaties van symptomen kan bedenken (bijvoorbeeld: "Wat als we de hartslag vergelijken met de bloeddruk?").
Strenge Toetsing: Iemand die strikt controleert of dat idee daadwerkelijk werkt met echte data en niet gewoon een gelukstreffer is.

De Oplossing: AgentScore (Het KI-team)

Het artikel introduceert AgentScore, dat fungeert als een klein, gespecialiseerd team van KI-agenten die samenwerken om deze checklists van scratch te bouwen.

Stel je het voor als een kookwedstrijd waar het doel is om het perfecte, eenvoudige recept te creëren dat iedereen kan volgen.

De "Chef"-agent (De LLM-voorsteller):
Dit is een Large Language Model (zoals de KI achter deze uitleg). Zijn taak is creatief zijn. Het kijkt naar de patiëntdata en zegt: "Hé, wat als we controleren of de ademhaling van de patiënt sneller is dan 30 keer per minuut?" of "Wat als we controleren of hun nierfunctie met 20% is gedaald?"
- Cruciale Regel: De Chef mag de echte patiëntnamen of privégegevens niet zien. Het ziet alleen een samenvatting van de data (zoals "het gemiddelde hartritme is 80"). Dit houdt de privacy van patiënten veilig.
- De Chef stelt een lijst met potentiële "regels" voor de checklist voor.
De "Proever"-agent (De deterministische verificateur):
Dit is een strenge, wiskundige computerprogramma. Het neemt de ideeën van de Chef en test ze tegen de echte data.
- Voorspelt deze regel daadwerkelijk wie ziek wordt? (Zo niet, dan wordt het weggegooid).
- Is deze regel gewoon een kopie van een andere regel? (Zo ja, dan wordt het weggegooid om de lijst kort te houden).
- Is de regel eenvoudig genoeg om op een stuk papier te schrijven? (Als het te complex is, wordt het weggegooid).
De "Hoofdchef"-agent (De assembleur):
Zodra de Proever een pool van goede, geverifieerde regels heeft, kiest deze agent de beste combinatie. Het bouwt de definitieve checklist, waarbij wordt gegarandeerd dat er een beperkt aantal items is (zodat het makkelijk te onthouden is) en dat elk item precies één punt telt.

Waarom "Één Punt" Belangrijk Is

Het artikel benadrukt dat de beste checklists unit-gewogen zijn. Dit betekent dat elk item op de lijst precies 1 punt waard is.

Slechte Checklist: "Leeftijd > 65 krijgt 3 punten, maar lage bloeddruk krijgt -2 punten." (Moeilijk in je hoofd te doen).
AgentScore Checklist: "Leeftijd > 65? +1 punt. Lage bloeddruk? +1 punt. Totaal > 2? Roep hulp." (Eenvoudig in je hoofd te doen).

De auteurs ontdekten dat deze eenvoudige "1-punts" lijsten verrassend krachtig zijn. Ze zijn bijna net zo goed in het voorspellen van uitkomsten als de complexe, wiskundige KI-modellen, maar ze zijn daadwerkelijk bruikbaar door mensen.

De Resultaten: Beter dan de Experts

Het team testte AgentScore op acht verschillende medische taken (zoals het voorspellen van hartfalen, nierfalen of overlijden op de IC) met behulp van echte ziekenhuisdata.

Beter dan oude methoden: AgentScore creëerde checklists die nauwkeuriger waren dan eerdere methoden die probeerden complexe KI te forceren in eenvoudige checklists.
Beter dan standaardrichtlijnen: Bij twee specifieke tests waren de checklists gebouwd door AgentScore daadwerkelijk beter in het opsporen van patiënten met een hoog risico dan de officiële, lang bestaande medische richtlijnen die momenteel in ziekenhuizen worden gebruikt.
Goedkeuring van artsen: Toen ze de resultaten aan 18 echte artsen lieten zien, gaven de artsen overweldigend de voorkeur aan de AgentScore checklists. Ze zeiden dat de KI-genereren lijsten natuurlijker voelden, makkelijker te gebruiken waren aan het bed en overeenkwamen met hoe artsen daadwerkelijk denken.

De Conclusie

Het artikel betoogt dat we niet altijd grotere, complexere KI nodig hebben om levens te redden. Soms is de beste KI degene die zijn complexe kennis kan vertalen in een eenvoudige, pen-en-papier checklist die een vermoeide arts in een splitseconde kan gebruiken.

AgentScore bewijst dat door KI te gebruiken om ideeën te voorstellen en strenge wiskunde om ze te verifiëren, we automatisch deze eenvoudige, levensreddende hulpmiddelen kunnen bouwen zonder dat een menselijk expert elke enkele regel handmatig hoeft te schrijven.

Belangrijke Opmerking: De auteurs zijn zeer duidelijk dat dit onderzoeksinstrumenten zijn. Ze zijn nog niet goedgekeurd voor gebruik in echte ziekenhuizen om patiënten te behandelen. Ze zijn een bewijs van concept dat een nieuwe manier laat zien om medische hulpmiddelen te bouwen die zowel slim als eenvoudig zijn.

Technische Samenvatting: Automatische Constructie van Klinische Scoresystemen met LLM-Agenten

Probleemstelling

Moderne klinische praktijk is afhankelijk van compacte, evidence-based scoresystemen (bijv. CURB-65, SOFA) die bestaan uit een klein aantal interpreteerbare beslissingsregels. Deze systemen zijn ontworpen voor uitvoering aan het ziekbed, waarbij vereisten zijn zoals memorabiliteit, controleerbaarheid en werking zonder rekenhulpmiddelen. Veel hoogpresterende machine learning (ML)-modellen falen echter in de vertaling naar routinematig klinisch gebruik omdat ze niet in lijn zijn met deze workflow-beperkingen. Ze vertrouwen vaak op inconsistent beschikbare invoer, vereisen complexe preprocessing, of produceren berekeningen met continue gewichten die moeilijk handmatig uit te voeren zijn.

Bestaande geautomatiseerde methoden voor het leren van klinische scores lopen typisch vast in een "generatie-selectiekloof". Benaderingen zoals RiskSLIM of Optimal Checklists optimaliseren over een vast, vooraf geconstrueerd kenmerkensmatrix. Ze kunnen geen klinisch zinvolle afgeleide regels (bijv. fysiologische verhoudingen, temporele trends of ondiepe logische composities) automatisch ontdekken uit ruwe variabelen. Bijgevolg rust de last van het construeren van de hypothese-ruimte op handmatige kenmerken-engineering, wat de dekking van de combinatorische regelruimte beperkt die klinische richtlijnen routinematig overwegen.

De kernuitdaging is om regelconstructie en checklist-compatibiliteit gezamenlijk te optimaliseren binnen een beperkte modelklasse (unit-gewogen, ongeordende checklists), terwijl men navigeert door een exponentieel grote discrete zoekruimte die onhandelbaar is voor exhaustieve enumeratie of standaard op gradienten gebaseerde optimalisatie.

Methodologie: AgentScore

De auteurs introduceren AgentScore, een raamwerk dat Large Language Models (LLM's) en discrete optimalisatie verbindt om automatisch inzetbare klinische scoresystemen te construeren. Het systeem behandelt LLM's niet als autonome besluitvormers, maar als gestructureerde semantische voorstelmechanismen ingebed in een deterministische, data-gegronde verificatielus.

1. Regeltaal en Beperkingen

AgentScore opereert binnen een beperkte, klinisch gemotiveerde regeltaal $\mathcal{R}$ die ondersteuning biedt voor:

Numerieke drempels en bereiken: Standaard afsnijpunten (bijv. $HR > 100$).
Categorie- en binaire aanwezigheidsregels: Diagnoses of comorbiditeiten.
Fysiologische verhoudingen en contrasten: Afgeleide indices (bijv. $HR/BP$).
Op telling gebaseerde regels: M-van-N-criteria (bijv. SIRS-criteria).
Ondiepe logische composities: Beperkte diepte AND/OR-bewerkingen om memorabiliteit te behouden.
Temporele en distributieregels: Trends, delta's en op quantielen gebaseerde drempels afgeleid van longitudinale data.

Het doelmodel is een unit-gewogen N-van-M-checklist: een verspreide set binaire regels $S$ waarbij de score het aantal voldane regels is ( $S(\tilde{x}) = \sum r_j(\tilde{x})$ ), en een beslissing wordt genomen als de score een drempel $\tau$ overschrijdt.

2. De AgentScore-pijplijn

Het leerproces splitst het probleem op in drie fasen (Figuur 2):

Regelvoorstel (LLM-agent): Een LLM stelt kandidaatregels voor op basis van een datasetbeschrijving en aggregate statistieken die via een tool-interface worden verstrekt. Cruciaal is dat de LLM nooit ruwe patiëntgegevens observeert, wat privacyrisico's en hallucinaties beperkt. Het genereert gestructureerde JSON-regels die voldoen aan de grammatica.
Deterministische Validatie en Filtering:
- Statistische Screening: Voorgestelde regels worden geëvalueerd op vastgehouden data. Een regel wordt alleen behouden als deze een minimale discriminatiedrempel voldoet (bijv. AUROC $\ge 0.60$ ) en redundantiechecks (Jaccard-similariteit op dekking van de positieve klasse) doorstaat ten opzichte van de huidige pool.
- Controle op Klinische Plausibiliteit: Een tweede LLM-agent fungeert als "zelfcontrole" om regels te verwerpen die statistisch geldig zijn maar klinisch onzinnig of semantisch incoherent.
Scoreassemblage (LLM-agent): Een derde agent selecteert een compacte subset van regels uit de behouden pool om de definitieve checklist te vormen. Deze agent wordt geleid om semantisch diverse combinaties voor te stellen (bijv. overgaand van respiratoire, cardiovasculaire en renale domeinen) in plaats van alleen statistisch vergelijkbare proxies.
Iteratieve Verfijning: De assemblage-agent kan de checklist iteratief verfijnen, waarbij feedback wordt ontvangen over discriminatie- en dekkingmetrieken, totdat een stopcriterium is bereikt. De definitieve beslissingsdrempel $\tau$ wordt automatisch geoptimaliseerd (bijv. door Youden's J-statistiek te maximaliseren).

3. Optimalisatiedoel

Het systeem streeft naar het maximaliseren van empirische klinische nut (bijv. AUROC, netto voordeel) onderworpen aan harde beperkingen:
$\max_{S \subseteq \mathcal{R}} U(S(\tilde{x}), y; D_{val}) \quad \text{s.t.} \quad |S| \le m, \text{Diepte}(r) \le d$
Dit is een NP-hard, niet-differentieerbaar combinatorisch probleem. AgentScore adresseert dit door de LLM te gebruiken om de semantische structuur van de regelruimte te navigeren, waardoor het "koude start"-probleem van het vinden van hoog-nutregels in een schaars landschap wordt verlicht, terwijl deterministische tools statistische geldigheid en inzetbaarheid garanderen.

Belangrijkste Bijdragen

Conceptueel: Het artikel formaliseert het leren van inzetbare klinische checklists als een gezamenlijk combinatorisch optimalisatieprobleem over regelconstructie en subsetselectie, in plaats van alleen selectie over vaste kenmerken. Het codeert expliciet cognitieve en operationele beperkingen aan het ziekbed (memorabiliteit, controleerbaarheid, rekenvrij gebruik) in de hypothese-klasse.
Algoritmisch: AgentScore introduceert een raamwerk waarin LLM's semantisch gestructureerde kandidaten voorstellen binnen een beperkte grammatica, terwijl deterministische tools grammatica-geldigheid, statistische screening en redundantiecontrole afdwingen. Deze scheiding zorgt ervoor dat de uiteindelijke score zowel interpreteerbaar als empirisch onderbouwd is.
Empirisch: De methode wordt geëvalueerd over acht klinische voorspellingsopgaven (MIMIC-IV, eICU) en twee externe validatietaken.

Experimentele Resultaten

Voorspellende Prestaties: Over acht taken presteert AgentScore significant beter dan bestaande score-generatie baselines (RiskSLIM, FasterRisk, Optimal Checklists, AutoScore) en komt overeen met of overtreft flexibele interpreteerbare modellen (Logistische Regressie, Beslissingsbomen), ondanks het werken onder strengere structurele beperkingen (unit-gewichten, klein aantal regels).
Concurrentie met Richtlijnen: In externe validatiesettingen (PhysioNet 2012 ICU-mortaliteit en UK/Canadese Cystic Fibrosis-cohorten) bereikte AgentScore een hogere discriminatie (AUROC) dan gevestigde klinische richtlijnen (SOFA, SAPS-I, CF-transplantatierichtlijnen), terwijl het geschikt bleef voor handmatige uitvoering.
Inzetbaarheid: Een gestructureerde review door 18 praktiserend clinici toonde een significante voorkeur voor door AgentScore gegenereerde checklists ten opzichte van integer-gewogen baselines (FasterRisk) wat betreft uitlijning met richtlijn-achtig redeneren (85%), eenvoud van toepassing aan het ziekbed (71%) en voorkeur voor implementatie (81%).
Ablatiestudies: Het verwijderen van de beperkte voorstel-verificatielus (vervangen door onbeperkte LLM-generatie) veroorzaakte een significante prestatiedaling (Cohen's $d \approx 2.8$ ), wat de noodzaak van de deterministische verificatielus bevestigt.

Betekenis en Claims

Het artikel betoogt dat de kloof tussen ML-prestaties en klinische adoptie niet te wijten is aan onvoldoende voorspellende kracht, maar aan optimalisatie over modelklassen die incompatibel zijn met richtlijn-implementatie. AgentScore demonstreert dat beperkte semantische optimalisatie – waarbij hypothese-klasseontwerp, inzetbaarheid en verificatie als modeling-van-eerste-klassenzaken worden behandeld – modellen kan opleveren die zowel zeer nauwkeurig zijn als direct uitvoerbaar aan het ziekbed.

De auteurs benadrukken dat hun aanpak klinische richtlijnen niet vervangt, maar een weg biedt om automatisch kandidaat-scoresystemen te construeren die in lijn zijn met richtlijn-achtig gebruik en geschikt zijn voor prospectieve validatie. Het raamwerk adresseert belangrijke barrières voor klinische ML-adoptie, waaronder datagovernance (door LLM's te ontkoppelen van toegang tot ruwe data) en de "generatie-selectie"-kloof in regelontdekking.

Beperkingen: De auteurs merken op dat AgentScore minder expressief is dan flexibele black-box-modellen en voorspellende relaties kan missen die semantisch niet toegankelijk zijn voor de LLM. Het prioriteert inzetbaarheid boven formele optimalisatiegaranties en handhaaft geen eerlijkheidsbeperkingen inherent, wat externe auditing vereist. De scoresystemen zijn onderzoeksartefacten bedoeld voor validatie, niet voor onmiddellijke klinische implementatie.