🤖 AI

GuideSkill: Evolving Executable LLM Agent Skills for Guideline-Grounded Clinical Reasoning

GuideSkill introduceert een model-agnostisch framework dat klinische richtlijnen compileert naar uitvoerbare diagnostische functies, die vervolgens worden verfijnd door middel van casusgegevens om de nauwkeurigheid en de dekking van vaardigheden van LLM's in klinische redenering aanzienlijk te verbeteren zonder dat updates aan het backbone-model vereist zijn.

Oorspronkelijke auteurs: Lang Cao, Yuhao Shen, Tianyang Luo, Simo Du, Hao Peng, Yue Guo

Gepubliceerd 2026-07-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lang Cao, Yuhao Shen, Tianyang Luo, Simo Du, Hao Peng, Yue Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe mysteries probeert op te lossen. Je hebt een briljante detective (een Large Language Model, of LLM) die erg goed is in het lezen van aanwijzingen, het raden van verdachten en het vertellen van een goed verhaal. Maar deze detective raakt soms afgeleid, mist de kleine lettertjes of vergeet de strikte regels van de wet. Aan de andere kant heb je een dik, stoffig regelboek (Klinische Praktijkrichtlijnen) dat de exacte, stapsgewijze wetten bevat voor het oplossen van elk type misdaad. Het probleem is dat als je de detective alleen het regelboek overhandigt, ze het weliswaar kunnen lezen, maar de regels niet daadwerkelijk zullen volgen, of dat ze in de war raken door de lange paragrafen. Wat als we, in plaats van de detective alleen het boek te laten lezen, de regels zouden kunnen veranderen in een reeks magische, zelfcontroleerde instrumenten? Stel je voor dat je de detective een speciale "Truth-O-Meter" geeft voor elke verdachte, die direct groen of rood oplicht op basis van het bewijs, in plaats van dat je hen laat gokken. Dit is de wereld van medische AI: proberen de creatieve, verhalende kracht van slimme computersystemen te combineren met de rigide, levensreddende precisie van medische regels.

Het artikel "GuideSkill" introduceert een slimme nieuwe manier om precies dit te doen. De onderzoekers hebben een systeem gebouwd genaamd GuideSkill, dat fungeert als een vertaler die saaie medische regelboeken omzet in een bibliotheek van "uitvoerbare vaardigheden" (executable skills). Denk aan deze vaardigheden als kleine computerprogramma's of "checklistjes" die automatisch kunnen worden uitgevoerd. In plaats van dat de AI simpelweg een richtlijn leest en hoopt dat hij het begrijpt, compileert GuideSkill de regels tot code die daadwerkelijk symptomen van een patiënt kan controleren en een score kan uitspugen: "Dit bewijs ondersteunt ziekte A sterk," of "Dit bewijs sluit ziekte B uit."

Het systeem werkt in twee coole stadia. Eerst is er GuideSkill-Zero. Dit is de "starter kit". De onderzoekers hebben bestaande medische richtlijnen genomen en deze omgezet in deze uitvoerbare vaardigheden. Het is alsof je een kookboek neemt en elk recept verandelt in een robotkok die alleen kan koken als je de exacte juiste ingrediënten geeft. Dit alleen was al beter dan de AI simpelweg de richtlijnen laten lezen. Maar de echte magie gebeurt in het tweede stadium, GuideSkill-Evo. Hier leert het systeem van echte patiëntverhalen. Als de "starter kit" geen regel had voor een zeldzame ziekte, of als een regel een beetje te vaag was, kijkt het systeem naar duizenden echte gevallen, ontdekt wat de experts daadwerkelijk deden, en werkt de vaardigheden bij of voegt nieuwe vaardigheden toe aan de bibliotheek. Het is alsof de robotkokken naar de culinaire hogeschool gaan, echte gerechten proeven en nieuwe recepten leren die niet in het oorspronkelijke boek stonden.

Wanneer er een nieuwe patiënt binnenkomt, vormt het systeem een team. De AI-detective maakt eerst een lijst van mogelijke verdachten (een "differentiaaldiagnose"). Vervolgens voert de GuideSkill-bibliotheek automatische controles uit op elke verdachte. Het combineert het onderbuikgevoel van de detective met de harde, wiskundige scores van de vaardigheden om de winnaar te kiezen. De resultaten zijn indrukwekkend: bij vier verschillende medische tests was dit teamwerk veel nauwkeuriger dan de AI die alleen werkte of alleen de richtlijnen las. Sterker nog, door de stap "leren van gevallen" toe te voegen, dekte het systeem 99,5% van de ziekten waarop het werd getest, vergeleken met slechts 56,5% met de initiële regels. Nog beter: een menselijke arts beoordeelde de nieuwe vaardigheden en verklaarde dat ze medisch verantwoord en betrouwbaar waren. Het artikel suggereert dat deze aanpak — het houden van de regels als aparte, controleerbare instrumenten in plaats van te proberen ze in het brein van de AI te memoriseren — een krachtige manier is om medische AI veiliger en betrouwbaarder te maken, zonder dat het nodig is om het hele brein van de AI opnieuw te trainen telkens wanneer er een nieuwe regel wordt ontdekt.

Technische Samenvatting: GuideSkill

Probleemstelling

Klinische diagnose is een stappenproces dat de synthese van patiëntinformatie, het genereren van differentiële diagnoses en het toepassen van evidence-based drempelwaarden vereist om kandidaten te ondersteunen of te weerleggen. Hoewel klinische richtlijnen (Clinical Practice Guidelines, CPG's) de noodzakelijke diagnostische criteria en conditionele logica bevatten, slagen Large Language Models (LLM's) er doorgaans niet in om deze regels correct uit te voeren. Huidige benaderingen vertrouwen vaak op het ophalen van richtlijnteksten (RAG) of het absorberen van richtlijnen via training, maar deze methoden garanderen niet dat criterium-niveau evaluaties strikt worden toegepast op specifieke patiëntcasussen. Bovluist worstelen bestaande systemen met het afhandelen van diagnoses buiten de initiële richtlijnencorpus en met het combineren van flexibele kandidaat-generatie met expliciete, ziekte-specifieke regeltoepassing zonder de modelparameters bij te werken.

Methodologie

Het artikel introduceert GuideSkill, een externe redeneerlaag die CPG's transformeert van passieve referenties naar een evolueerbare bibliotheek van uitvoerbare, ziekte-specifieke diagnostische vaardigheden (skills). Het framework werkt in drie stadia:

1. Taakformulering

Gegeven een patiëntcasus $x$ , voorspelt het systeem een definitieve diagnose $d^*$ . Het proces omvat:

Kandidaat-generatie: Een LLM genereert een gerangschikte set differentiële diagnoses $C(x)$ .
Skill-executie: Voor elke kandidaat $d$ wordt een bijbehorende uitvoerbare skill $g_d$ opgehaald uit een bibliotheek en uitgevoerd op de patiëntcasus om een bewijsscore $s_{skill}(x, d)$ te produceren.
Fusie: De definitieve score $S(x, d)$ is een gewogen combinatie van de LLM-rangschikkingsscore $s_{LLM}(x, d)$ en de op skills gebaseerde bewijsscore:
$S(x, d) = \alpha s_{LLM}(x, d) + (1 - \alpha) s_{skill}(x, d)$
waarbij $\alpha \in [0, 1]$ de twee signalen balanceert.

2. Skill-initialisatie (GuideSkill-Zero)

Deze fase construeert de initiële skill-bibliotheek vanuit gecureerde klinische richtlijnen:

Curatie: Ruwe richtlijnen-documenten worden gefilterd en gecureerd om ruis en niet-actiegerichte inhoud te verwijderen.
Extractie & Compilatie: Aanbevelingen worden geëxtraheerd, gegroepeerd per ICD-10 categorie, en gecompileerd door een LLM tot uitvoerbare Python-functies.
Scoringlogica: Elke skill koppelt patiëntkenmerken aan een van vier ondersteuningsniveaus (Bevestigd, Sterk suggestief, Compatibel, Niet ondersteund), genormaliseerd naar een score in $[0, 1]$ . Tegenstrijdig bewijs kan het ondersteuningsniveau verlagen.

3. Skill-evolutie (GuideSkill-Evo)

Om de beperking aan te pakken dat richtlijnen slechts een eindige set diagnoses dekken, wordt de bibliotheek geëvolueerd met behulp van gelabelde patiëntcasussen:

Rationale-generatie: Voor trainingscasussen genereert de LLM diagnostische rationales die het bewijs samenvatten dat de grondwaarheid-diagnose ondersteunt.
Distillatie & Optimalisatie: Rationales voor dezelfde diagnose worden geaggregeerd om nieuwe ziekte-specifieke regels te distilleren. Deze regels worden gebruikt om ofwel bestaande skills te optimaliseren (indien de diagnose al gedekt is) of om nieuwe skills te genereren (indien de diagnose afwezig is uit de initiële bibliotheek).
Resultaat: Dit proces breidt de dekking van de bibliotheek uit en verfijnt de beslissingsregels om beter aan te sluiten bij de heterogene realiteit, zonder de parameters van de LLM-backbone aan te passen.

4. Inferentie

Tijdens de inferentie stelt de LLM een differentiële diagnose voor. GuideSkill haalt de relevante skills op, extraheert de specifieke kenmerken die door elke skill vereist zijn uit het patiëntenverslag, voert de skills uit om bewijsscores te verkrijgen, en fuseert deze scores met de LLings rangschikking om de definitieve voorspelling te bepalen.

Belangrijkste Bijdragen

Agentic Skill Executie: Het artikel formuleert richtlijn-gebaseerde diagnose als de executie van agentic skills, en ontwikkelt een pipeline die CPG-aanbevelingen compileert naar uitvoerbare ordinale scorers geïndexeerd per ziekte.
Case-Conditioned Evolutie: Het introduceert een mechanisme om gedekte skills te verfijnen en voorheen ongedekte diagnoses toe te voegen met behulp van gelabelde casussen, waardoor de reikwijdte van de bibliothek wordt uitgebreid buiten de parameters van de LLM.
Uitgebreide Evaluatie: De auteurs evalueren de aanpak over vier heterogene diagnostische redeneer-benchmarks en vier verschillende LLM-backbones (proprietary en open-weight), waarbij de bijdragen van richtlijn-initialisatie scheiden van de winst behaald door evolutie.

Resultaten

De evaluatie bestrijkt vier benchmarks (MedCaseReasoning, ER-Reason, MIMIC-CDM-FI, MedThink-Bench) en vier backbones (GPT-5.4, Claude-Sonnet-4.6, MedGemma-27B, Qwen3.5-9B).

Prestatiewinst: GuideSkill-Zero presteert consistent beter dan richtlijn RAG over alle backbones. GuideSkill-Evo bereikt de hoogste macro-gemiddelde nauwkeurigheid voor elke backbone, wat een verbetering is van gemiddeld 18,49% ten opzichte van de sterkste baseline via directe inferentie.
Dekking: Evolutie verhoogt de gold-label skill-dekking van 56,5% (GuideSkill-Zero) naar 99,5% (GuideSkill-Evo), waardoor de hiaten in de initiële richtlijnencorpus effectief worden opgevuld.
Generalisatie: Op MedThink-Bench, een benchmark die uitgesloten was van de evolutie-training set, bereikt GuideSkill-Evo de beste of gedeelde beste nauwkeurigheid over alle backbones, wat de overdraagbaarheid naar onbekende data demonstreert.
Vergelijking met Training-gebaseerde Methoden: Op Qwen3.5-9B presteert GuideSkill-Evo met 11,16% beter dan de sterkste parameter-update baselines (inclusief fine-tuning met richtlijnen, casussen en reinforcement learning) zonder de backbone aan te passen.
Klinische Validiteit: Expertevaluatie van 10 skills (5 richtlijn-geïnitialiseerd, 5 case-afgeleid) gaf aan dat 95,2% van de initiële regels richtlijn-consistent was, en 9/10 finale skills werden geaccepteerd met slechts minimale revisies. De algemene kwadratische gewogen $\kappa$ tussen klinische oordelen en skill-outputs was 0,60.

Betekenis

Het artikel stelt dat GuideSkill de levensvatbaarheid van externe uitvoerbare skills demonstreert als een model-agnostisch mechanisme voor klinische redenering. Door de diagnostische logica te externaliseren, maakt het systeem het mogelijk voor:

Herbruikbaarheid: Dezelfde diagnostische logica kan worden geïnspecteerd, bijgewerkt en hergebruikt over verschillende LLM-backbones.
Transparantie: De beslissingslogica is expliciet en interpreteerbaar, in tegen tegenstelling tot de ondoorzichtige gewichten van gefinetunede modellen.
Uitbreidbaarheid: De bibliotheek kan worden uitgebreid met nieuwe diagnoses en verfijnde regels met behulp van gelabelde casussen zonder de computationele kosten of de datavereisten van het hertrainen van het backbone-model.

De auteurs concluderen dat hoewel bredere klinische validatie noodzakelijk is vóór klinische inzet, de resultaten de inzet ondersteunen van uitvoerbare skills om richtlijn-afgeleide procedures te combineren met case-afgeleide diagnostische patronen, wat een robuust alternatief biedt voor parameter-update methoden voor het verbeteren van diagnostische nauwkeurigheid en dekking.