Technische Samenvatting: TheraAgent

Probleemstelling

Het formuleren van een behandelplan is een complexe redeneer- en verfijningstaak die het vertalen van diagnostische conclusies naar concrete therapeutische acties vereist. Het artikel betoogt dat bestaande Large Language Models (LLM's), ongeacht of ze algemeen doelgericht zijn of medisch fijn afgestemd, voornamelijk vertrouwen op eenmalige generatie zonder expliciete verificatie. Deze aanpak resulteert vaak in behandelplannen die ruw, onvolledig en potentieel onveilig zijn, gekenmerkt door onnauwkeurige dosering, weggelaten kerncomponenten en een gebrek aan schadebeheersing. Bovendien vertrouwen huidige evaluatiemethoden voor behandelplanning vaak op sterk vereenvoudigde metrieken (bijvoorbeeld BLEU) of standaard LLM-scores die de multidimensionale klinische kwaliteit die nodig is voor besluitvorming in de echte wereld, niet vastleggen.

Methodologie: TheraAgent Framework

Om deze beperkingen aan te pakken, stellen de auteurs TheraAgent voor, een agentisch framework dat behandelplanning herformuleert als een iteratief genereren–reflecteren–verfijnen-proces, dat de revisiepatronen nabootst die worden waargenomen in deskundige klinische praktijk. Het framework bestaat uit drie interactieve componenten:

1. Planner: De generatieve module die verantwoordelijk is voor het produceren van kandidaat-behandelplannen ($T_k$) op basis van het patiëntgeval ($P$) en historische feedback opgeslagen in de Memorizer. In tegenstelling tot eenmalige modellen conditioneert de Planner expliciet op eerder gegenereerde schema's en hun evaluatierationalen om tekortkomingen (bijvoorbeeld onvolledige dekking of veiligheidsrisico's) in daaropvolgende iteraties te identificeren en te corrigeren.
2. TheraJudge: Een behandel-specifiek evaluatiemodule geïntegreerd in de inferentielus. Het beoordeelt kandidaat-plannen tegen klinische criteria op meerdere dimensies: Nauwkeurigheid, Doelgerichtheid, Volledigheid en Schadebeheersing. TheraJudge maakt gebruik van drie mechanismen om betrouwbaarheid te waarborgen:
   • Kennisgebaseerde evaluatie via RAG: Haalt gezaghebbende klinische richtlijnen op om hallucinaties te verminderen en naleving van veiligheidsstandaarden te waarborgen.
   • Stabilisatie via few-shot voorbeelden: Gebruikt door experts geannoteerde gevallen om scoring te kalibreren en variantie te verminderen.
   • Multidimensionale scoring: Biedt gedetailleerde feedback in plaats van één holistische score, met expliciete signalen voor verfijning.
3. Memorizer: Een gestructureerde opslagplaats die historische behandelplannen, redeneersporen en evaluatiescores verzamelt. Het maakt scorebewuste ophaling mogelijk, waardoor de Planner toegang heeft tot hoogwaardige historische voorbeelden (Top-N) om iteratieve optimalisatie te sturen.

Het framework geeft het definitieve plan ($T^*$) weer door het schema met de hoogste score uit de laatste $L$ iteraties te selecteren, waarbij een early-stopping-mechanisme wordt geïntegreerd om kwaliteit en computerkosten in evenwicht te brengen.

Belangrijkste Bijdragen

• Iteratief Redeneerframework: De voorstelling van TheraAgent, dat eenmalige generatie vervangt door een zelfverbeterende pijplijn, wat leidt tot nauwkeurigere, uitgebreidere en veiligere behandelplannen.
• TheraJudge Evaluatiemodule: De introductie van een klinisch afgestemde interne criticus die plannen beoordeelt op dimensies zoals Nauwkeurigheid en Volledigheid. De auteurs tonen het potentieel ervan als een zelfstandige evaluator aan, met een hoge overeenstemming met externe benchmarks.
• Empirische Validatie: Uitgebreide experimenten die state-of-the-art prestaties aantonen op de HealthBench-taak voor behandelplanning en superieure prestaties in verblindde expertevaluaties tegen menselijke artsen.

Experimentele Resultaten

De auteurs evalueerden TheraAgent op de HealthBench-dataset (gefilterd op behandelgerelateerde gevallen binnen de afdelingen endocrinologie, gastro-enterologie, neurologie en longziekten) en een Real-World Case Dataset van door artsen geschreven gevallen.

• Automatische Evaluatie (HealthBench): TheraAgent behaalde een state-of-the-art totaalscore van 48,94, waarmee het het op één na beste model met 4,66 punten versloeg. Het leidde op Nauwkeurigheid en Volledigheid, met respectievelijk 2,91 en 4,43 punten meer dan de nummer twee. Het toonde ook significante verbeteringen in "Hedging" (6,78 punten) en "Context Seeking".
• Expertevaluatie (Real-World Cases): In verblindde vergelijkingen met bevoegde medische experts behaalde TheraAgent een winstpercentage van 86% tegenover menselijke artsen. Het toonde superieure prestaties op Doelgerichtheid (69% winstpercentage), Volledigheid (71%) en Schadebeheersing (51%).
• Betrouwbaarheid van de Evaluator: TheraJudge toonde een hoge Pearson-correlatie (0,71) met de officiële HealthBench-evaluatie, waarmee het traditionele lexische metrieken (BLEU, ROUGE) en standaard LLM-scores aanzienlijk overtrof, wat de betrouwbaarheid ervan als automatisch feedbacksignaal valideert.
• Generalisatie: Het framework toonde consistente prestatieverbeteringen over verschillende backbone-modellen (van GPT-4o tot DeepSeek-R1) en op een extra benchmark (MTMedDialog), wat aangeeft dat de aanpak niet beperkt is tot een specifiek dataset of modelarchitectuur.

Betekenis en Claims

Het artikel stelt dat TheraAgent behandelplanning niet definieert als een eenvoudige generatietask, maar als een distinct redeneer- en verfijningstaak. Door domeinspecifieke evaluatie (TheraJudge) direct in de inferentielus te integreren, transformeert het framework LLM's succesvol tot veiligere, nauwkeurigere en praktischere klinische planners.

De auteurs benadrukken dat de hoge consistentie tussen TheraJudge en expertevaluaties de mogelijkheid van het framework valideert om geldige feedbacksignalen te geven met betrekking tot veiligheid en volledigheid, in plaats van willekeurige ruis. Ze positioneren TheraAgent als een hulpmiddel om behandelplanning te ondersteunen door impliciete klinische logica om te zetten in expliciete vereisten en te fungeren als een veiligheidsremindering, in plaats van professioneel medisch oordeel te vervangen. Het werk suggereert dat iteratieve verfijningsmechanismen essentieel zijn om de beperkingen van eenmalige generatie in hoog-risico medische domeinen te overwinnen.