🤖 AI

World Feedback for Clinical Agents: Diagnosing RL in FHIR Environments

Dit artikel stelt vast dat het toepassen van Reinforcement Learning op klinische agenten in FHIR-omgevingen momenteel wordt belemmerd door silent-finish plafonds, capaciteitsverschillen en onontdekbare formatkennis, en stelt een hybride aanpak voor waarbij Supervised Fine-Tuning de noodzakelijke klinische codes injecteert terwijl RL de besluitvormingslogica optimaliseert.

Oorspronkelijke auteurs: Ananya Mantravadi, Harshit Rajgarhia, Prasanna Desikan, Abhishek Mukherji

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ananya Mantravadi, Harshit Rajgarhia, Prasanna Desikan, Abhishek Mukherji

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Robot-Assistent Leren Hoe het Moet

Stel je voor dat je een robot-assistent probeert te leren hoe hij een strikt regelboek van een ziekenhuis moet volgen. De regels zijn bijvoorbeeld: "Als de bloedsuikerspiegel van een patiënt te hoog is, bestel dan een specifieke test. Als deze normaal is, doe dan niets."

De onderzoekers wilden kijken of ze deze robot konden leren met behulp van Reinforcement Learning (RL). Bij RL probeert de robot dingen, krijgt hij een "score" van een scheidsrechter (een computerprogramma dat de regels controleert) en leert hij van zijn fouten. Het doel was om te zien of de robot deze medische protocollen kon leren door het spel keer op keer te spelen, zonder dat een mens hem telkens de antwoorden hoefde te laten zien.

Het Probleem: Het Spel was Gemanipuleerd

Toen de onderzoekers dit probeerden op de oude versie van hun test (MedAgentBench v1/v2), faalde de robot jammerlijk. Maar dat kwam niet omdat de robot dom was; het kwam omdat het spel kapot was.

De "Doe Niets"-valstrik: In de oude test was ongeveer 42% van de tijd het juiste antwoord simpelweg "niets doen". Omdat de robot werd beloond voor het behalen van een hoge score, besefte hij snel dat de makkelijkste manier om te winnen was om gewoon stil te zitten en niets te doen. Hij leerde lui te zijn omdat "niets doen" de dominante strategie was.
De Oplossing: De onderzoekers bouwden een nieuwe, eerlijkere test (MedAgentBench v3). Ze brachten het spel in balans zodat "niets doen" niet langer de makkelijke uitweg was. Nu moest de robot echt werken om een goede score te halen.

De Echte Ontdekking: Twee Muren waar de Robot niet overheen kwam

Zelfs met de eerlijke nieuwe test had de robot (een model genaamd Qwen3-8B) nog steeds moeite. De onderzoekers ontdekten twee specifieke "muren" die het hem onmogelijk maakten om door middel van alleen vallen en opstaan perfect te leren.

1. De "Leeg Blad"-muur (Capaciteitsplafond)

Stel je voor dat je een student vraagt een wiskundeprobleem op te lossen dat hij nog nooit heeft gezien, terwijl hij zelfs niet weet wat een "plus"-teken is. Hoe vaak je hem ook laat raden, hij kan het concept nooit leren omdat hij de basis mist.

In het paper: Voor ongeveer de helft van de taken begon de robot met 0% bekwaamheid. Hij wist niet hoe hij een patiënt-ID moest opzoeken of hoe hij een specifieke medische code moest formatteren. Omdat hij elke keer faalde, kreeg hij geen nutvolle feedback. Het was alsof je iemand probeert te leren autorijden terwijl diegene niet eens weet hoe je de sleutel in het contact steekt.

2. De "Verborgen Code"-muur (Format-Kennisbarrière)

Stel je een videogame voor waarbij je een geheim wachtwoord moet typen om een deur te openen. Als je het verkeerde wachtwoord typt, zegt het spel "Fout". Maar het spel vertelt je nooit wat het juiste wachtwoord is. Je kunt 1.000 willekeurige wachtwoorden proberen en elke keer dezelfde "Fout"-melding krijgen. Je kunt de juiste code niet ontdekken door simpelweg te gokken.

In het paper: Sommige taken vereisten exacte, specifieke medische codes (zoals een specifiek ID-nummer voor een medicijn). Deze codes zijn niet iets wat je kunt ontdekken door naar het dossier van de patiënt te kijken; het zijn feiten die je gewoon moet onthouden. De robot kon deze codes niet "ontdekken" via trial-and-error omdat het beloningssignaal vlak bleef (hij kreeg telkens "Fout", ongeacht wat hij gokte).

De Oplossing: Een Twee-Stappen Trainingsplan

De onderzoekers vergeleken drie manieren om de robot te trainen:

Pure RL (Trial and Error): De robot gokte op eigen houtje. Score: 18,2%
Supervised Learning (SFT): Een mens (of een regelgebaseerde computer) liet de robot eerst de juiste antwoorden zien, zoals een leraar die een student de uitwerkingen laat zien. Score: 34,1%
De Kloof: Pure RL was 15,9% slechter dan de door een leraar geleide aanpak.

Waarom de kloof bestaat:

SFT (De Leraar) was erg goed in het injecteren van de "Verborgen Codes" en het juiste "Format" (hoe je het antwoord schrijft). Het gaf de robot de feiten die hij nodig had.
RL (De Ontdekker) was goed in het leren van de logica (wanneer wel en wanneer niet actie ondernemen), maar kon de feiten of codes niet zelf verzinnen.

Het Eindoordeel: Je hebt Beiden Nodig

Het paper concludeert dat je niet alleen kunt vertrouwen op het feit dat de robot alles zelf uitzoekt in een klinische setting.

Stap 1: Je moet een "leraar" gebruiken (Supervised Learning) om de nodige feiten, codes en formaten in het brein van de robot te injecteren.
Stap 2: Daarna laat je de robot Reinforcement Learning gebruiken om zijn besluitvorming te oefenen en te verfijnen (weten wanneer hij die codes moet gebruiken).

Samenvattende Analogie

Denk aan het trainen van een nieuwe verpleegkundige:

Pure RL is als een nieuwe verpleegkundige de spoedeisende hulp op gooien en zeggen: "Vind het maar uit door vallen en opstaan." Diegene zal waarschijnlijk gevaarlijke fouten maken of leren om niets te doen omdat dat veiliger is.
SFT is als ze een tekstboek en een checklist geven. Ze leren de medicijnnamen en de formulieren perfect.
De Conclusie van het Paper: De beste aanpak is om hen eerst het tekstboek te geven (SFT) zodat ze de feiten kennen, en hen daarna te laten oefenen op de spoedeisende hulp (RL) zodat ze die feiten correct kunnen toepassen in real-time situaties. Zonder het tekstboek is de oefening zinloos.

Technische Samenvatting: Wereldfeedback voor Klinische Agenten: Het Diagnostiseren van RL in FHIR-omgevingen

1. Probleemstelling

Het artikel behandelt de toepassing van Reinforcement Learning (RL) vanuit wereldfeedback op klinische protocol-uitvoeringstaken. Deze taken omvatmen het ophalen van laboratoriumwaarden, het toepassen van beslissingsdrempels en het plaatsen van correct gestructureerde FHIR (Fast Healthcare Interoperability Resources) orders. In tegenstelling tot algemene klinische redenering, betreft dit administratieve workflows waarbij de beslissingslogica bekend en verifieerbaar is.

De kernuitdaging is het estabeleceren van een solide feedbackkanaal voor RL. Terwijl Supervised Fine-Tuning (SFT) handmatige annotatie van elke episode vereist, maakt RL vanuit wereldfeedback in theorie één enkele verifieerder (die de klinische beslissingslogica codeert) in staat om onbeperkte rollouts automatisch te beoordelen. De auteurs identificeren echter dat het toepassen van dit paradigma op klinische omgevingen niet triviaal is vanwege twee primaire structurele barrières:

Benchmark Validiteit: Bestaande benchmarks (MedAgentBench v1/v2) bevatten een "silent-finish ceiling" waarbij 41,7% van de taken gepasseerd kon worden door niets te doen, waardoor inactiviteit de dominante RL-strategie werd.
Capaciteits- en Kennisverschillen: Pure RL worstelt met taken die exacte klinische codes vereisen (bijv. SNOMED, NDC) die niet ontdekt kunnen worden door exploratie (platte beloningslandschappen) en taken waarbij het basismodel nul initiële capaciteit heeft (zero gradient).

2. Methodologie

Benchmark Reconstructie: MedAgentBench-v3 (MAB-v3)

Om het "silent-finish" probleem aan te pakken, hebben de auteurs MAB-v3 geconstrueerd, een gecorrigeerde benchmark bestaande uit 508 taken over 20 klinische taaktypen.

Correcties: De auteurs hebben branch-imbalansen gecorrigeerd (een 1:1 ratio van actie versus geen-actie afgedwongen), niet-gedocumenteerde formaateisen gepatcht en een "wall-clock" bug in de verifieerder opgelost.
Resultaat: De silent-finish ceiling werd verminderd van 41,7% naar 8,9%, waardoor inactiviteit niet langer een dominante strategie is.
Omgeving: De omgeving gebruikt een deterministische, offline HAPI FHIR server snapshot met ~100 geanonimiseerde patiënten. Het bevat een regelgebaseerde verifieerder (1.340 regels code) die agenten beoordeelt tegen klinische protocollen zonder menselijke tussenkomst.

Trainings- en Evaluatieprotocollen

De studie evalueerde Qwen3-8B (een model dat aanzienlijk kleiner is dan frontier modellen) onder drie condities:

Base Model: Zero-shot prestaties.
Supervised Fine-Tuning (SFT): Getraind op 401 programmatische demo's gegenereerd door een regelgebaseerde agent. Deze demo's boden exacte klinische codes en FHIR-payloadstructuren in het <tool call> formaat.
Pure RL (GRPO): Direct getraind vanaf het basismodel met behulp van Group Relative Policy Optimization (GRPO) op het wereldfeedbacksignaal. De beloningsfunctie ( $r$ ) combineert terminale beloningen, gedeeltelijke credits voor correcte resourcetypes, en straffen voor spookacties of het overslaan van tools.

Belangrijke Ontwerpprincipes:

Deterministische Episodes: Elimineerde instabiliteit in de omgeving als een confounder.
Reward Shaping: Implementatie van gedeeltelijke credits en straffen voor spookacties om een gradiënt te creëren voor conditioneel gedrag (actie versus geen-actie).
Formaatconsistentie: Gebruik van de standaard <tool call> interface in plaats van de oorspronkelijke benchmark's vrij vormgegeven HTTP-strings om native tool-gebruikscapaciteiten te testen.

3. Belangrijkste Bijdragen

MAB-v3 en Omgeving: Een gecorrigeerde benchmark van 508 taken en een zelfstandige wereldfeedback-omgeving die de silent-finish shortcut elimineert en auditeerbare, deterministische feedback biedt.
Gestructureerde Diagnose van RL-beperkingen: Het artikel identificeert en kwantificeert twee structurele barrières die voorkomen dat pure RL de SFT-prestaties evenaart:
- Capaciteit-plafond: 10 van de 20 taaktypen vertoonden 0% base performance, wat resulteerde in een zero gradient voor RL.
- Formaat-Kennis Barrière: 3 taaktypen vereisten exacte klinische codes die niet onderscheidbaar zijn door exploratie (flat reward landscape).
Taak Taxonomie: Een framework dat taken categoriseert in Decision (Beslissing), Lookup (Opzoeken) en Format-Knowledge (Formaat-Kennis) typen. Deze taxonomie voorspelt de leerbaarheid van RL:
- Decision tasks: Hoge RL leerbaarheid (beloning varieert met de beslissing).
- Lookup tasks: Zwak RL signaal (antwoorden worden opgehaald, niet afgeleid).
- Format-Knowledge tasks: Geen RL signaal (exacte codes zijn discreet en niet-infereerbaar).

4. Resultaten

Prestatie-metrieken (Pass@1 op de Held-Out Testset)

Base Qwen3-8B: 16,6%
Pure RL (GRPO): 18,2%
SFT: 34,1%
Verschil: Pure RL bleef achter bij SFT met 15,9 procentpunten.

Analyse van het Verschil

Het verschil van 15,9 pp wordt volledig toegeschreven aan de geïdentificeerde structurele barrières in de taxonomie, en niet aan het RL-algoritme of het beloningsontwerp:

Dead Zones: 10 taaktypen (voornamelijk v1 lookup en format-knowledge) hadden een pass rate van 0% voor zowel het basismodel als RL, omdat het model niet over de initiële capaciteit beschikte om een gradiënt te genereren.
Format-Knowledge Falen: Op taken die exacte codes vereisten (bijv. Naloxone SNOMED codes), nam de RL-prestatie zelfs af (van 20,8% naar 16,7%). Het model overschreef incidentele "gelukkige" pre-training recalls met incorrecte codes die uniforme negatieve beloningen ontvingen, waardoor er geen gradiënt naar de correcte identifier ontstond.
Decision Gains: RL vertoonde bescheiden verbeteringen op decision-taken (bijv. +4,2 pp op CT follow-up), wat bevestigt dat het conditionele logica kan leren wanneer er een gradiënt aanwezig is.

Vergelijking met Frontier Modellen

Frontier modellen (bijv. GPT-5.5, Gemini 3.1 Pro) vertoonden hoge prestaties op decision-taken, maar worstelden aanzienlijk met format-knowledge taken (0% pass op specifieke NDC/SNOMED vereisten), wat bevestigt dat exacte code-kennis niet betrouwbaar emergent is, zelfs niet in grote modellen zonder specifieke injectie.

5. Betekenis en Claims

Het artikel claimt dat pure RL vanuit wereldfeedback onvoldoende is voor klinische protocol-uitvoering wanneer het basismodel niet beschikt over specifieke formaatkennis of initiële capaciteit. Het verschil van 15,9 pp is geen falen van RL als paradigma, maar een diagnose van de structurele limieten in dit domein.

Belangrijkste Voorschriften:

SFT + RL Combinatie: De auteurs stellen een hybride aanpak voor waarbij SFT wordt gebruikt om formaatkennis en exacte klinische codes te "injecteren", gevolgd door RL om conditionele redenering en beslissingslogica te verfijnen met behulp van wereldfeedback.
Benchmark Hygiëne: De studie benadrukt dat schone wereldfeedback een schone benchmark vereist. De "silent-finish" shortcut in MAB-v2 maakte RL ineffectief, ongeacht het gebruikte algoritme.
Scope: De bevindingen zijn specifiek voor protocol-uitvoeringstaken (administratieve workflows) en generaliseren niet naar open-ended klinische redenering of differentiaaldiagnose.

Het artikel concludeert dat hoewel wereldfeedback een schaalbare alternatief biedt voor per-episode annotatie, het de noodzaak voor de gesuperviseerde injectie van discrete, niet-infereerbare kennis (codes en formaten) in klinische agenten niet kan vervangen.