🤖 AI

Human-in-the-Loop Multi-Agent Ventilator Decision Support with Contextual Bandit Preference Learning

Dit artikel stelt het Ventilator Decision Support System (VDSS) voor, een mens-in-de-lus multi-agentkader dat contractgedreven modulaire coördinatie combineert met contextueel bandiet-preferentieleren om controleerbare, gepersonaliseerde ventilatoraanbevelingen te genereren die de acceptatie door clinici verbeteren en het aantal interactieronden verminderen.

Oorspronkelijke auteurs: Sijia Li, Xiaoyu Tan, Qixing Wang, Weiyi Zhao, Chen Zhan, Teqi Hao, Xuemin Wang, Lei Gu, Roland Eils, Xihe Qiu

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sijia Li, Xiaoyu Tan, Qixing Wang, Weiyi Zhao, Chen Zhan, Teqi Hao, Xuemin Wang, Lei Gu, Roland Eils, Xihe Qiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een patiënt voor op de intensive care (IC) die op een beademingsapparaat ligt. Deze machine fungeert als een levensreddende marionettenspeler die bepaalt hoe de patiënt ademt. Maar het lichaam van de patiënt verandert voortdurend, net als een boot die op ruwe golven schommelt. De artsen en verpleegkundigen (de "klinici") moeten de instellingen van de machine voortdurend aanpassen om de patiënt veilig en comfortabel te houden.

Dit is ontzettend moeilijk. Het vereist diepgaande expertise, constante aandacht en snelle beslissingen. Als ze het fout doen, is het gevaarlijk. Als ze het goed doen, herstelt de patiënt.

Het artikel introduceert een nieuw hulpmiddel genaamd VDSS (Ventilator Decision Support System) om deze medische teams te helpen. In plaats van een "black box" te zijn die zomaar een antwoord spitst, is VDSS ontworpen als een team van gespecialiseerde AI-assistenten dat onder strikte regels samenwerkt, met een menselijke arts altijd aan het stuur.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het "Gespecialiseerde Team" (Multi-Agent Framework)

Stel je voor dat je een complex huis bouwt. Je zou niet één persoon vragen om de loodgieterswerk, de elektrische installatie, de architectuur en de veiligheidsinspectie allemaal tegelijk te doen. Je zou een team van experts inhuren.

VDSS doet hetzelfde. Het vertrouwt niet op één gigantisch AI-brein. In plaats daarvan heeft het een team van kleinere AI-"agenten", elk met een specifieke taak:

De Golfvorm-analist: Kijkt naar de kronkelige lijnen op de monitor (zoals het lezen van een hartslag) om probleemgebieden op te sporen.
De Detective: Controleert de vitale functies van de patiënt om te zien wat er mis is.
De Doelsteller: Beslist wat het team nu moet proberen te bereiken (bijvoorbeeld "Laten we meer zuurstof geven" of "Laten we de ademhaling kalmeren").
De Veiligheidsinspecteur: Een strenge regelvolger die elk voorstel controleert tegen een lijst met "Niet Aanraken"-regels om ervoor te zorgen dat er niets gevaarlijks wordt voorgesteld.

Deze agenten communiceren met elkaar via een gestructureerd "contract", zodat ze niet in de war raken of tegenstrijdige adviezen geven.

2. De "Mens in de Loopt" (De Piloot en de Medepiloot)

Dit is het belangrijkste deel. De AI is niet de piloot; het is de medepiloot.

Het AI-team stelt een plan voor (bijvoorbeeld "Laten we de zuurstof iets verhogen").
Ze tonen dit plan aan de echte arts, samen met een duidelijke uitleg van waarom ze dit hebben voorgesteld.
De arts kan zeggen "Ja, doe het" of "Nee, dat klopt niet."

Als de arts "Nee" zegt, raadt het systeem niet zomaar opnieuw. Het vraagt: "Wat was er precies mis?" en herplant alleen het deel dat is afgewezen, waardoor tijd en energie worden bespaard. Het is als een GPS die zegt: "Je hebt die afslag gemist? Oké, laten we de route herberekenen vanaf waar je nu bent," in plaats van je terug te sturen naar het begin.

3. Je "Stijl" Leren (Contextual Bandit)

Elke arts heeft zijn eigen "vingerafdruk" of stijl. Sommigen zijn zeer voorzichtig en maken kleine, trage veranderingen. Anderen zijn gedurfd en maken graag grotere aanpassingen in korte tijd. Sommigen prioriteren zuurstof, terwijl anderen comfort prioriteren.

VDSS heeft een speciaal leermotor genaamd een Contextual Bandit. Denk hierbij aan een slimme tutor die jouw lesstijl leert.

Elke keer dat een arts een suggestie accepteert, neemt het systeem een mentale notitie: "Ah, dokter Smith houdt van kleine, veilige stappen."
Elke keer dat een arts een suggestie afwijst, leert het systeem wat de volgende keer niet moet doen.
Na verloop van tijd wordt het systeem beter in het voorspellen van wat die specifieke arts precies zou willen doen, waardoor de suggesties nuttiger worden en er minder heen-en-weer-gedoe nodig is.

4. Het "Papieren Spoor" (Traceerbaarheid)

In een ziekenhuis kun je niet zomaar op een computer vertrouwen. Je moet weten waarom het een beslissing heeft genomen.
VDSS houdt een gedetailleerde, stap-voor-stap logboek bij van alles. Het registreert:

Hoe de patiënt eruit zag.
Wat de AI-agenten dachten.
Wat de arts besliste.
Waarom de arts een plan accepteerde of verwierp.

Dit creëert een duidelijk "audit trail", net als een vluchtrecorder in een vliegtuig, zodat iedereen later terug kan kijken en precies kan begrijpen hoe een beslissing is genomen.

Wat Vonden Ze?

De onderzoekers testten dit systeem met behulp van eerdere patiëntendossiers (zoals een vluchtsimulator voor artsen). Ze ontdekten dat:

Betere Nauwkeurigheid: Het AI-team minder fouten maakte dan een enkel AI-model dat alles alleen probeerde te doen.
Snellere Overeenkomsten: Omdat het systeem de stijlen van de artsen leerde en alleen de afgewezen delen corrigeerde, hoefden artsen minder vaak "Nee" te zeggen voordat ze het eens waren over een plan.
Hoger Vertrouwen: Artsen beoordeelden de suggesties als duidelijker, veiliger en nuttiger.

De Conclusie

Het artikel betoogt dat je in situaties met hoge risico's zoals de IC geen robot wilt die overneemt. Je wilt een slim, georganiseerd team van assistenten dat de menselijke expert helpt sneller en veiliger te denken, leert van hun specifieke stijl en een perfect verslag bijhoudt van elke stap. Het gaat om samenwerking, niet om vervanging.

Technische Samenvatting: Mens-in-de-lus Multi-Agent Ventilator Beslissingsondersteuning met Contextuele Bandit Voorkeurslering

1. Probleemstelling

Mechanische ventilatie op de Intensive Care (IC) vereist continue, fijnmazige aanpassingen om te matchen met de evoluerende fysiologie, gasuitwisseling en hemodynamiek van de patiënt. De huidige klinische praktijk vertrouwt op protocollen en de ervaring van de klinicus, maar staat voor aanzienlijke uitdagingen:

Dynamische Complexiteit: Patiënttrajecten zijn niet-stationair, en strategieën die voor één patiënt of tijdstip werken, kunnen voor een ander falen.
Workflow-beperkingen: Titratie aan het bed vereist snelle reacties op imperfecte signalen, wat vaak leidt tot inconsistente aanpassingen door tijdsdruk en wisselingen in diensten.
Gaten in Personalisatie: Klinische teams variëren in risicotolerantie, afstemmingsstijlen en lokale conventies. Bestaande beslissingsondersteuningssystemen (DSS) slagen er vaak niet in zich aan te passen aan deze specifieke voorkeuren, wat vertrouwen en adoptie beperkt.
Beperkingen van Huidige AI: Op regels gebaseerde benaderingen missen generalisatie voor personalisatie, terwijl end-to-end versterkende leer (RL) of systemen met één groot taalmodel (LLM) moeilijk te controleren, te auditeren en in lijn te brengen zijn met specifieke veiligheidsgrenzen.

De auteurs betogen dat in hoog-risico klinische settings puntsgewijze modelprestaties onvoldoende zijn. Een succesvolle implementatie vereist een systeem waarbij gedrag aan het bed inspecteerbaar is, redenering traceerbaar is, en het systeem zich kan aanpassen aan voorkeuren van de klinicus zonder de klinische workflow te verstoren.

2. Methodologie: Het Ventilator Beslissingsondersteuningssysteem (VDSS)

De auteurs stellen VDSS voor, een mens-in-de-lus (HITL) multi-agent raamwerk dat is ontworpen om ventilatorbesluitvorming te ontleden in modulaire componenten die worden gereguleerd door contractgedreven gestructureerde interfaces.

2.1 Multi-Agent Architectuur

In plaats van één enkel model dat invoer op output afbeeldt, orchestreert VDSS een workflow van gespecialiseerde agenten (LLM- of VLM-modules) met gedefinieerde rollen en schema-gedwongen outputs:

Data Inname: Een Waveform Analyzer zet druk- en flowsporen om in gestructureerde aanwijzingen (bijv. asynchronie, onzekerheid) om tabulaire data aan te vullen.
Detectie & Doelinferentie: Een Detection Agent synthetiseert aanwijzingen tot een staatssamenvatting. Een Phase Goal Manager leidt de behandelingsfase af en specificeert primaire en secundaire doelen.
Beslissingsgating: Een Hold/Adjust Gate beslist of de huidige instellingen gehandhaafd moeten blijven of dat titratie moet worden gestart, waardoor onnodige aanpassingen worden voorkomen wanneer het bewijs onvoldoende is.
Planning & Veiligheid: Als een aanpassing nodig is, genereren een Strategy Selector, Mode Select Agent en Parameter Planner een compacte set uitvoerbare updates. Deze voorstellen ondergaan deterministische veiligheids- en compatibiliteitscontroles voordat ze de klinicus bereiken.
Feedback & Herziening: Als een klinicus een voorstel afwijst, vertaalt een Reflect Agent de feedback naar herzieningsbeperkingen en identificeert de minimale beslissingslaag (bijv. strategie versus parameters) die opnieuw bezocht moet worden. Dit maakt gerichte herplanning mogelijk in plaats van volledige doorlopen van de pijplijn.
Documentatie: Een Note Generator produceert een gestructureerde samenvatting en een controleerbare cyclusregistratie na acceptatie.

2.2 Mens-in-de-lus Interactie

Het systeem werkt in aanpassingscycli. Voor elke cyclus $t$ stelt het systeem instellingen $a^{(k)}_t$ voor in rondes $k=1, \dots, K_t$ .

Afkeuring Behandeling: Afkeuring wordt behandeld als een gestructureerd controlesignaal. Het systeem registreert de redenering, lokaliseert de fout tot een specifieke beslissingsfase en plant alleen die fase opnieuw.
Beëindiging: De cyclus eindigt wanneer de klinicus een voorstel accepteert ( $\tilde{a}_t$ ), wat de grondwaarheid wordt voor die cyclus.

2.3 Online Voorkeursadaptatie (Contextuele Bandit)

Om de variabiliteit in afstemmingsstijlen van klinici aan te pakken, hanteert VDSS een online contextuele bandit mechanisme:

Voorkeursstaat: Elke klinicus $d$ onderhoudt een voorkeursstaat $\theta_d$ .
Feedbacklus: Bij cyclusafsluiting extrahert het systeem een voorkeurssignaal $p_t$ op basis van de uiteindelijk geaccepteerde beslissing $\tilde{a}_t$ en de interactietrace $h_t$ .
Leerdoel: De bandit update $\theta_d$ met de formule $\theta_d \leftarrow \text{BanditUpdate}(\theta_d; x_t, \tilde{a}_t, h_t, p_t)$ .
Voorkeurscategorieën: Het model leert over 12 vaste categorieën, waaronder granulariteit (kleine stappen versus assertief), moduswijzigingen, prioritering van klinische doelen (zuurstofatie, longbescherming, hemodynamiek, etc.) en workflowtendensen (bijv. actie uitstellen wanneer data onvoldoende is).
Integratie: De bijgewerkte $\theta_d$ dient als context voor de redeneermotor in daaropvolgende cycli, waarbij het rangschikken en selecteren van kandidaten wordt begeleid.

3. Belangrijkste Bijdragen

Modulair Multi-Agent Raamwerk: VDSS introduceert een contractgedreven, multi-agent architectuur die ventilatortitratie ontleden in verifieerbare, onderhoudbare modules, en monolithische end-to-end modellen vervangt door een coherente, controleerbare redeneertrace.
Gestructureerde Afkeuring & Gerichte Herplanning: Het systeem implementeert een mechanisme waarbij afkeuring door de klinicus een gerichte herziening van specifieke beslissingslagen triggert, wat onproductieve iteraties reduceert en interactiestabiliteit handhaaft.
Online Voorkeursadaptatie: De integratie van een contextuele bandit stelt het systeem in staat individuele afstemmingsstijlen van klinici te leren uit geaccepteerde beslissingen, waardoor de uitlijning van aanbevelingen verbetert zonder expliciete voorkeursverwerving te vereisen.
Traceerbaar Bewijs: Het raamwerk zorgt ervoor dat elke aanbeveling wordt begeleid door een gestructureerde samenvatting, veiligheidscontroles en een redenering, wat klinische review en audit faciliteert.

4. Experimentele Resultaten

De auteurs evalueerden VDSS met behulp van retrospectieve IC-trajectherhaling en expertreview op een dataset van 1.309 gestructureerde records (7.447 instellingselementen) die 13 ventilatiemodi bestrijken.

Prestaties versus Enkele Modellen: Wanneer ingezet binnen VDSS, presteerden modellen significant beter dan directe generatie door een enkel model. Bijvoorbeeld, met GPT-5.2 als ruggengraat:
- MSE (Mean Squared Error): Verminderd van 0,343 (enkel model) naar 0,102 (VDSS).
- Algemene Klinische Beoordeling: Verbeterd van 2,63 naar 4,11 (op een schaal van 1–5).
- Accepteerbaarheid: Toegenomen van 2,75 naar 4,09.
Ablatiestudies: Het verwijderen van waveformbewijs (NoImg) of voorkeurscontext (NoPref) resulteerde in verslechterde prestaties (bijv. MSE steeg respectievelijk naar 0,145 en 0,128), wat de noodzaak bevestigt van zowel dynamisch bewijs als voorkeurslering.
Interactie-efficiëntie: Analyse van "regret" (aantal afgewezen voorstellen per cyclus) toonde een dalende trend over 100 cycli, wat aangeeft dat het systeem voorkeuren van de klinicus leerde en minder interactierondes nodig had om een aanvaardbaar plan te bereiken.
Uitvoeringstijd: Op lokale hardware (RTX 5070 Ti) was de gemiddelde cyclustijd 305,3 seconden, waarbij waveformanalyse de primaire bottleneck was (56,46 s). Het raamwerk handhaafde een voltooiingsfoutpercentage onder de 7%.

5. Betekenis en Claims

Het artikel claimt dat VDSS een praktische stap voorwaarts is naar klinisch inzetbare mens-AI samenwerking in hoog-risico settings. De betekenis ligt in:

Veiligheid en Controleerbaarheid: Door contractgedreven interfaces en deterministische veiligheidscontroles af te dwingen, zorgt het systeem ervoor dat generatieve planning begrensd blijft door expliciete beperkingen, waarmee de "black box"-bezorgdheden van end-to-end RL worden aangepakt.
Workflowuitlijning: Het HITL-ontwerp respecteert de iteratieve aard van titratie aan het bed, waardoor klinici aanbevelingen kunnen overrulen, afkeuren en verfijnen zonder de lus te verbreken.
Personalisatie zonder Overfitting: De contextuele bandit-benadering past zich aan individuele stijlen van klinici aan met behulp van feedback uit de echte wereld (geaccepteerde beslissingen) in plaats van enorme pre-training op specifieke gebruikersdata te vereisen, waardoor het schaalbaar is over verschillende instellingen en praktijkmensen.
Interpreteerbaarheid: Het systeem biedt een transparante link tussen de aanbeveling, de staat van de patiënt en teamvoorkeuren, wat efficiënt herhaald gebruik en vertrouwen ondersteunt.

De auteurs concluderen dat hoewel puntsgewijze modelnauwkeurigheid noodzakelijk is, het vermogen van het raamwerk om verifieerbare, voorkeursbewuste en veilige samenwerking te bieden, de kritieke factor is voor duurzame adoptie in de intensive care.