The Doctor Will (Still) See You Now: On the Structural Limits of Agentic AI in Healthcare
Dit kwalitatief onderzoek, gebaseerd op interviews met 20 stakeholders, onthult dat agentic AI in de zorg ondanks commerciële beloften van autonomie in de praktijk beperkt blijft door fundamentele spanningen tussen conceptuele onduidelijkheid, operationele realiteit en evaluatiemethoden, wat ernstige gevolgen heeft voor patiëntveiligheid en verantwoordelijkheidsverdeling.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Dokter Ziet Je (Nog Steeds) – Waarom de 'Slimme' AI in de Zorg Nog Niet Zomaar Op Eigen Houtje Speelt
Stel je voor dat je een nieuwe, super slimme assistent huurt voor een ziekenhuis. Deze assistent, een vorm van kunstmatige intelligentie (AI), wordt in de reclame verkocht als een autonome robot-dokter. Hij zou zelfstandig diagnoses kunnen stellen, medicijnen kunnen voorschrijven en complexe behandelingen plannen zonder dat een menselijke dokter hoeft te kijken. De markt is dol enthousiast: er wordt miljarden beloftes gedaan over een revolutie in de zorg.
Maar in de echte wereld, tussen de muren van het ziekenhuis, is het verhaal heel anders. Dit onderzoek van een team van Stanford en andere universiteiten pakt de waarheid eruit, en het is als volgt: Deze 'slimme' assistenten mogen nog niet eens zelf de deur openen. Ze zitten vastgebonden aan de pols van een menselijke dokter.
Hier is wat de onderzoekers hebben ontdekt, vertaald in alledaagse taal met een paar creatieve vergelijkingen.
1. De Verwarring: Wat is een 'Agent' eigenlijk?
Het grootste probleem is dat niemand het eens is over wat het woord 'agent' (een zelfstandig handelende AI) eigenlijk betekent.
- De Vergelijking: Stel je voor dat een bouwkundige en een tuinman samenwerken.
- De bouwkundige zegt: "Een agent is een robot die een huis kan bouwen, van fundering tot dak, helemaal alleen."
- De tuinman zegt: "Nee, een agent is gewoon een robot die de struiken water geeft, maar die moet wel door mij worden aangestuurd."
- De Realiteit: In de tech-wereld denken ze aan de robot die het hele huis bouwt. In de medische wereld denken ze aan de robot die alleen de struiken water geeft (en dat ook nog eens met veel toezicht). Omdat ze verschillende dingen bedoelen, kan de tech-bedrijven zeggen: "We bouwen een autonoom systeem!" terwijl de artsen denken: "Nee, dit is gewoon een hulpmiddel dat ik moet controleren." Dit creëert een verantwoordelijkheids-gat: als er iets misgaat, wijst de tech-bouwer naar de tuinman, en de tuinman naar de tech-bouwer. Niemand neemt de schuld.
2. De Leugen van de Vrijheid: "Agent" zonder "Autonomie"
De marketing zegt: "Onze AI is een agent die zelfstandig handelt."
De praktijk zegt: "Onze AI is een assistent die 0% zelfstandig is."
- De Vergelijking: Denk aan een vlieger.
- De reclame toont een vlieger die hoog in de lucht zweeft, los van de grond, de wind in zijn zeilen.
- In werkelijkheid zit er een onbreekbaar touw aan die vlieger, vastgehouden door een arts. Als de vlieger dreigt te crashen, trekt de arts het touw direct naar beneden.
- De Realiteit: Zelfs de meest geavanceerde AI-systemen in ziekenhuizen mogen geen enkele medische beslissing nemen zonder dat een menselijke arts erover heeft gekeken. Waarom? Omdat als de AI een fout maakt (bijvoorbeeld een verkeerde dosis medicijn), iemand de schuld moet krijgen. En in de huidige wetgeving is dat altijd de mens. Zolang de wet niet verandert, blijft de AI aan het touw.
3. De Foutieve Test: Het Sportveld vs. De Strijd
Hoe testen we deze AI's? Meestal met simpele quizzen, net als schooltoetsen.
- De Vergelijking: Stel je voor dat je een formule-1-coureur wilt testen.
- De huidige tests laten de coureur een racebaan in een computerspel rijden. Hij haalt daar perfectie en breekt alle records.
- Maar in het echte leven moet hij rijden in een modderige, onbekende weg met regen, andere auto's en onverwachte obstakels (zoals een patiënt die niet meepraat of een gebroken computer in het ziekenhuis).
- De Realiteit: De AI's scoren perfect op die "computerspel"-tests (de benchmarks). Maar zodra ze in het echte ziekenhuis komen, zakken ze door. Ze kunnen niet omgaan met de chaos, de emoties en de complexe workflows. De tests meten of de AI weet wat hij moet doen, maar niet of hij het veilig kan doen in de echte wereld.
4. Het Vertrouwensprobleem: Waarom artsen bang zijn
Artsen zijn niet stom; ze weten dat als de AI een fout maakt, zij de patiënt moeten redden en zij voor de rechter kunnen komen.
- De Vergelijking: Stel je voor dat je een vliegtuig bestuurt.
- De piloot (de arts) moet weten waarom het vliegtuig een bepaalde richting op gaat. Als de computer zegt: "Ik draai links omdat ik dat wil," en de piloot snapt niet waarom, dan durft hij niet te vliegen.
- Artsen willen geen "zwarte doos" die raadselachtige beslissingen neemt. Ze willen zien hoe de AI tot een conclusie komt. Zonder dat inzicht is er geen vertrouwen, en zonder vertrouwen is er geen autonomie.
- De Realiteit: Artsen hebben angst dat ze worden vervangen, maar ze zijn ook bang dat ze worden gebruikt als "deksel" voor een foutieve AI. Ze willen geen robot die hen vervangt, maar een robot die hen helpt, zolang ze zelf de touwtjes in handen houden.
Conclusie: De Dokter Ziet Je Nog Steeds
De boodschap van dit onderzoek is helder: We zijn nog niet klaar voor de zelfrijdende auto in de zorg.
De term "agentic AI" (een AI die zelf handelt) is momenteel meer een marketingtruc dan een beschrijving van de werkelijkheid. Zolang we niet weten wat we precies meten, zolang we niet testen in de echte, rommelige ziekenhuissituatie, en zolang de wet niet duidelijk maakt wie er verantwoordelijk is, blijven deze slimme systemen assistenten met een strakke leiband.
De toekomst is er wel, maar hij is nog niet hier. De dokter zal je voorlopig nog steeds zien, en die dokter zal de AI streng in de gaten houden.
Kort samengevat in één zin:
We bouwen nu prachtige, snelle raceauto's (de AI), maar we rijden er nog mee op een speelplein met een leraar die de rem vasthoudt, terwijl de verkopers zeggen dat we al over de oceaan kunnen vliegen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.