The AI-CDSS Evidence Gap: A Critical Analysis of Outcome Measurement, Human-AI Interaction, and Implementation Validation

Ziekenhuizen beginnen een nieuw soort digitale assistent te gebruiken om artsen te helpen bij het nemen van beslissingen. Deze hulpmiddelen, gebouwd op kunstmatige intelligentie, scannen medische beelden of beoordelen patiëntendossiers om ziekten zoals pneumonie of sepsis sneller te ontdekken dan een mens dat zou kunnen. De belofte is immens: minder gemiste diagnoses, minder werk voor overbelaste personeelsleden en betere zorg voor iedereen. Maar er is een groeiende bezorgdheid dat we overhaast deze hulpmiddelen in de praktijk brengen voordat we echt weten of ze helpen of schaden. De kernvraag is niet of de computer een patroon in een afbeelding kan vinden, maar of dat patroon daadwerkelijk leidt tot een gezondere patiënt. Om dit te beantwoorden, moeten we verder kijken dan de scorekaart van de computer en zien hoe echte artsen met de machine omgaan, en hoe het systeem zich gedraagt wanneer het niet langer in een gecontroleerd laboratorium verkeert, maar in een drukke, chaotische kliniek.

Een team van onderzoekers zette zich uit om precies dit verband te onderzoeken. Ze voerden een kritische beoordeling uit van het bewijs rondom deze kunstmatige intelligentie-hulpmiddelen, waarbij ze duizenden studies onderzochten om te zien wat we werkelijk weten over hun veiligheid en effectiviteit. Hun werk onthult een verontrustende kloof in ons begrip. Het veld is momenteel geobsedeerd door het meten van hoe nauwkeurig de computer een ziekte in een testsetting kan identificeren. Echter, de onderzoekers stelden vast dat deze focus op technische nauwkeurigheid ons heel weinig vertelt over de vraag of het hulpmiddel daadwerkelijk het overleven van de patiënt verbetert, het ziekenhuisverblijf verkort of lijden voorkomt. Sterker nog, door alleen op de score van de computer te focussen, missen we mogelijk het gevaarlijkste deel van het verhaal: hoe het hulpmiddel de manier waarop artsen denken en handelen verandert.

De onderzoekers identificeerden drie specifieke stadia waarin het bewijs tekortschiet, wat een keten van onzekerheid creëert die het moeilijk maakt om deze systemen te vertrouwen. De eerste mislukking vindt plaats aan het begin, in hoe we succes meten. De meeste studies rapporteren alleen over diagnostische nauwkeurigheid, zoals hoe vaak de AI correct een tumor ontdekt. Dit is als het beoordelen van een nieuwe auto uitsluitend op hoe snel hij in een rechte lijn kan rijden op een testbaan, zonder ooit te controleren of hij veilig stopt of goed stuurt in de regen. De review vond dat zelfs het sterkste bewijs, dat meer dan twaalf duizend patiënten in gerandomiseerde trials omvatte, slechts een minimale verbetering in de diagnostische nauwkeurigheid liet zien. Belangrijker nog, geen van deze grote studies mat de uitkomsten die er werkelijk toe doen voor patiënten, zoals sterftecijfers of de duur van een ziekenhuisopname. We weten dat de computer de ziekte kan vinden, maar we weten niet of het vroegtijdig vinden ervan daadwerkelijk levens redt.

De tweede mislukking treedt op wanneer de computer de mens ontmoet. De onderzoekers ontdekten dat de manier waarop artsen met deze hulpmiddelen omgaan vaak onvoorspelbaar en soms schadelijk is. Wanneer een computer een diagnose suggereert, behandelen artsen dit niet altijd als een neutrale hoeveelheid gegevens. Soms vertrouwen ze de machine te veel, zelfs wanneer deze fout is, een neiging die bekend staat als automatisering-bias (automation bias). In een opvallend voorbeeld uit de literatuur, waarbij een AI onjuist advies gaf tijdens mammografie-screenings, daalde de diagnostische nauwkeurigheid van ervaren radiologen drastisch. De aanwezigheid van het onjuiste AI-voorstel maakte de artsen slechter in hun werk dan wanneer zij alleen hadden gewerkt. Omgekeerd, wanneer computers te veel valse alarmen genereren, raken artsen uitgeput en beginnen ze de meldingen volledig te negeren, een fenomeen dat alertheid-moeheid (alert fatigue) wordt genoemd. Als een systeem te vaak de wolf roept, gaat de echte wolf onopgemerkt voorbij. Het huidige bewijs negeert deze menselijke gedragingen grotendeels, waarbij de arts wordt behandeld als een passieve ontvanger van informatie in plaats van een actieve partner wiens oordeelsvermogen kan worden aangetast of misleid.

De derde mislukking ligt in de manier waarop deze systemen in de echte wereld worden uitgerold en gemonitord. Er zijn veel richtlijnen en kaders ontworft om ziekenhuizen te helpen deze hulpmiddelen veilig te implementeren, maar de onderzoekers vonden dat deze plannen zelden worden getest of nageleefd in de praktijk. Dit geldt met name voor lage- en middeninkomenslanden, waar het bewijs bijna niet bestaat. De kaders die de implementatie moeten begeleiden, werden vaak ontwikkeld in welvarende landen met geavanceerde technologie en een stabiele infrastructuur. Wanneer ze worden toegepast in omgevingen met beperkte middelen, werken ze mogelijk helemaal niet. Een systeem dat bijvoorbeeld getraind is op data uit een deel van de wereld, kan volledig falen wanneer het wordt gebruikt op een andere populatie met andere ziektepatronen of leefomstandigheden. Zonder de juiste monitoring kan een systeem dat op papier goed lijkt, in de loop van de tijd afwijken en minder nauwkeurig worden naarmaling van veranderende patiëntenpopulaties, terwijl niemand het merkt omdat niemand naar de juiste zaken kijkt.

De onderzoekers stellen dat deze drie mislukkingen niet simpelweg naast elkaar bestaan; ze voeden elkaar om een groter risico te creëren. Omdat we alleen nauwkeurigheid meten, missen we de menselijke fouten die nauwkeurigheid niet kan voorspellen. Omdat we menselijk gedrag niet meten, kunnen we geen implementatieplannen maken die daadwerkelijk werken. Het resultaat is een situatie waarin ziekenhuizen krachtige hulpmiddelen inzetten op basis van onvolledige informatie. De review belicht een specifiek scenario waarbij een systeem goed presteert in een welvarend land, maar wordt ingezet in een districtenziekenhuis in West-Afrika. Daar genereert het systeem te veel valse alarmen vanwege verschillende patiëntkenmerken. Het personeel, overbelast, stopt met het bekijken van de meldingen. Het nauwkeurigheidsscore van het systeem blijft op papier hoog, maar in werkelijkheid veroorzaakt het schade door artsen te trainen de waarschuwingen die ze juist nodig hebben te negeren.

Deze analyse betekent niet dat kunstmatige intelligentie geen plaats heeft in de geneeskunde. De onderzoekers wijzen op succesvolle voorbeelden, zoals hulpmiddelen voor het screenen op diabetische retinopathie of het prioriteren van urgente scans, waarbij de technologie duidelijk heeft geholpen. Echter, deze successen zijn de uitzondering, niet de regel, en ze leunen vaak op zeer specifieke, nauwe taken. De bredere conclusie is dat de huidige standaarden voor het bewijzen dat een hulpmiddel veilig en effectief is, onvoldoende zijn. We moeten stoppen met alleen vragen of de computer slim is en beginnen met vragen of het hele systeem, de computer en de arts samen, de patiënten beter maakt.

Om dit op te lossen, stellen de auteurs een nieuwe minimale standaard voor bewijsvoering voor. Voordat een hulpmiddel breed wordt ingezet, moet het niet alleen worden getest op zijn vermogen om een ziekte te vinden, maar ook op zijn vermogen om patiëntuitkomsten zoals overleving of kwaliteit van leven te verbeteren. Het moet ook worden bestudeerd om te zien hoe artsen het daadwerkelijk gebruiken, waarbij wordt gemeten of ze het te veel vertrouwen of het te vaak negeren. Ten slotte moeten de hulpmiddelen continu worden gemonitord na hun inzet om te garanderen dat ze niet aan effectiviteit verliezen in de loop van de tijd. Deze aanpak vereist meer werk en meer tijd, maar het is de enige manier om ervoor te zorgen dat de haast om kunstmatige intelligentie te adopteren de patiënten niet achterlaat. De technologie is klaar, maar het bewijs om het te ondersteunen is dat niet. Totdat we deze kloof overbruggen, blijft de inzet van deze systemen een massaal, ongecontroleerd experiment op de mensen die ze juist bedoelen te helpen.