Invisible Agents, Uninformed Patients: Towards Responsible Deployment Of Autonomous AI Diagnostic Agents In Sub-Saharan Africa

In de bruisende klinieken en afgelegen dorpen van sub-Sahara Afrika vindt een stille revolutie plaats in de manier waarop mensen toegang krijgen tot medische zorg. Jarenlang hebben artsen vertrouwd op hulpmiddelen die hen helpen beslissingen te nemen, waarbij ze fungeren als een tweede paar ogen of een referentiegids. Maar er is een nieuwe generatie technologie gearriveerd: autonome kunstmatige intelligentie-agenten. In tegenstelling tot de behulpzame assistenten uit het verleden, wachten deze systemen niet tot een arts een vraag stelt. In plaats daarvan nemen ze patiëntgegevens – zoals symptomen, röntgenfoto's of bloedtestresultaten – en produceren ze onafhankelijk een diagnose of een besluit over waar een patiënt vervolgens naartoe moet gaan. Ze werken zonder dat er een mens over hun schouder meekijkt in realtime. Deze verschuiving biedt een krachtige oplossing voor een wanhopig tekort aan specialistische artsen in de regio, en belooft de zorg uit te breiden naar miljoenen mensen die anders zonder zorg zouden blijven. Deze snelheid gaat echter gepaard met een diepgaande vraag die zelden is gesteld: als een machine alleen een levensveranderende medische beslissing neemt, weet de patiënt dan dat dit gebeurt?

Een recent artikel van onderzoekers Percy Brown en Kweku Yamoah onderzoekt precies dit gat. Zij betogen dat hoewel de technologie om ziekten zoals tuberculose en diabetische retinopathie snel vordert, de regels en beschermingen voor de mensen die deze diagnoses ontvangen, niet hebben kunnen meekomen. De onderzoekers ontdekten dat in veel delen van sub-Sahara Afrika patiënten er vaak totaal geen weet van hebben dat een autonoom computerprogramma hun gezondheidsgegevens analyseert en de uiteindelijke beslissing over hun behandeling neemt. Dit gebrek aan bewustzijn creëert een gevaarlijk vacuüm waarin niemand duidelijk verantwoordelijk is als de machine een fout maakt. Het artikel suggereert dat het bouwen van betere, nauwkeurigere machines alleen niet genoeg is; het hele systeem moet worden herontworpen om ervoor te zorgen dat patiënten geïnformeerd zijn, een menselijke tweede mening kunnen vragen en begrijpen hoe de beslissing tot stand is gekomen.

Om de omvang van het probleem te begrijpen, keken de onderzoekers naar drie specifieke voorbeelden van hoe deze systemen momenteel over het continent worden gebruikt. In Tanzania wordt computersoftware op grote schaal ingezet om te screenen op tuberculose door het analyseren van borstfoto's. In veel afgelegen gebieden zijn er geen radiologen beschikbaar om de beelden te beoordelen. De software is ontworpen om de röntgenfoto te lezen en te beslissen of een patiënt de ziekte heeft, vaak zonder dat een mens het resultaat ooit heeft beoordeeld voordat de patiënt wordt doorverwezen voor behandeling of naar huis wordt gestuurd. In Zambia worden vergelijkbare deep learning-systemen gebruikt om te screenen op diabetische retinopathie, een aandoening die tot blindheid kan leiden, en voor tuberculose. Deze systemen zijn technisch gezien bewezen effectief en evenaren in studies de prestaties van menselijke artsen. Toch, toen deze tools vanuit onderzoekslaboratoria naar echte klinieken verhuisden, werd de patiënt die ze gebruikte zelden verteld dat een computer de diagnose stelde, noch kregen zij de mogelijkheid om een menselijke beoordeling aan te vragen als zij zich zorgen maakten over de uitslag.

De situatie is nog directer in Ghana, waar mobiele gezondheids-chatbots een primaire manier worden voor mensen om medisch advies te zoeken. Deze digitale assistenten vragen patiënten naar hun symptomen via tekstberichten op hun telefoon en geven vervolgens een risicobeoordeling of een aanbeveling over wat ze nu moeten doen. Voor veel gebruikers is deze chatbot het enige contactpunt met het zorgsysteem. De onderzoekers vonden dat deze interacties functioneren als autonome diagnostische agenten, maar de interface vermeldt zelden dat een algoritme de gezondheidsbepaling maakt. Een patiënt kan een ernstige aanbeveling ontvangen of een afwijzing van hun symptomen zonder te weten dat een machine, en geen persoon, dat oordeel heeft geveld. In alle drie de gevallen functioneert de technologie zoals bedoeld door de ingenieurs, maar het menselijke element van vertrouwen en verantwoording is achtergelaten.

Het kernprobleem dat de auteurs identificeren is een "transparantietekort" dat op twee niveaus opereert. Ten eerste is de technologie zelf vaak een "black box", wat betekent dat zelfs de ontwikkelaars niet altijd precies kunnen uitleggen hoe de computer tot een specifiek oordeel kwam. Ten tweede, en nog kritischer voor de patiënt, is er een falen in de communicatie. Patiënten worden niet verteld dat er een autonome agent betrokken is, wat de agent kan en wat hun rechten zijn als zij het niet eens zijn met de uitkomst. Dit creëft een structurele kloof in de verantwoording. Als een menselijke arts een fout maakt, weet de patiënt wie hij verantwoordelijk kan houden en kan hij de beslissing aanvechten. Als een autonoom systeem een fout maakt en geen mens het heeft beoordeeld, is de keten van verantwoordelijkheid doorbroken. De patiënt blijft achter met een medische uitkomst die hij niet begreep en zonder een duidelijk pad om deze aan te vechten.

Als reactie op deze bevindingen stelt het artikel een nieuw kader voor, gebouwd op drie eenvoudige maar essentiële principes om het verantwoorde gebruik van deze technologieën te begeleiden. Het eerste principe is "agent-bewuste geïnformeerde toestemming". Dit betekent dat voordat de gegevens van een patiënt door een autonoom systeem worden geanalyseerd, er duidelijk en in begrijpelijke taal aan de patiënt moet worden verteld dat een computer de beslissing neemt, en geen mens. Deze openbaarmaking moet toegankelijk zijn voor mensen met verschillende opleidingsniveaus en in hun lokale talen, om ervoor te zorgen dat toestemming werkelijk geïnformeerd is en niet slechts een formaliteit.

Het tweede principe vereist een "menselijke override" als een structurele vereiste. Geen enkel autonoom systeem zou een definitieve medische beslissing mogen nemen die niet beoordeeld kan worden door een menselijke professional. Elk systeem moet worden ontworpen met een ingebouwde route waardoor een patiënt of een lokale zorgverlener de output van de machine kan stoppen en een menselijke beoordeling kan aanvragen voordat de behandeling begint. Dit is geen luxe voor rijke ziekenhuizen, maar een fundamentele veiligheidsfunctie die aanwezig moet zijn bij elke inzet, ongeacht hoe schaars de middelen ook zijn.

Het derde principe roept op tot "contextueel aangepaste uitlegbaarheid". Hoewel de complexe wiskunde achter de beslissing van een AI misschien onmogelijk uit te leggen is aan een patiënt, moet de reden voor de aanbeveling op een manier worden gecommuniceerd die zij kunnen begrijpen. In plaats van technisch jargon moet het systeem een eenvoudige uiteenzetting geven van wat het heeft gevonden en waarom, afgestemd op het taalniveau en de geletterdheid van de patiënt. Dit zorgt ervoor dat transparantie niet alleen een technische functie is voor ingenieurs, maar een werkelijke ervaring voor de persoon die zorg ontvangt.

De onderzoekers benadrukken dat deze principes geen afwijzing zijn van kunstmatige intelligentie, die een oprechte belofte inhoudt voor het redden van levens in regio's met weinig artsen. In plaats daarvan betogen zij dat het huidige tempo van implementatie de noodzakelijke governance heeft ingehaald. Het enthousiasme voor wat deze machines kunnen doen, mag niet ten koste gaan van de rechten van de patiënt. Door deze drie waarborgen in het ontwerp en de inzet van autonome agenten in te bedden, kunnen gezondheidszorgsystemen ervoor zorgen dat de uitbreiding van zorg de meest kwetsbare mensen niet achterlaat in een digitale mist. Het artikel concludeert dat zonder deze structurele veranderingen de belofte van AI in de Afrikaanse gezondheidszorg incompleet blijft, waarbij het wel snelheid en efficiëntie biedt, maar faalt in het bieden van de verantwoording en het vertrouwen dat de basis vormen van elke helende relatie.