Governance, Accountability and Post-Deployment Monitoring Preferences for AI Integration in West African Clinical Practice: A Mixed-Methods Study
Deze mixed-methods studie onder West-Afrikaanse clinici en technische experts onthult een sterke voorkeur voor onafhankelijk toezicht, transparante mechanismen voor verantwoording en realtime monitoring om een veilige en rechtvaardige integratie van AI in de klinische praktijk te waarborgen, terwijl het tegelijkertijd significante zorgen benadrukt met betrekking tot leverancierscontrole en de aansprakelijkheid van clinici.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van de geneeskunde voor als een enorme, drukke keuken waar chefs (artsen) proberen een hongerige stad te voeden. Jarenlang hebben ze met hun eigen handen gekookt, vertrouwend op ervaring en intuïtie. Maar nu is er een nieuw soort sous-chef gearriveerd: Kunstmatige Intelligentie, of AI. Zie AI niet als een robot met een eigen wil, maar als een supersnelle, superslimme receptenbundel die in een seconde miljoenen maaltijden kan scannen om te vertellen of een gerecht heerlijk zal smaken of dat het gaat aanbranden. In rijke landen helpen deze digitale sous-chefs de chefs al om kleine foutjes in recepten op te merken (zoals het vroegtijdig opsporen van een ziekte) die mensen misschien zouden missen. Maar in West-Afrika, waar de keuken vaak overvol is, de ingrediënten anders zijn en de chefs tot het uiterste worden gedreven, is het simpelweg neerleggen van een chique nieuwe receptenbundel op het aanrecht niet genoeg. Je hebt een systeem nodig om er zeker van te zijn dat de bundel ook echt geschikt is voor jouw keuken, dat de bundel geen slecht advies geeft wanneer het weer verandert, en dat als een maaltijd mislukt, iedereen weet wie er verantwoordelijk is. Dit is het verhaal van hoe je een veilige, eerlijke en betrouwbare keuken bouwt voor de toekomst.
Dit artikel is als een enorme buurtvergadering waar de chefs van West-Afrika, samen met de mensen die de receptenbundels hebben gemaakt (de tech-experts), bij elkaar kwamen om een zeer belangrijke vraag te stellen: "Hoe willen wij deze nieuwe keuken runnen?" De onderzoekers gokten het niet zomaar; ze vroegen 136 artsen en interviewden 72 experts om precies te ontdekken wat zij nodig hebben om zich veilig te voelen bij het gebruik van AI. Ze ontdekten dat de chefs doodsbang zijn voor één ding: beschuldigd worden van een fout die de receptenbundel heeft gemaakt. Ze zijn ook erg wantrouwig tegenover de bedrijven die de receptenbundels verkopen, uit angst dat die bedrijven te veel controle over de keuken willen krijgen. In plaats daarvan willen de artsen een strikte, onafhankelijke scheidsrechter—iemand die niet de chef, de baas van het ziekenhuis of de verkoper van de receptenbundel is—om alles in de gaten te houden. Ze willen de prestaties van de receptenbundel zien op een live scherm, zoals een scorebord bij een sportwedstrijd, zodat ze problemen direct kunnen opmerken, in plaats van te moeten wachten op een rapport aan het einde van het jaar.
De studie toonde aan dat wanneer het gaat over wie de scheidsrechter moet zijn, de artsen overweldigend kozen voor een Onafhankelijke Instantie. Ongeveer 40,4% van de artsen zei dat dit de beste optie is, met een betrouwbaarheidsscore van 4,3 op een schaal van 5. In contrast hiermee vertrouwen ze de bedrijven die de AI-tools maken om zichzelf te controleren nauwelijks; slechts 3,7% van de artsen wilde dat de "Leverancier" de leiding had, en zij gaven deze bedrijven een lage betrouwbaarheidsscore van slechts 2,4 op 5. De artsen stemden ook dat 94,1% van hen vindt dat het essentieel is om een duidelijke route te hebben voor wie verantwoordelijk is wanneer er iets misgaat. Ze zijn bezorgd dat ze zonder dit onterecht de schuld krijgen van AI-fouten, een angst die gedeeld wordt door 76,5% van de respondenten.
Wat betreft de manier waarop ze willen controleren of de AI werkt, willen de artsen niet wachten op een traag, jaarlijks rapportcijfer. Ze willen een Real-time Dashboard, wat 41,9% van hen koos als hun favoriete manier om de tools te monitoren. Dit is als het hebben van een live feed van de temperatuur in de keuken en de kwaliteit van elk gerecht terwijl het wordt bereid, in plaats van weken later de smaak van het eten te proeven. De geinterviewde experts waren het hiermee eens en zeiden dat AI als een auto is die langzaam zijn sturing kan verliezen; als je hem niet blijft controleren, kan hij van de weg afdwalen. Zij benadrukten dat de monitoring continu moet zijn, waarbij wordt gecontroleerd of de AI nog steeds accuraat, eerlijk en veilig is voor iedereen, inclusief mensen uit verschillende steden of van verschillende leeftijden.
Het artikel belicht ook wat er gebeurt als de AI een fout maakt. De experts stellen een duidelijk "stop en fix"-plan voor: als de AI vreemd begint te doen, stop je hem onmiddellijk, zoek je uit waarom (was het slechte data? een nieuwe ziekte?), verbeter het model en vertel iedereen wat er is gebeurd. De onderzoekers suggereren dat voor AI in West-Afrika een gelaagd systeem nodig is: een onafhankelijke scheidsrechter, een live scorebord voor de prestaties en duidelijke regels over wie de schuld krijgt als er iets misgaat. De studie suggereert dat zonder deze beschermingen, artsen te bang kunnen zijn om deze krachtige tools te gebruiken, waardoor de belofte van AI om patiënten te helpen verloren kan gaan. De auteurs merken voorzichtig op dat hoewel deze bevindingen sterk zijn, ze gebaseerd zijn op de voorkeuren van de mensen die zij hebben ondervraagd, en dat de resultaten er in andere delen van West-Afrika iets anders uit kunnen zien waar de artsen minder vertegenwoordigd waren in de enquête. Maar de boodschap is duidelijk: om AI een nuttige sous-chef te laten zijn, heeft het een scheidsrechter nodig die het kan vertrouwen, en moet het elke dag nauwlettend in de gaten worden gehouden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.