Unverified Vendor Claims and Preventable Harms: A Mixed-Methods Longitudinal Independent Audit of Health AI System Performance in Nigeria

Deze studie toont aan dat onafhankelijke audits in Nigeria aantonen dat leveranciersclaims over de prestaties van gezondheids-AI-systemen de werkelijke effectiviteit aanzienlijk overschatten, wat leidt tot voorkombare patiëntenschade en versterkte ongelijkheid, en pleit daarom voor verplichte onafhankelijke verificatie na implementatie.

De kern

Titel: De "Waarheidscheck" voor Medische AI in Nigeria: Waarom de Reclame niet klopt met de Realiteit

Stel je voor dat je een nieuwe, dure auto koopt. De verkoper zegt trots: "Deze auto rijdt perfect, hij is 95% veilig en kan elke weg in elke weersomstandigheid aan." Je vertrouwt op die woorden, want het is een gerenommeerd merk. Maar zodra je de auto in de modderige, hobbelige wegen van een afgelegen dorp rijdt, blijkt hij vast te lopen, de remmen werken niet goed en de navigatie raakt de weg kwijt.

Precies dit soort situatie is onderzocht in een nieuw onderzoek uit Nigeria over kunstmatige intelligentie (AI) in de gezondheidszorg.

Hier is wat de onderzoekers hebben ontdekt, vertaald in simpele taal:

1. De "Reclame" vs. De "Werkelijkheid"

De onderzoekers keken naar zes verschillende AI-systemen die in ziekenhuizen en klinieken in Nigeria worden gebruikt. Deze systemen doen dingen zoals:

• Röntgenfoto's van de longen bekijken (om tuberculose of longontsteking te vinden).
• Zwangerschappen controleren op risico's.
• Symptomen van patiënten beoordelen om te zeggen welke dokter ze nodig hebben.
• Medische vragen beantwoorden via een chatbot.

De belofte: De bedrijven die deze AI maken (de vendors) zeggen: "Onze systemen zijn 91,5% nauwkeurig!" Ze tonen mooie cijfers uit hun eigen laboratoriumtests.

De realiteit: De onderzoekers hebben zelf gekeken wat er echt gebeurt in de ziekenhuizen. Ze ontdekten dat de AI in de praktijk maar 67,3% nauwkeurig was.

De les: Er is een enorm gat van 24 punten tussen wat de verkopers zeggen en wat de AI echt doet. Het is alsof je een auto koopt die in de showroom 100 km/u haalt, maar in de modder maar 75 km/u kan rijden.

2. Waarom gaat het mis? (De "Kookpot"-analogie)

Waarom werkt de AI niet zoals beloofd? De onderzoekers geven drie goede redenen:

• De "Kookpot" is anders: De AI is getraind met data uit rijke landen of perfecte ziekenhuizen (zoals een recept dat is getest in een luxe keuken). Maar in Nigeria zijn de omstandigheden anders: slechtere internetverbindingen, andere talen, en patiënten met andere ziektepatronen. De AI is als een chef die alleen in een luxe keuken heeft gekookt en nu probeert te koken in een hut met een open vuur; het eten wordt niet goed.
• De "Blinde Vlek" voor kwetsbare mensen: De AI werkt slechter voor mensen die het hardst nodig hebben. Voor mensen in het platteland, ouderen of armen werkt de AI veel slechter dan voor mensen in de stad.
  • Voorbeeld: Een AI die longfoto's bekijkt, mist bij mensen op het platteland veel vaker tuberculose dan bij mensen in de stad. Het is alsof de bril van de AI voor de ene groep helder is, maar voor de andere groep wazig.
• Geen "Proefrit" na de verkoop: In de farmaceutische industrie (medicijnen) doen ze na het op de markt brengen nog steeds tests om te zien of het medicijn veilig blijft werken. Bij AI in arme landen gebeurt dit bijna nooit. Men vertrouwt blindelings op de eerste belofte.

3. De Tragische Gevolgen: Het gaat om mensenlevens

Dit is geen droge statistiek; dit gaat over echte mensen. Omdat de AI minder goed werkt dan gedacht, gebeuren er ernstige dingen:

• Tuberculose (TB): Door de fouten van de AI worden naar schatting 1.247 mensen per jaar niet op tijd gediagnosticeerd met tuberculose.
• Doden: Van die gemiste gevallen, sterven naar schatting 186 mensen die hadden kunnen worden gered als de AI goed had gewerkt.
• Zwangerschappen: 342 zwangere vrouwen met een hoog risico worden niet herkend als "risicovol". Als ze wel waren herkend, hadden ze extra zorg gekregen om te overleven.

Het is alsof je een veiligheidsnet hebt dat 95% van de tijd werkt, maar in de praktijk 25% van de tijd gaten heeft waar mensen doorheen vallen.

4. Wat moeten we doen? (De "Keurmerk"-oplossing)

De onderzoekers zeggen dat we een nieuwe manier nodig hebben om AI te testen, vergelijkbaar met hoe we medicijnen testen.

• Geen "Vertrouwen", maar "Verifiëren": We mogen niet zomaar zeggen "Het bedrijf zegt dat het goed is, dus het is goed."
• Onafhankelijke Keuring: Net zoals er onafhankelijke keuringsinstanties zijn voor voedsel of auto's, moeten er onafhankelijke groepen zijn die AI-systemen testen nadat ze in de ziekenhuizen zijn geplaatst.
• Budget voor controle: Als een land of donor geld geeft voor een AI-project, moet er ook geld vrijgemaakt worden (bijvoorbeeld 5-10%) om te controleren of het systeem in de praktijk ook echt werkt.

Conclusie

Deze studie is een wake-up call. Het laat zien dat we AI in ontwikkelingslanden te snel en te goedgelovig hebben ingevoerd. De technologie heeft potentie, maar zonder onafhankelijke controle kunnen de fouten leiden tot onnodig lijden en zelfs de dood.

De boodschap is simpel: Vertrouw niet op de verkooppraatjes. Test het eerst in de echte wereld. Prestaties moeten worden bewezen, niet beloofd.

Technische samenvatting

Titel: Ongeverifieerde Leveranciersclaims en Voorkombare Schade: Een Gemengde-Methode Longitudinale Onafhankelijke Audit van de Prestaties van Gezondheids-AI Systemen in Nigeria

1. Het Probleem

Er bestaat een kritieke kloof tussen de prestatieclaims die door AI-leveranciers worden gedaan voor gezondheidsystemen in Laag- en Midden-Inkomen Landen (LMIC's) en de daadwerkelijke prestaties in de echte wereld.

• Afwijking: Leveranciers baseren hun claims vaak op gecontroleerde, retrospectieve validatiestudies met gecureerde datasets en ideale omstandigheden.
• Gevolg: Deze systemen worden vaak aangeschaft en ingezet door donateurs en overheden zonder onafhankelijke verificatie. Dit leidt tot een "verificatieparadox": de regio's die het meest behoefte hebben aan strenge toezicht (LMIC's) hebben de minste middelen om dit toezicht uit te voeren.
• Risico: Het vertrouwen op leveranciersclaims kan leiden tot systematische fouten, algorithmische bias, en ernstige patiëntschade, vergelijkbaar met de problemen die in de farmaceutische industrie voor de invoering van onafhankelijke klinische trials werden geconstateerd.

2. Methodologie

Het onderzoek is een gemengde-methode longitudinale audit uitgevoerd tussen oktober 2024 en maart 2026.

• Opzet: Onafhankelijke audit van zes verschillende gezondheids-AI-systemen.
• Locatie en Steekproef: 73 gezondheidsfaciliteiten (38 stedelijk, 35 landelijk) in zes Nigeriaanse staten (Lagos, Gombe, Rivers, Enugu, Kaduna, Plateau).
• Deelnemers: 52.000 patiëntinteracties en 45 diepte-interviews met belanghebbenden (klinici, implementatoren, facility managers).
• Onderzochte Systemen:
  1. Borstfoto-interpretatie (Qure.ai qXR)
  2. Tuberculose (TB) screening (Delft CAD4TB)
  3. Symptoomtriage
  4. Risicopredicatie voor moeder en kind
  5. Patiëntgeschiedenis-intake
  6. Gezondheidschatbots
• Data-analyse:
  • Vergelijking: Leveranciersclaims (uit whitepapers, marketingmateriaal, gepubliceerde studies) werden vergeleken met onafhankelijk gemeten prestaties via systeemlogs, patiëntrecords en klinische uitkomsten.
  • Verificatie: Uitgevoerd door Devsolve Africa Ltd, een derde partij zonder financiële of operationele banden met de leveranciers.
  • Statistiek: Gebruik van mixed-effects modellen, bootstrap-resampling (n=10.000 iteraties) voor betrouwbaarheidsintervallen, en berekening van de Equity Harm Index (EHI) om ongelijkheid te kwantificeren.
  • Classificatie: Prestatiekloven werden gecategoriseerd als systematisch, context-afhankelijk of populatie-afhankelijk.

3. Belangrijkste Bijdragen

• Empirisch Bewijs: Dit is een van de grootste en meest systematische audits die onafhankelijk de prestaties van AI in LMIC's heeft gemeten, in plaats van te vertrouwen op leveranciersdata.
• Nieuwe Classificatie: Het paper introduceert een raamwerk om prestatiekloven te categoriseren in drie types, wat helpt bij het begrijpen van de onderliggende oorzaken (bijv. data-shift vs. infrastructuurproblemen).
• Kwantificering van Schade: Het vertaalt statistische prestatiekloven naar concrete klinische gevolgen (gemiste diagnoses, sterfgevallen, vertraagde zorg).
• Beleidsprijs: Het pleit voor een fundamentele verschuiving in het toezichtmodel: van "vertrouwen op leveranciers" naar "verificatie vóór en na implementatie", analoog aan fase IV-surveillance in de farmaceutische sector.

4. Resultaten

De resultaten tonen een alarmerend en statistisch significant verschil tussen claims en realiteit aan.

• Prestatiekloof:

  • Gemiddelde door leveranciers gerapporteerde nauwkeurigheid: 91,5%.
  • Gemiddelde onafhankelijk gemeten nauwkeurigheid in de realiteit: 67,3%.
  • Gemiddelde kloof: 24,2 procentpunten (95% BI: 21,5 - 26,9; p<0,001).
  • Alle zes de systemen toonden significante kloven (variërend van 17 tot 35 procentpunten).

• Klinische Gevolgen (Jaarlijkse schatting):

  • TB Screening: Ongeveer 1.247 gemiste TB-gevallen, wat leidt tot naar schatting 186 voorkombare sterfgevallen per jaar.
  • Moeder en Kind: 342 verkeerd ingeschatte hoog-risico zwangerschappen en 156 vertraagde verwijzingen.
  • Symptoomtriage: Gemiddelde vertraging van 4,7 uur in spoedeisende zorg door verkeerde intentieherkenning.

• Ongelijkheid (Equity):

  • Prestatiekloven waren 28-38% groter voor kwetsbare groepen.
  • Landelijke patiënten hadden een 38% hogere Equity Harm Index (EHI) dan stedelijke patiënten.
  • Oudere patiënten (>65 jaar) en patiënten met comorbiditeiten ondervonden eveneens significant grotere fouten.

• Typologie van Kloven:

  • Systematisch: Bijv. TB-screening (kloof door verschil tussen trainingsdata en werkelijke prevalentie).
  • Context-afhankelijk: Bijv. Moederzorg (grotere kloof in landelijke gebieden door slechtere infrastructuur en datakwaliteit).
  • Populatie-afhankelijk: Systemen presteerden slechter bij specifieke demografische groepen door ondervertegenwoordiging in trainingsdata.

5. Betekenis en Conclusie

Dit onderzoek onthult een "twee-klassen" systeem voor AI-veiligheid: rijke landen genieten van strenge regulering, terwijl LMIC's vaak ongeteste technologieën ontvangen die leiden tot voorkombare schade.

• Kritische Conclusie: De huidige praktijk van het accepteren van leveranciersclaims zonder onafhankelijke verificatie is onaanvaardbaar en onethisch.
• Aanbevelingen:
  • Verplichte Verificatie: Donoren, overheden en regelgevers moeten onafhankelijke, derde-partij audits verplicht stellen vóór en na implementatie (vergelijkbaar met farmacologische fase IV).
  • Budgettering: Minimaal 5-10% van het budget voor AI-projecten moet worden gereserveerd voor onafhankelijke verificatie.
  • Regelgeving: Er is behoefte aan nieuwe kaders voor LMIC's die focussen op real-world performance, contextuele validatie en eerlijkheid (equity) in plaats van alleen op theoretische nauwkeurigheid.

Het paper concludeert dat "prestaties bewezen moeten worden, niet beloofd", en dat zonder strenge verificatie AI in de gezondheidszorg meer schade dan nut kan berokkenen aan de meest kwetsbare populaties.