The false positive paradox: Examining real-world clinical predictive performance of FDA-authorized AI devices for radiology using clinical prevalence

Dit onderzoek analyseert FDA-geautoriseerde AI-radiologiedevices en toont aan dat lage ziekteprevalentie vaak leidt tot een hoge vals-positieve ratio, waardoor transparantie over foutieve detectie- en overmissiepercentages essentieel is voor klinische besluitvorming.

De kern

De "Valse Alarm"-Valstrik: Waarom slimme AI soms te veel roept

Stel je voor dat je een zeer slimme alarmklok hebt gekocht voor je huis. De verkoper zegt: "Deze klok is perfect! Hij herkent 95% van de inbrekers (sensitiviteit) en hij gaat niet af als er gewoon een kat voorbij loopt (specificiteit)."

Je koopt hem, installeert hem en bent trots. Maar na een week ben je gek van de stress. De klok gaat elke dag af, terwijl er niemand is. Je belt de politie, maar ze komen niet omdat het weer een vals alarm is. Je begint te twijfelen: "Is deze klok wel goed? Hij is toch 95% betrouwbaar?"

Het antwoord is: Ja, de klok is technisch perfect, maar hij werkt in een omgeving waar inbrekers extreem zeldzaam zijn.

Dit is precies wat dit wetenschappelijke artikel over medische AI (kunstmatige intelligentie) in de radiologie ontdekt. Het noemt dit het "Valse-Positieve Paradox".

1. De Verkeerde Verwachting (De "Inbreker"-Analogie)

In de medische wereld kijken artsen vaak naar de cijfers die de fabrikant van de AI levert: "95% sensitiviteit en 95% specificiteit." Dat klinkt geweldig, net als de alarmklok.

Maar hier zit de valstrik: Hoe vaak komt de ziekte eigenlijk voor?

• Scenario A (Veel inbrekers): Als je in een buurt woont waar elke dag wordt ingebroken, dan is een alarm dat gaat, waarschijnlijk echt een inbreker.
• Scenario B (Zeldzame inbrekers): Als je in een veilige wijk woont waar er maar één inbreker per jaar is, en je alarm gaat 100 keer per dag, dan is 99 van die 100 keer een vals alarm.

In de radiologie zijn veel ziektes (zoals een zeldzame aorta-afwijking) heel zeldzaam. Zelfs als de AI 99% van de gezonde patiënten correct herkent, zal die ene kleine procent die hij foutief als ziek bestempelt, in een grote groep gezonde mensen ontzettend veel vals alarmen veroorzaken.

2. De "Gouden Klok" in de Praktijk

De auteurs van dit onderzoek hebben gekeken naar 38 verschillende AI-systemen die door de Amerikaanse FDA (de toezichthouder) zijn goedgekeurd. Ze hebben de cijfers uit de officiële documenten genomen en ze vergeleken met de echte wereld.

Het resultaat was verbluffend:

• De AI-systemen hadden inderdaad hoge scores op papier.
• Maar in de echte praktijk, waar de ziektes zeldzaam zijn, bleek dat vaak meer dan de helft (soms zelfs 70-80%) van de waarschuwingen van de AI vals waren.

Stel je voor dat de AI 100 patiënten waarschuwt: "Let op, hier is iets mis!"
In de echte wereld blijken er vaak maar 20 echte ziektes te zijn. De andere 80 patiënten zijn gezond, maar krijgen toch een waarschuwing. Dit noemen ze de Fout Ontdekkingssnelheid (False Discovery Rate).

3. Waarom is dit gevaarlijk?

Waarom maakt dit uit? Omdat artsen en patiënten hierdoor in de problemen komen:

• De "Verdedigende" Arts: Als een AI zegt "Er is iets mis", durft een arts het vaak niet aan om te zeggen "Nee, dat is het niet". Ze hebben bang voor juridische problemen als ze iets missen. Dus ze doen extra scans, biopsies of behandelingen.
• De Kosten en Stress: Gezonde mensen krijgen onnodige tests, straling en stress. Het kost geld en tijd die beter besteed kan worden aan mensen die het echt nodig hebben.
• Vertrouwen: Als artsen merken dat de AI constant roept "Wolf!", gaan ze de AI niet meer vertrouwen en slaan ze hem misschien uit. Dat is zonde, want hij kan wel heel nuttig zijn als je weet hoe je hem moet gebruiken.

4. De Oplossing: Wees Slim met de Cijfers

De boodschap van dit artikel is niet: "AI is slecht."
De boodschap is: "Kijk niet alleen naar de top-cijfers van de verkoper, maar kijk naar de context."

De auteurs geven een advies, alsof je een rekenmachine gebruikt:

1. Vraag de fabrikant niet alleen: "Hoe goed is je AI?" (Sensitiviteit/Specificiteit).
2. Vraag ook: "In hoeveel procent van de gevallen komt de ziekte voor in jullie testgroep?"
3. Bereken het zelf: Gebruik je eigen cijfers (hoe vaak zie je deze ziekte bij jouw patiënten?) om te berekenen hoeveel vals alarm je kunt verwachten.

Als je dit doet, kun je de AI instellen op de juiste "gevoeligheid". Soms wil je liever 100 vals alarmen hebben om zeker te zijn dat je geen enkele ziekte mist (bijvoorbeeld bij een levensgevaarlijke hersenbloeding). Soms wil je juist geen vals alarmen (bijvoorbeeld bij een zeldzame kankersoort waar de behandeling zwaar is).

Conclusie

Deze AI-systemen zijn als superkrachtige metalen detectors op een vliegveld. Als er bijna niemand een mes bij zich heeft, zal de detector toch constant piepen door sleutels en munten.

Het artikel zegt: "Wees niet verbaasd als de AI piept. Het is niet dat de machine kapot is, maar dat de ziekte zeldzaam is." Als artsen en ziekenhuizen dit begrijpen en de cijfers slim berekenen, kunnen ze de AI gebruiken als een waardevol hulpmiddel in plaats van een bron van chaos.

Technische samenvatting

Titel en Context

Titel: De vals-positieve paradox: Onderzoek naar de klinische voorspellende prestaties van door de FDA geautoriseerde AI-apparaten voor radiologie met gebruik van klinische prevalentie.
Auteurs: Erin Sparnon et al. (Brown University, vRad, SEI, etc.)
Publicatie: medRxiv preprint (maart 2026).

---

1. Het Probleem: De Vals-Positieve Paradox (FPP)

Het artikel adresseert een kritiek probleem bij de implementatie van kunstmatige intelligentie (AI) in de radiologie: het verschil tussen diagnostische nauwkeurigheid (sensitiviteit en specificiteit) en voorspellende waarde in de echte wereld.

• De Misvatting: Vendors en klinici focussen vaak op hoge sensitiviteit en specificiteit als aangegeven in FDA 510(k) samenvattingen. Echter, deze metrics zijn onafhankelijk van de prevalentie van de ziekte.
• De Paradox: Bij ziekten met een lage prevalentie (wat vaak het geval is in de radiologie), kan een AI-systeem met hoge sensitiviteit en specificiteit toch leiden tot een overweldigend aantal vals-positieve resultaten. Dit fenomeen staat bekend als de vals-positieve paradox.
• Gevolgen:
  • Hoge False Discovery Rate (FDR): Het percentage van alle positieve signalen dat foutief is, kan extreem hoog zijn (bijv. >70%), wat leidt tot onnodige follow-up, biopsieën en patiëntangst.
  • Klinische en Juridische Risico's: Radiologen kunnen door de "defensieve geneeskunde" gedwongen worden om op AI-flaggingen te reageren uit angst voor aansprakelijkheid, zelfs als ze het niet eens zijn.
  • Verwarring door Enrichment: Veel FDA-samenvattingen gebruiken datasets met kunstmatig verhoogde prevalentie (enriched datasets) om de stabiliteit van de sensitiviteit te testen. Dit leidt tot een overschatting van de Positive Predictive Value (PPV) en een onderschatting van de FDR in de klinische praktijk.

2. Methodologie

De auteurs voerden een retrospectieve analyse uit van publiek beschikbare data van de FDA.

• Dataverzameling:
  • Geselecteerde AI-apparaten voor radiologie (productcodes QAS, QBS, QDQ, QFM) goedgekeurd in 2024 en 2025.
  • Totaal 38 systemen geïdentificeerd, goed voor 57 entries (pathologie-specifieke rapportages).
  • Data bron: FDA 510(k) Premarket Notification Database en public decision summaries.
• Geëxtraheerde Metrics:
  • Sensitiviteit, Specificiteit, ROC-AUC.
  • Gerapporteerde PPV en NPV (indien beschikbaar).
  • Prevalentie binnen de validatiedatasets van de vendor.
• Berekening van Klinische Prevalentie:
  • De auteurs gebruikten interne data van een grote privépraktijk en literatuurwaarden om de echte klinische prevalentie te bepalen voor specifieke pathologieën (bijv. Longembolie, Aorta-dissectie, Intracraniale bloeding).
• Statistische Analyse:
  • Toepassing van Bayes' stelling om de lokale PPV, NPV, FDR (False Discovery Rate) en FOR (False Omission Rate) te berekenen op basis van de vendor-rapporteerde sensitiviteit/specificiteit en de lokale prevalentie.
  • Vergelijking tussen de "Vendor-gerapporteerde waarden" (vaak gebaseerd op enriched data) en de "Klinisch verwachte waarden" (gebaseerd op real-world prevalentie).

3. Belangrijkste Resultaten

De analyse toont een schokkend verschil tussen de verwachte en de werkelijke prestaties in de kliniek.

• Algemene Prestaties: De gemiddelde sensitiviteit en specificiteit van de onderzochte systemen waren hoog (respectievelijk ~92,6% en ~90,8%).
• De Impact van Prevalentie op FDR:
  • Bij lage prevalentie explodeert de FDR.
  • Voorbeeld (Large Vessel Occlusion - LVO): Een systeem met 90,6% sensitiviteit en 88,8% specificiteit had een gerapporteerde PPV van 89,38% in de vendor-data (prevalentie ~51%). In de klinische praktijk (prevalentie ~4,87%) daalt de PPV naar 29,3%. Dit betekent dat 70,7% van alle AI-alarms vals-positief is.
  • Voorbeeld (Longembolie): Bij een prevalentie van ~2,5% daalt de PPV van een systeem van ~22% (vendor-data) naar 21,6% in de praktijk, met een FDR van 78,4%.
• Ontbrekende Transparantie:
  • Slechts 10% van de samenvattingen rapporteerde expliciet PPV en NPV.
  • Veel samenvattingen rapporteerden geen prevalentie van de testdataset, of gebruikten datasets met een prevalentie die niet representatief was voor de realiteit.
  • Sommige rapportages gaven alleen de prestaties van radiologen met de AI weer, niet de standalone prestaties van het AI-apparaat.
• Uitzonderingen: Bij pathologieën met een hoge prevalentie (zoals fracturen in bepaalde populaties) blijft de PPV redelijk hoog, maar voor de meeste acute pathologieën (bloedingen, aorta-problemen) is de FDR problematisch.

4. Kernbijdragen en Aanbevelingen

Het artikel biedt een raamwerk voor hoe klinici en beleidsmakers om moeten gaan met AI-data.

1. Bereken Lokaal: Klinische praktijken moeten de PPV en FDR zelf berekenen voor hun eigen populatie door de vendor-sensitiviteit/specificiteit te combineren met lokale prevalentiedata (via Bayes' stelling).
2. Aanbevelingen voor FDA en Vendors:
   • Verplichte Rapportage: Sensitiviteit en specificiteit moeten altijd worden gerapporteerd samen met de prevalentie van de testdataset.
   • Standalone Data: Rapporteer prestaties van het apparaat zelf, niet alleen in combinatie met menselijke lezers.
   • Meerdere Drempels: Rapporteer sensitiviteit en specificiteit voor verschillende drempelwaarden (niet alleen de "optimale" Youden's J), zodat praktijken kunnen kiezen op basis van hun risicobereidheid (kosten van vals-positief vs. vals-negatief).
   • Transparantie over Prevalentie: Als PPV/NPV wordt gerapporteerd, moet de gebruikte prevalentie expliciet worden vermeld en moet worden gewaarschuwd als deze kunstmatig hoog is.
   • ROC-Curve: Het tonen van de volledige ROC-curve is nuttiger dan een enkel datapunt.

5. Significantie en Conclusie

De studie benadrukt dat hoge diagnostische nauwkeurigheid (AUC/Sens/Spec) geen garantie is voor klinische bruikbaarheid bij lage prevalentie.

• Klinisch Impact: Zonder correctie voor prevalentie riskeren radiologieafdelingen een overvloed aan vals-positieve signalen, wat leidt tot resource-verspilling, patiëntschade (onnodige ingrepen) en verminderd vertrouwen in AI.
• Juridisch/Ethisch: Het artikel waarschuwt dat het negeren van de FPP kan leiden tot een "defensieve geneeskunde" waar AI-alarms automatisch worden gevolgd, ongeacht de waarschijnlijkheid van de ziekte.
• Toekomst: Voor een succesvolle implementatie van AI in de radiologie is transparantie over de False Discovery Rate en False Omission Rate in de context van de lokale prevalentie essentieel. De huidige FDA-rapportagestandaarden zijn ontoereikend om deze risico's in te schatten.

Kortom: AI-systemen moeten niet worden geselecteerd op basis van hun "nauwkeurigheid" in een gecontroleerde dataset, maar op basis van hun voorspellende waarde in de specifieke, vaak lage-prevalentie, klinische omgeving van de gebruiker.