The false positive paradox: Examining real-world clinical predictive performance of FDA-authorized AI devices for radiology using clinical prevalence

Diese Studie analysiert FDA-zugelassene KI-Radiologiegeräte und zeigt, dass aufgrund der niedrigen Krankheitsprävalenz die positive Vorhersagekraft oft gering ist, weshalb die Offenlegung von falsch-positiven Raten für eine ethisch und klinisch fundierte Entscheidungsfindung unerlässlich ist.

Das Wesentliche

Das große Missverständnis: Warum ein „perfekter" KI-Radiologe trotzdem viele Fehler macht

Stellen Sie sich vor, Sie haben einen super-scharfen Metalldetektor am Strand gekauft. Der Hersteller verspricht Ihnen: „Dieser Detektor ist zu 95 % genau! Er findet fast jeden Schatz und alarmiert sich fast nie bei falschen Objekten."

Sie sind begeistert und gehen an den Strand. Aber nach einer Stunde haben Sie 100 Mal den Alarm gehört. Sie graben 100 Löcher, und in 90 von ihnen finden Sie nur ein altes Bierdose oder einen Kieselstein. Nur in 10 Löchern finden Sie wirklich einen Schatz.

Sie sind frustriert: „Der Detektor ist doch nicht genau! Er meldet ständig Fehler!"

Hier liegt das Problem: Der Detektor ist technisch perfekt (hohe Sensitivität und Spezifität). Aber das Problem ist nicht der Detektor, sondern der Strand selbst. Schätze sind dort extrem selten. Wenn Sie auf einem riesigen Strand mit nur einem einzigen Schatz suchen, wird Ihr Detektor, selbst wenn er nur 5 % falsch alarmiert, trotzdem hunderte von Bierdosen finden, bevor er den einen echten Schatz findet.

Genau dieses Phänomen untersucht die vorliegende Studie. Sie nennt es den „False Positive Paradox" (das Paradoxon der falschen Positivmeldungen).

---

Die Geschichte im Detail: KI in der Radiologie

Die Forscher haben sich angesehen, wie künstliche Intelligenz (KI) in der Radiologie funktioniert. Diese KI-Systeme werden von der FDA (der US-Arzneimittelbehörde) zugelassen. Die Hersteller werben damit, dass ihre KI zu 90–95 % genau ist. Das klingt toll!

Aber die Studie zeigt: Genauigkeit allein sagt nichts darüber aus, wie nützlich die KI im echten Leben ist.

1. Der Unterschied zwischen „Fähigkeit" und „Ergebnis"

• Die Fähigkeit (Sensitivität/Spezifität): Das ist wie die Frage: „Wenn ein Schatz da ist, findet ihn die KI?" und „Wenn kein Schatz da ist, bleibt sie ruhig?"
• Das Ergebnis (Vorhersagewert): Das ist die Frage, die den Arzt wirklich interessiert: „Wenn die KI schreit (Alarm gibt), wie wahrscheinlich ist es wirklich, dass ein Schatz da ist?"

Die Studie zeigt: Bei seltenen Krankheiten (wie einem seltenen Gefäßriss im Gehirn oder einer Lungenembolie) ist die Wahrscheinlichkeit, dass ein Alarm falsch ist, oft riesig – selbst bei einer sehr guten KI.

2. Warum passiert das? (Die Analogie der Nadel im Heuhaufen)

Stellen Sie sich vor, Sie suchen nach einer Nadel in einem Heuhaufen.

• Die KI ist ein sehr guter Sucher. Sie findet fast jede Nadel (hohe Sensitivität).
• Aber der Heuhaufen ist riesig (viele gesunde Patienten), und die Nadeln sind winzig selten (seltene Krankheit).

Wenn die KI auch nur ein kleines bisschen unsicher ist und bei Heu (gesunden Patienten) manchmal meckert, wird sie am Ende tausende Haufen Heu als „Nadel" melden, bevor sie die eine echte Nadel findet.
Für den Radiologen bedeutet das: Er sieht 100 Alarme. 95 davon sind nur Heu (falsche Alarme). Nur 5 sind echte Nadeln. Das ist frustrierend und gefährlich, weil der Arzt dann vielleicht beginnt, die KI nicht mehr zu glauben oder aber aus Angst vor Fehlern zu viele unnötige Nachuntersuchungen anordnet.

3. Das Problem mit den „Schönheitswettbewerben"

Die Studie kritisiert auch, wie die Hersteller ihre KI testen. Oft testen sie die KI auf Daten, in denen die Krankheit überrepräsentiert ist (wie ein Heuhaufen, in dem man absichtlich 50 % Nadeln hineingeworfen hat, um den Sucher zu trainieren).
In diesem „Kunst-Heuhaufen" sieht die KI fantastisch aus. Aber im echten Leben (dem riesigen, natürlichen Heuhaufen) funktioniert das Ergebnis ganz anders. Die Hersteller geben oft die Ergebnisse aus dem „Kunst-Heuhaufen" an, was die Ärzte täuscht.

Was bedeutet das für uns?

Die Forscher sagen: Wir müssen aufhören, nur auf die „Genauigkeit" zu schauen.

Statt zu fragen: „Ist die KI zu 95 % genau?", müssen wir fragen:

• „Wie oft gibt sie Alarm, wenn gar nichts los ist?" (Falsch-Positiv-Rate)
• „Wie oft übersehen wir etwas, weil die KI ruhig blieb?" (Falsch-Negativ-Rate)

Und das Wichtigste: Die KI muss an den lokalen Heuhaufen angepasst werden.
Eine KI, die in einer großen Klinik für Unfallopfer (viele Nadeln) gut funktioniert, kann in einer kleinen Hausarztpraxis (wenige Nadeln) völlig versagen und nur Chaos stiften.

Die Lösung: Transparenz statt Marketing

Die Autoren fordern, dass Hersteller und Behörden endlich ehrliche Zahlen liefern:

1. Echte Vorhersagen: Zeigen Sie uns nicht nur die Genauigkeit, sondern wie oft die KI im echten Leben falsch alarmiert.
2. Anpassbarkeit: Lassen Sie Ärzten die Möglichkeit, die Empfindlichkeit der KI zu stellen. Wenn die Krankheit sehr selten ist, sollte die KI vielleicht „strenger" eingestellt werden, damit sie nicht bei jedem Haufen Heu bellt.
3. Ehrlichkeit: Wenn die KI viele falsche Alarme macht, weil die Krankheit selten ist, muss das klar kommuniziert werden. Es ist kein Fehler der KI, sondern eine mathematische Tatsache.

Fazit

Die KI ist kein magischer Allheilmittel, das alle Krankheiten sofort findet. Sie ist wie ein sehr sensibler Rauchmelder in einem riesigen Lagerhaus. Wenn Sie ihn auf „sehr empfindlich" stellen, wird er auch dann losgehen, wenn jemand nur Toast macht (falscher Alarm), bevor er wirklich einen Brand meldet.

Die Studie sagt uns: Vertrauen Sie nicht blind auf die „95 % Genauigkeit". Fragen Sie immer: „Wie oft bellt dieser Hund, wenn keine Gefahr da ist?" Nur so können Ärzte die KI sinnvoll nutzen, ohne dass sie von falschen Alarmen überwältigt werden.

Technische Zusammenfassung

Titel: Das False-Positive-Paradoxon: Untersuchung der realen klinischen Vorhersageleistung von FDA-zugelassenen KI-Geräten für die Radiologie unter Verwendung klinischer Prävalenz

1. Problemstellung

Der Artikel adressiert ein kritisches Missverständnis bei der Bewertung von künstlicher Intelligenz (KI) in der Radiologie. Obwohl KI-Systeme in den FDA-Zulassungsunterlagen (510(k)-Zusammenfassungen) oft hohe Werte für Sensitivität und Spezifität aufweisen, führt dies in der klinischen Praxis nicht zwangsläufig zu einer hohen positiven Vorhersagewahrscheinlichkeit (PPV).

Das Kernproblem ist das False-Positive-Paradoxon (FPP): Bei seltenen Erkrankungen (niedrige Prävalenz) übersteigt die Anzahl der falsch-positiven Ergebnisse (False Positives) oft die Anzahl der wahr-positiven Ergebnisse (True Positives), selbst wenn die Sensitivität und Spezifität des Systems sehr hoch sind.

• Folgen: Dies führt zu einer hohen False-Discovery-Rate (FDR), was klinische Ressourcen durch unnötige Nachuntersuchungen bindet, Patienten unnötigen Stress verursacht und zu einer "Defensivmedizin" führt, bei der Radiologen KI-Alarmen blind folgen, um rechtliche Haftungsrisiken zu vermeiden.
• Datenverzerrung: Viele Hersteller nutzen für ihre Zulassungsentwürfe angereicherte Datensätze (enriched datasets), die eine unrealistisch hohe Prävalenz der Zielpathologie aufweisen. Dadurch werden die in den Zulassungsdokumenten angegebenen PPV-Werte stark überschätzt und die FDR unterschätzt.

2. Methodik

Die Studie analysierte öffentlich zugängliche Daten von der FDA für KI-gestützte Radiologie-Software, die zwischen 2024 und 2025 zugelassen wurde.

• Datenerhebung: Es wurden 38 KI-Systeme identifiziert (basierend auf Produktcodes QAS, QBS, QDQ, QFM) aus der FDA-Datenbank. Die Leistungsdaten (Sensitivität, Spezifität, AUC, PPV, NPV) wurden aus den öffentlichen 510(k)-Zusammenfassungen extrahiert.
• Prävalenzdaten: Anstatt sich auf die oft verzerrten Prävalenzraten der Hersteller zu verlassen, wurden klinische Prävalenzraten aus einer großen privaten Praxis (Scan-Level-Inzidenz) und der wissenschaftlichen Literatur herangezogen. Beispiele für klinische Prävalenzen:
  • Intrakranielle Blutung: ~6,66 %
  • Lungenembolie: ~2,52 %
  • Aortendissektion: ~0,32 %
• Statistische Berechnung: Mithilfe des Bayes-Theorems wurden die klinisch erwarteten Werte für PPV, NPV, FDR (False Discovery Rate) und FOR (False Omission Rate) neu berechnet. Dabei wurden die von den Herstellern gemeldeten Sensitivitäten und Spezifitäten mit den realistischen klinischen Prävalenzraten kombiniert.
• Meta-Analyse: Es wurden generalisierte lineare gemischte Modelle (GLIMMIX) verwendet, um die durchschnittliche Sensitivität, Spezifität und AUC über alle Zusammenfassungen hinweg zu schätzen.

3. Wichtige Ergebnisse

Die Analyse von 57 Einträgen (entsprechend 38 Systemen) ergab folgende Schlüsselerkenntnisse:

• Hohe scheinbare Genauigkeit vs. reale Leistung: Die durchschnittliche Sensitivität lag bei 92,6 % und die Spezifität bei 90,8 %. Trotz dieser hohen Werte führte die niedrige klinische Prävalenz bei vielen Pathologien zu extrem hohen FDR-Werten.
• Beispiel Large Vessel Occlusion (LVO): Ein System mit 90,6 % Sensitivität und 88,8 % Spezifität hatte in der Zulassungsstudie eine PPV von ~89 %. Unter Berücksichtigung einer realistischen klinischen Prävalenz von 4,87 % sank die PPV jedoch auf 29,3 %. Das bedeutet, dass von 100 positiven KI-Meldungen etwa 71 falsch positiv waren (FDR = 70,7 %).
• Beispiel Aortendissektion: Bei einer extrem niedrigen Prävalenz von 0,32 % sank die PPV eines Systems von 88,39 % (herstellerbasiert) auf nur 3,41 % (klinisch erwartet). Die FDR lag hier bei über 96 %.
• Datenlücken: Nur 10 % der Zusammenfassungen berichteten explizit über PPV/NPV. Viele Berichte fehlten Angaben zur Prävalenz des Testdatensatzes oder nutzten ausschließlich angereicherte Daten, was eine korrekte klinische Einschätzung ohne Nachkalkulation unmöglich machte.
• Ausnahmen: Bei Pathologien mit höherer Prävalenz (z. B. Frakturen mit ~50 % in manchen Studien) blieben die PPV-Werte auch unter realistischen Bedingungen akzeptabel hoch.

4. Hauptbeiträge und Empfehlungen

Die Studie liefert einen methodischen Rahmen, um die reale Leistung von KI-Systemen besser einzuschätzen, und fordert Transparenz von Herstellern und Regulierungsbehörden:

1. Bereitstellung von Sensitivität und Spezifität: Diese sollten immer zusammen mit der Prävalenz des Testdatensatzes berichtet werden, damit Kliniken die Werte für ihre eigene Population nachberechnen können.
2. Berichterstattung über mehrere Schwellenwerte: Statt nur eines optimalen Schwellenwerts (z. B. nach Youden's J) sollten Sensitivität und Spezifität für verschiedene Schwellenwerte bereitgestellt werden. Dies ermöglicht es Kliniken, den Schwellenwert basierend auf ihren spezifischen Kosten-Nutzen-Abwägungen (Kosten eines Fehlers vs. Kosten eines Überflusses) anzupassen.
3. Kontextualisierte PPV/NPV: Wenn PPV und NPV berichtet werden, muss die verwendete Basisrate (Prävalenz) explizit angegeben und durch Literaturdaten gestützt sein. Bei Verwendung angereicherter Datensätze muss gewarnt werden, dass die PPV/NPV nicht direkt auf die klinische Praxis übertragbar sind.
4. Rolle der Kliniken: Kliniken sollten nicht blind auf die in den FDA-Dokumenten angegebenen PPV-Werte vertrauen, sondern diese basierend auf ihrer lokalen Prävalenz und den gemeldeten Sensitivität/Spezifität-Werten selbst berechnen.

5. Signifikanz

Diese Studie unterstreicht, dass die reine FDA-Zulassung und hohe Sensitivitäts/Spezifitäts-Werte keine Garantie für eine nützliche klinische KI-Anwendung sind. Das Ignorieren der Basisrate (Base Rate Neglect) führt zu einer Fehleinschätzung der Risiken durch KI.

Die Arbeit zeigt, dass ohne die Berücksichtigung der realen Prävalenz KI-Systeme in der Radiologie das Potenzial haben, das klinische Workflow durch eine Flut an falsch-positiven Alarmen zu überlasten und die Patientenversorgung zu verschlechtern. Die vorgeschlagenen Transparenzmaßnahmen sind essenziell, um die ethischen, finanziellen und klinischen Kosten von KI-Einführungen zu minimieren und eine fundierte Entscheidungsfindung bei der Auswahl von KI-Systemen zu ermöglichen.