Premarket transparency and postmarket observability in FDA-authorized AI-enabled medical devices: a source-linked cross-sectional study
Diese Querschnittsstudie über FDA-autorisierte KI-gestützte Medizinprodukte zeigt, dass sich die Vollständigkeit der Berichterstattung vor dem Inverkehrbringen in den letzten Jahren zwar signifikant verbessert hat, prospektive Evidenz jedoch weiterhin selten dokumentiert wird und die Beobachtbarkeit nach dem Inverkehrbringen ungleichmäßig ist, was die Notwendigkeit von Transparenzmaßnahmen unterstreicht, um die Überwachung von Evidenz zu unterstützen, statt Gerätebewertungen oder unbegründete Sicherheitsfolgerungen zu ziehen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Medizintechnik als eine riesige, geschäftige Bibliothek vor, in der jede neue Erfindung eine spezielle ID-Karte erhält. Jahrelang wurden die spannendsten neuen Bücher in dieser Bibliothek von „smarten“ Computern geschrieben – künstlicher Intelligenz (KI), die Ärzten helfen kann, Krankheiten zu erkennen, Röntgenbilder zu lesen oder Herzschläge zu überwachen. Aber hier ist der knifflige Teil: Nur weil ein Buch einen glänzenden neuen Einband hat, wissen wir nicht unbedingt, was genau darin steht oder ob die Geschichte standhält, wenn das Licht ausgeht und die reale Welt chaotisch wird.
Um zu verstehen, ob diese KI-Ärzte bereit für den Job sind, müssen wir zwei verschiedene Dinge betrachten. Erstens gibt es die „Premarket“-Prüfung (Vor-Markteinführungs-Prüfung). Das ist so, als würde der Autor seine Hausaufgaben einem strengen Bibliothekar (der FDA) zeigen, bevor das Buch in die Regale gestellt wird. Wir wollen wissen: Haben sie es an verschiedenen Arten von Menschen getestet? Haben sie es in vielen verschiedenen Krankenhäusern ausprobiert? Haben sie die Mathematik hinter ihren Antworten dargelegt? Zweitens gibt es die „Postmarket“-Prüfung (Nach-Markteinführungs-Prüfung). Das ist das, was passiert, nachdem das Buch verkauft wurde. Es ist wie das Beobachten eines „Leserfeedback“-Kastens in einer Bibliothek. Wenn ein Buch einen Tippfehler oder ein verwirrendes Kapitel hat, schreiben die Leute Briefe, um sich zu beschweren? Wenn die Bibliothek nicht genug Feedbackformulare hat oder wenn die Formulare fehlen, können wir nicht wirklich sagen, ob das Buch für alle sicher ist. Die große Frage ist: Werden die neuen KI-Medizingeräte besser darin, uns ihre Hausaufgaben zu zeigen, und können wir ihr Feedback tatsächlich sehen, sobald sie im Einsatz sind?
Die Hausaufgaben-Prüfung: Zeigen die Autoren ihre Arbeit?
In dieser Studie entschied sich eine Forscherin namens Olga Lavinda dazu, die Rolle einer sehr gründlichen Bibliothekarin zu spielen. Sie ging die öffentliche Liste der KI-Medizingeräte der FDA durch und untersuchte 1.491 verschiedene Entscheidungen zwischen 2011 und März 2026. Sie prüfte nicht, ob die Geräte perfekt waren; sie prüfte lediglich, ob die öffentlichen Zusammenfassungen (die dem Bibliothekar übergebenen „Hausaufgaben“) tatsächlich die wichtigen Dinge aussagten.
Sie erstellte einen „Zeugnisbogen“ mit sieben Schlüsselpunkten, die sie sehen wollte:
- Wurde die Verwendung von echten Patientendaten erwähnt?
- Wurde mindestens ein klarer Wert angegeben, der zeigt, wie gut die KI funktioniert hat?
- Wurde beschrieben, wer die Patienten waren (wie Alter oder Geschlecht)?
- Wurde die KI in mehr als einem Krankenhaus getestet?
- Wurde sie mit Daten getestet, die die KI noch nie zuvor gesehen hatte?
- Wurden verschiedene Arten von Scannern oder Maschinen verwendet?
- Wurde gezeigt, wie die KI bei spezifischen Gruppen von Menschen abschnitt?
Die Ergebnisse waren eine Mischung aus guten Nachrichten und „noch in Arbeit“-Nachrichten. In der Anfangszeit (2011–2020) hatten nur etwa 16,5 % dieser Geräte Zusammenfassungen, die fünf oder mehr dieser sieben Kästchen abhaken konnten. Aber bis zum Zeitraum 2024–2026 sprang diese Zahl auf 59,5 %. Es ist, als hätten die Autoren plötzlich angefangen, viel detailliertere Einleitungen zu ihren Geschichten zu schreiben. Sie sagten viel häufiger: „Wir haben dies in drei Krankenhäusern getestet“ oder „Wir haben sichergestellt, dass es bei Menschen unterschiedlichen Alters funktioniert“.
Es gab jedoch eine Sache, die sich nicht wesentlich verbesserte: die „Prospektive oder Reader-Studie“. Dies ist eine schicke Art zu sagen: „Haben wir dies an echten Patienten getestet, während sie reinkamen, oder hat eine Gruppe von Ärzten die Antworten der KI betrachtet, um zu sehen, ob sie zustimmten?“ Dies blieb selten und pendelte über alle Jahre hinweg bei etwa 16–18 %. Es ist, als ob die Autoren uns immer noch hauptsächlich ihre Übungstests zeigen anstatt der Abschlussprüfung, die in Echtzeit abgelegt wird.
Der Feedback-Kasten: Können wir sehen, was als Nächstes passiert?
Sob� nachdem diese Geräte in der freien Wildbahn waren, untersuchte die Forscherin die „Postmarket“-Seite. Sie versuchte, jedes Gerät mit seiner öffentlichen Feedback-Historie zu verknüpfen, insbesondere durch den Blick auf die MAUDE-Datenbank (ein System, in dem Ärzte und Krankenhäuser Probleme melden).
Hier wird die Geschichte etwas komplizierter. Von den 1.477 Geräten, die sie mit einem Feedback-Datensatz verknüpfen konnte, hatten nur etwa 54 % genug Historie, um überhaupt einen Trend berechnen zu können. Stellen Sie sich das wie den Versuch vor, ein neues Restaurant zu beurteilen. Wenn das Restaurant erst letzte Woche eröffnet hat, können Sie noch nicht wirklich sagen, ob das Essen gut oder schlecht ist, weil noch nicht genug Leute dort gegessen haben, um Bewertungen zu hinterlassen. Die Studie ergab, dass für die neuesten Geräte (2024–2026) nur etwa 45 % über genügend öffentliche Feedback-Historie verfügten, um analysiert zu werden. Für die älteren Geräte (2011–2020) lag diese Zahl höher, bei 71,7 %.
Die Forscherin untersuchte auch „Rückrufe“ (wenn ein Gerät vom Regal genommen wird). Sie fand heraus, dass etwa 47,7 % der Geräte in den letzten zwei Jahren einen Rückrufhinweis in ihrer Produktkategorie hatten. Sie war jedoch sehr vorsichtig bei der Aussage, dass dies nicht bedeutet, dass dieses spezifische Gerät zurückgerufen wurde. Es ist wie eine „Warnung: Prüfen Sie Ihre Reifen“-Meldung für eine ganze Automarke; es bedeutet nicht, dass Ihr spezielles Auto einen platten Reifen hat, sondern nur, dass die Kategorie einige Probleme hat.
Das große Ganze
Was bedeutet das also alles? Die Studie legt nahe, dass die öffentliche „Hausaufgabe“ für KI-Medizingeräte viel vollständiger wird. Die Hersteller machen einen besseren Job dabei, uns zu sagen, wo sie ihre Werkzeuge getestet haben und an wem sie sie getestet haben. Dennoch ist die „Abschlussprüfung“, bei der sie an echten Patienten getestet werden, während diese gerade auftreten, immer noch selten.
Darüber hinaus ist der „Feedback-Kasten“ für die neuesten Geräte oft leer, einfach weil sie noch nicht lange genug draußen sind, um eine Menge von Rezensenten zu sammeln. Die Forscherin betont, dass eine detaillierte Zusammenfassung nicht bedeutet, dass das Gerät perfekt ist, und dass es nicht bedeutet, dass es kein Problem gibt, nur weil wir noch kein Problem im öffentlichen Feedback-Kasten sehen – es könnte einfach noch zu früh sein, um es zu sagen.
Kurz gesagt: Die Bibliothek wird besser darin, die Bücher zu organisieren und klarere Zusammenfassungen zu schreiben, aber wir müssen immer noch ein wenig länger warten, um zu sehen, ob die Geschichten standhalten, wenn alle im echten Leben anfangen, sie zu lesen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.