Failing FDA drug inspections are recorded later and less often than passing ones, biasing models trained and monitored on them
Diese Arbeit zeigt auf, dass die Klassifizierungen von FDA-Arzneimittelinspektionen unter einem schweren Reporting-Bias leiden, wobei fehlgeschlagene Inspektionen im Vergleich zu bestandenen weniger häufig und mit erheblichen Verzögerungen erfasst werden, was zu einer substanziellen Leistungsverschlechterung bei Modellen des maschinellen Lernens und Überwachungsmetriken führt, die nur teilweise durch spezifische statistische Anpassungen gemildert oder durch die Veröffentlichung des Veröffentlichungsdatums behoben werden kann.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jedes Jahr entsendet die US-Arzneimittelbehörde FDA Teams von Inspektoren zu pharmazeutischen Fabriken, um sicherzustellen, dass diese Medikamente sicher herstellen. Diese Inspektionen sind ein entscheidender Teil der öffentlichen Gesundheit, und die Behörde veröffentlicht die Ergebnisse. Wenn ein Inspektor keine Probleme findet, erhält die Einrichtung eine positive Bewertung. Wenn schwerwiegende Mängel festgestellt werden, erhält die Einrichtung eine negative Bewertung, was zu Geldstrafen, der Beschlagnahmung von Produkten oder anderen rechtlichen Schritten führen kann. Für jeden, der verstehen möchte, wie gut diese Fabriken abschneiden, sind diese öffentlichen Aufzeichnungen eine Goldgrube an Informationen. Sie sind datiert, sie decken Hunderttausende von Einrichtungen ab und sie stehen jedem kostenlos zur Verfügung. Dies macht sie perfekt für das Training von Computerprogrammen, bekannt als Machine-Learning-Modelle, um vorherzusagen, welche Fabriken in Zukunft gefährdet sein könnten. Die Hoffnung ist, dass diese Programme durch das Studium vergangener Aufzeichnungen Probleme erkennen können, bevor sie entstehen, und den Regulierungsbehörden so helfen, ihre begrenzten Ressourcen dort einzusetzen, wo sie am dringendsten benötigt werden.
Es gibt jedoch einen verborgenen Fehler in der Art und Weise, wie diese Aufzeichnungen geführt werden, der bis jetzt unbemerkt geblieben ist. Der Fehler liegt nicht in der Inspektion selbst, sondern darin, wie das Endergebnis dokumentiert und öffentlich gemacht wird. Wenn eine Fabrik eine Inspektion besteht, zeichnet die Behörde das Ergebnis schnell und zuverlässig auf. Aber wenn eine Fabrik durchfällt, ist der Prozess viel langsamer, und oft wird das Ergebnis überhaupt nicht in der öffentlichen Datenbank erfasst. Dies erzeugt ein verzerrtes Bild der Realität für jeden, der die Daten nutzt. Ein Computerprogramm, das diese Aufzeichnungen betrachtet, sieht eine Welt, in der fast alles in Ordnung ist, weil die schlechten Nachrichten entweder fehlen oder so spät eintreffen, dass das Programm bereits weitergezogen ist. Dies ist kein kleiner Fehler; es ist ein grundlegender Bias, der verändert, was die Daten tatsächlich aussagen.
Ein Forscher namens Phani Kumar Balagam untersuchte dieses Problem, indem er über zehntausend Arzneimittelinspektionen untersuchte, die zwischen 2018 und 2023 stattfanden. Die Studie konzentrierte sich auf eine spezifische Gruppe von Inspektionen, bei denen genügend Zeit vergangen war, um vollständig bearbeitet zu werden. Die Ergebnisse waren drastisch. Bei Inspektionen, die mit einer positiven Bewertung endeten, war bei etwa vierundsiebzig Prozent eine endgültliche Entscheidung in der Datenbank erfasst. Bei Inspektionen, die mit einer negativen Bewertung endeten, war nur bei etwa sechsundzwanzig Prozent ein Datensatz vorhanden. Das bedeutet, dass eine bestandene Inspektion fast dreimal wahrscheinlicher in der öffentlichen Aufzeichnung erscheint als eine nicht bestandene. Darüber hinaus dauert es lange, bis eine negative Inspektion überhaupt erfasst wird. Im Durchschnitt wird eine bestandene Inspektion in etwa sechsundachtzig Tagen protokolliert, während eine nicht bestandene über dreihundert Tage dauert. In vielen Fällen erscheint das negative Ergebnis überhaupt nicht.
Diese Verzögerung und Abwesenheit schaffen ein ernstes Problem für die Computermodelle, die auf diesen Daten basieren. Diese Modelle sind oft darauf trainiert, die Historie einer Fabrik zu betrachten, um deren Zukunft vorherzusagen. Wenn eine Fabrik vor fünf Jahren eine Inspektion nicht bestanden hat, sollte ein Modell dies idealerweise wissen. Aber weil der Datensatz dieser Fehlleistung möglicherweise noch nicht existiert oder gar nicht existiert, kann das Modell dies nicht sehen. Der Forscher baute ein Vorhersagemodell neu auf, um zu testen, was passiert, wenn der Computer gezwungen wird, zu warten, bis der Datensatz tatsächlich erscheint, bevor er ihn verwendet. Das Ergebnis war ein signifikanter Rückgang der Fähigkeit des Modells, zwischen guten und schlechten Fabriken zu unterscheiden. Die Genauigkeit des Modells sank um einen messbaren Betrag, was bewies, dass die bisherigen hohen Werte teilweise eine Illusion waren, die durch Daten erzeugt wurden, die das Modell zum damaligen Zeitpunkt eigentlich noch gar nicht hätte sehen können. Das Modell hatte Informationen verwendet, die in der realen Welt noch gar nicht verfügbar waren.
Das Problem verschärft sich noch, wenn man versucht, diese Modelle nach ihrem Einsatz zu überwachen. Regulierungsbehörden prüfen oft, ob ein Modell noch korrekt arbeitet, indem sie die Vorhersage des Modells mit dem tatsächlichen Geschehen vergleichen. Sie betrachten das Verhältnis der vom Modell vorhergesagten Ausfälle gegenüber den tatsächlich eingetretenen Ausfällen. Da die öffentlichen Aufzeichnungen so viele Ausfälle vermissen lassen, liefert dieser Check ein völlig falsches Ergebnis. Der Forscher fand heraus, dass der Standardcheck nur etwa sechs Prozent der tatsächlichen Ausfälle sieht, die das Modell eigentlich hätte erfassen müssen. Es ist, als versuche man, die Tiefe eines Flusses zu messen, indem man nur die Kräuselwellen an der Oberfläche betrachtet, während man die tiefen Strömungen darunter ignoriert.
Die Studie testete auch die üblichen mathematischen Tricks, die Statistiker anwenden, um fehlende Daten zu korrigieren. Eine gängige Methode versucht zu schätzen, wie viele Ausfälle aufgrund der verfügbaren Informationen fehlen. Der Forscher stellte fest, dass diese Methode in diesem Fall völlig versagt. Die fehlenden Ausfälle sind nicht nur verzögert; sie sind oft für immer verloren. Da die Daten nicht mitteilen, warum ein Datensatz fehlt, kann der Computer die Wahrheit nicht erraten. Eine andere Methode, die darin besteht, länger zu warten, um zu sehen, ob die Daten eintreffen, hilft ein wenig, aber nicht genug. Selbst nach zwei Jahren Jahren sieht der Check immer noch die überwältigende Mehrheit der Ausfälle nicht. Die Studie kommt zu dem Schluss, dass es keine Möglichkeit gibt, dieses Überwachungsproblem mit den aktuellen öffentlichen Daten zu lösen. Die fehlenden Informationen sind einfach nicht zu finden.
Der Forscher schlägt vor, dass die Lösung überraschend einfach ist. Die FDA verfügt bereits über die notwendigen Informationen; sie muss lediglich ein zusätzliches Stück an Daten veröffentlichen: das exakte Datum, an dem eine Klassifizierungsentscheidung für die Öffentlichkeit sichtbar wurde. Wenn die Behörde ein einfaches Feld hinzufügen würde, das angibt, wann ein Datensatz veröffentlicht wurde, würde dies Computern ermöglichen, genau zu wissen, was sie zu einem gegebenen Zeitpunkt sehen konnten und was nicht. Dies würde verhindern, dass die Modelle zukünftige Informationen nutzen, um Vergangenheitsvorhersagen zu treffen, und es würde den Überwachern ermöglichen, genau zu verstehen, wie viel des Gesamtbildes ihnen fehlt. Oh lungs diese Änderung werden die öffentlichen Aufzeichnungen weiterhin eine Welt zeigen, in der pharmazeutische Fabriken sicherer sind, als sie tatsächlich sind, und die Werkzeuge, die dazu bestimmt sind, uns zu schützen, werden blind gegenüber genau jenen Gefahren bleiben, die sie eigentlich finden sollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.