Failing FDA drug inspections are recorded later and less often than passing ones, biasing models trained and monitored on them
Este artículo demuestra que las clasificaciones de inspección de fármacos de la FDA sufren un grave sesgo de notificación, donde las inspecciones fallidas se registran con menos frecuencia y con retrasos significativos en comparación con las aprobadas, lo que provoca una degradación sustancial del rendimiento en los modelos de aprendizaje automático y en las métricas de monitoreo que solo puede mitigarse parcialmente mediante ajustes estadísticos específicos o resolverse publicando la fecha de publicación.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cada año, la Administración de Alimentos y Medicamentos de los Estados Unidos envía equipos de inspectores a las fábricas farmacéuticas para garantizar que estén fabricando medicamentos de forma segura. Estas inspecciones son una parte crítica de la salud pública y la agencia publica los resultados. Cuando un inspector no encuentra problemas, la instalación recibe una calificación de aprobado. Cuando se encuentran problemas graves, la instalación recibe una calificación de reprobado, lo que puede derivar en multas, incautación de productos u otras acciones legales. Para cualquiera que intente comprender qué tan bien lo están haciendo estas fábricas, estos registros públicos son un tesoro de información. Están fechados, cubren cientos de miles de instalaciones y son gratuitos para cualquier persona. Esto los hace perfectos para entrenar programas informáticos, conocidos como modelos de aprendizaje automático, para predecir qué fábricas podrían estar en riesgo en el futuro. La esperanza es que, al estudiar los registros pasados, estos programas puedan detectar problemas antes de que ocurran, ayudando a los reguladores a concentrar sus limitados recursos donde más se necesitan.
Sin embargo, existe un fallo oculto en cómo se mantienen estos registros que había pasado desapercibido hasta ahora. El fallo no está en la inspección en sí, sino en cómo se registra y se hace público el resultado final. Cuando una fábrica aprueba una inspección, la agencia registra el resultado de forma rápida y fiable. Pero cuando una fábrica reprueba, el proceso es mucho más lento y, a menudo, el resultado nunca se registra en la base de datos pública. Esto crea una visión distorsionada de la realidad para cualquiera que utilice los datos. Un programa informático que observa estos registros ve un mundo donde casi todo está bien, porque las malas noticias o bien faltan o llegan tan tarde que el programa ya ha seguido adelante. Esto no es un error pequeño; es un sesgo fundamental que cambia lo que los datos realmente dicen.
Un investigador llamado Phani Kumar Balagam investigó este problema analizando más de diez mil inspecciones de medicamentos que tuvieron lugar entre 2018 y 2023. El estudio se centró en un grupo específico de inspecciones a las que se les había dado tiempo suficiente para ser procesadas por completo. Los hallazgos fueron contundentes. Para las inspecciones que terminaron con una calificación de aprobado, aproximadamente el setenta y cuatro por ciento tenía una decisión final registrada en la base de datos. Para las inspecciones que terminaron con una calificación de reprobado, solo cerca del veintiséis por ciento tenía un registro. Esto significa que una inspección aprobada tiene casi tres veces más probabilidades de aparecer en el registro público que una reprobada. Además, cuando una inspección reprobada sí llega a registrarse, toma mucho tiempo. En promedio, una inspección aprobada se registra en unos ochenta y seis días, mientras que una reprobada tarda más de trescientos días. En muchos casos, el resultado de la reprobación nunca aparece en absoluto.
Este retraso y ausencia crean un problema serio para los modelos informáticos que dependen de estos datos. Estos modelos suelen estar entrenados para observar el historial de una fábrica para predecir su futuro. Si una fábrica reprobó una inspección hace cinco años, un modelo debería idealmente saberlo. Pero debido a que el registro de ese fallo podría no existir aún, o podría no existir en absoluto, el modelo no puede verlo. El investigador reconstruyó un modelo de predicción para probar qué sucede cuando se obliga al ordenador a esperar a que el registro aparezca realmente antes de utilizarlo. El resultado fue una caída significativa en la capacidad del modelo para distinguir entre fábricas buenas y malas. La precisión del modelo cayó en una cantidad mensurable, demostrando que las puntuaciones altas anteriores eran en parte una ilusión creada por datos que el modelo no podría haber visto realmente en ese momento. El modelo había estado utilizando información que aún no estaba disponible en el mundo real.
El problema es aún peor cuando se intenta monitorear estos modelos después de que se ponen en funcionamiento. Los reguladores suelen comprobar si un modelo sigue funcionando correctamente comparando lo que el modelo predice frente a lo que realmente sucede. Observan la proporción de fallos que el modelo predijo frente a los fallos que realmente ocurrieron. Debido a que los registros públicos carecen de tantos fallos, esta comprobación ofrece una respuesta errónea de forma estrepitosa. El investigador encontró que la comprobación estándar solo ve alrededor del seis por ciento de los fallos reales que el modelo debería haber detectado. Es como intentar medir la profundidad de un río mirando solo las ondas en la superficie mientras se ignoran las corrientes profundas de abajo.
El estudio también probó los trucos matemáticos estándar que los estadísticos utilizan para corregir los datos faltantes. Un método común intenta adivinar cuántos fallos faltan basándose en la información disponible. El investigador encontró que este método falla por completo en este caso. Los fallos faltantes no solo están retrasados; a menudo se han ido para siempre. Debido a que los datos no nos dicen por qué falta un registro, la computadora no puede adivinar la verdad. Otro método, que consiste en esperar más tiempo para ver si los datos llegan, ayuda un poco pero no lo suficiente. Incluso después de esperar dos años, la comprobación sigue perdiendo la gran mayoría de los fallos. El estudio concluye que no hay forma de solucionar este problema de monitoreo utilizando los datos públicos actuales. La información faltante simplemente no está ahí para ser encontrada.
El investigador sugiere que la solución es sorprendentemente simple. La FDA ya tiene la información que necesita; solo necesita publicar un dato adicional: la fecha exacta en que una decisión de clasificación se hizo visible para el público. Si la agencia añadiera un campo sencillo que mostrara cuándo se publicó un registro, permitiría que los programas informáticos supieran exactamente qué podían y qué no podían ver en un momento dado. Esto evitaría que los modelos utilicen información futura para hacer predicciones pasadas y permitiría a los supervisores entender exactamente qué parte de la imagen les falta. Sin este cambio, los registros públicos seguirán mostrando un mundo donde las fábricas farmacéuticas son más seguras de lo que realmente son, y las herramientas diseñadas para protegernos seguirán ciegas ante los mismos peligros que deben encontrar.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.