PROACTIVE-AI: An Intelligent Dashboard for Assessing and Predicting of FDA-approved AI Software Performance in Real-World Clinical Scenarios

Resumen Técnico: Dashboard PROACTIVE-AI

Planteamiento del Problema
La rápida proliferación de dispositivos médicos habilitados por Inteligencia Artificial/Aprendizaje Automático (IA/ML) aprobados por la FDA ha superado el desarrollo de mecanismos robustos de vigilancia post-comercialización. Si bien se aprobaron más de 1,300 dispositivos de IA/ML por la FDA hasta julio de 2025, el marco regulatorio sigue siendo mayoritariamente pasivo, dependiendo de la notificación voluntaria de eventos adversos por parte de los fabricantes en lugar de un seguimiento proactivo de riesgos. Esto crea un "punto ciego" respecto al desempeño de los dispositivos en entornos clínicos del mundo real. Los desafíos clave incluyen prácticas de evaluación pre-comercialización inconsistentes, una dependencia excesiva de estudios retrospectivos de un solo centro y una falta de datos sistemáticos post-comercialización. Además, la naturaleza fundamental de los productos de IA/ML difiere de los dispositivos de hardware tradicionales; a diferencia de las herramientas estáticas (p. ej., stents), los modelos de IA pueden adaptarse y cambiar su comportamiento basándose en datos del mundo real, lo que hace que su desempeño en el momento de la aprobación pueda ser distinto al de años después. Los marcos regulatorios actuales carecen de mecanismos estandarizados para detectar, reportar o abordar estos cambios post-despliegue, lo que genera brechas en la seguridad del paciente, la transparencia y la rendición de cuentas.

Metodología
Para abordar estas brechas, los autores desarrollaron PROACTIVE-AI (Predictive Real-world Oversight, Assessment, Compliance, TrackIng, and surVEillance of AI), un dashboard interactivo basado en la web. El sistema integra y analiza un conjunto de datos de aproximadamente 1,303 dispositivos únicos de IA/ML autorizados por la FDA desde 1995 hasta 2025. La metodología consta de tres componentes principales:

1. Curación y Preprocesamiento de Datos:

   • El conjunto de datos combina datos de resumen de decisiones de la FDA con registros de retiros (recalls) obtenidos de Lee et al. [14].
   • Para armonizar los datos, los autores reconciliaron las discrepancias estructurales entre los conjuntos de datos de dispositivos retirados (82 características) y no retirados (21 características). Se reconstruyeron las variables categóricas mediante one-hot encoding y se introdujeron características faltantes con valores de marcador de posición.
   • Los valores faltantes en el conjunto de datos combinado se imputaron utilizando un modelo de lenguaje de gran tamaño (GEMINI-3.1-PRO) mediante prompts estructurados para extraer atributos clave.
   • El conjunto de datos unificado final incluyó 1,243 dispositivos no retirados (Clase 1) y 59 dispositivos retirados (Clase 0), particionados en conjuntos de entrenamiento, validación y de prueba independiente mediante muestreo estratificado.

2. Módulos del Dashboard Interactivo:

   • Grafo de Conocimiento (Knowledge Graph): Una visualización de red utilizando D3.js que mapea las relaciones de predicado entre dispositivos. Los nodos representan dispositivos, codificados por color según el panel clínico y escalados por el número de descendientes. Permite a los usuarios explorar el linaje de los dispositivos, las conexiones de los fabricantes y la densidad de la red.
   • Panel de Análisis Temporal: Un módulo longitudinal que visualiza tendencias a través de trimestres y períodos de cinco años. Rastrea volúmenes de aprobación, tasas de retiro, prevalencia de ensayos clínicos y cambios en la arquitectura de IA (p. ej., de no especificada a deep learning) y especialidades clínicas. También anota hitos regulatorios para proporcionar contexto a los cambios observados.

3. Herramienta de Evaluación de Riesgos Impulsada por IA:

   • Arquitectura del Modelo: Se desarrolló un clasificador de gradient boosting CatBoost para distinguir entre dispositivos retirados y no retirados. Se seleccionó CatBoost por su capacidad para manejar variables categóricas de forma nativa y su rendimiento en datos tabulares estructurados.
   • Estrategia de Entrenamiento: El modelo abordó el desequilibrio de clases mediante pesos de clase. Se entrenó con 287 iteraciones de boosting, una tasa de aprendizaje de 0.03 y una profundidad de árbol de 6.
   • Validación: La robustez se evaluó mediante validación cruzada estratificada de 5 pliegues y 5 repeticiones. Un conjunto de prueba independiente (n=261) fue reservado para la evaluación final.
   • Interpretabilidad: Se utilizaron explicaciones SHapley (SHapley Additive exPlanations - SHAP) para cuantificar las contribuciones de las características, y se aplicó Uniform Manifold Approximation and Projection (UMAP) para visualizar la separabilidad de los grupos (clusters) de retirados vs. no retirados en un espacio de dimensión reducida.

Resultados Clave

• Visualización del Dashboard: El Grafo de Conocimiento mapeó exitosamente 1,780 nodos y 2,224 aristas que representan las relaciones de predicado de los 1,303 dispositivos. El panel de Análisis Temporal identificó con éxito tendencias longitudinales, incluyendo el aumento de dispositivos cardiovasculares y la transición hacia arquitecturas explícitas de deep learning.
• Desempeño del Modelo:
  • Validación Cruzada: El clasificador CatBoost logró un ROC-AUC medio de 0.993 ± 0.014 y un PR-AUC medio de 0.967 ± 0.042 a través de los pliegues repetidos, demostrando un desempeño predictivo estable.
  • Prueba Independiente: En el conjunto de prueba retenido, el modelo alcanzó un ROC-AUC de 0.961 y un PR-AUC de 0.886.
  • Métricas de Clasificación: El modelo logró una precisión general del 98.1%. Para la clase minoritaria (dispositivos retirados), alcanzó una precisión de 0.769, una sensibilidad (recall) de 0.833 y un F1-score de 0.800, indicando una identificación efectiva de dispositivos de alto riesgo a pesar del desequilibrio de clases.
• Importancia de las Características (Análisis SHAP):
  • Las tres características más influyentes para predecir el riesgo de retiro fueron: Número de Ensayos Clínicos (Pacientes no imágenes), Compañía y Conteo de Predicados.
  • Un mayor número de pacientes en ensayos clínicos se asoció fuertemente con resultados de no retiro.
  • Un menor conteo de predicados se asoció fuertemente con las predicciones de retiro, sugiriendo que los dispositivos con menos predecesores establecidos (algoritmos novedosos) conllevan un mayor riesgo.
  • La visualización UMAP confirmó una fuerte separación entre los grupos de dispositivos retirados y no retirados, respaldando la capacidad discriminatoria del modelo.

Significancia y Reivindicaciones
El artículo sostiene que PROACTIVE-AI proporciona un marco estructurado y cuantitativo para evaluar el desempeño anticipado y el riesgo de retiro de los dispositivos de IA aprobados por la FDA en entornos del mundo real. Al convertir los datos regulatorios históricos en puntuaciones de riesgo prospectivas, la herramienta busca cerrar la "brecha de confianza" que rodea a la IA en la atención médica.

Los autores enfatizan que sus hallazgos validan y extienden el trabajo descriptivo previo (específicamente Lee et al. [14]) al pasar de la caracterización retrospectiva a la predicción prospectiva. El estudio confirma que la falta de validación clínica y el uso de cadenas de predicado novedosas son señales robustas de falla post-comercialización. El dashboard se presenta como un recurso para que clínicos, reguladores e investigadores tomen decisiones informadas sobre el despliegue de dispositivos y prioricen la vigilancia post-comercialización para dispositivos de alto riesgo, mejorando así la seguridad del paciente y la rendición de cuentas sin inventar nuevos mandatos regulatorios.