RISED: A Pre-Deployment Safety Evaluation Framework for Clinical AI Decision-Support Systems

Resumen Técnico: RISED – Un Marco de Evaluación de Seguridad Pre-Despliegue para Sistemas de Soporte a la Decisión Clínica con IA

Enunciado del Problema
Los paradigmas actuales de evaluación para sistemas de soporte a la decisión clínica con IA dependen en gran medida de métricas de precisión agregadas (p. ej., AUROC, puntuación Brier) derivadas de conjuntos de prueba estáticos y retenidos. Los autores argumentan que estas métricas no logran detectar fallos críticos de la fase de despliegue, incluida la inestabilidad de la fiabilidad de las entradas debido a cambios de codificación, degradación de la equidad en subgrupos, sensibilidad al umbral e inviabilidad operativa. Citando fallos documentados como el Modelo de Sepsis de Epic, que superó los puntos de referencia internos pero falló en la validación externa debido a una mala discriminación y fatiga de alertas, el artículo postula que las herramientas existentes (p. ej., AI Fairness 360, Fairlearn, TRIPOD+AI) están diseñadas para la selección de modelos estáticos o informes post-hoc en lugar de determinar la preparación operativa para entornos clínicos en vivo.

Metodología: El Marco RISED
El artículo propone el Marco RISED, un enfoque de evaluación pre-despliegue de cinco dimensiones. Cada dimensión se operacionaliza mediante subcriterios formales, umbrales de aprobado/reprobado preespecificados e intervalos de confianza (IC) del 95% de bootstrap acelerado corregido por sesgo (BCa). Se aplica una corrección de Holm-Bonferroni para controlar la tasa de error familiar en las múltiples pruebas de hipótesis. El marco arroja tres veredictos posibles por dimensión: APROBADO, REPROBADO o INCONCLUSO (cuando el IC abarca el umbral).

Las cinco dimensiones son:

1. Fiabilidad: Mide la estabilidad de la salida bajo entradas semánticamente equivalentes pero codificadas de manera diferente (p. ej., cambios de unidad, cambios de granularidad CIE).
   • Métrica: Puntuación de Sensibilidad del Juez (JSS), definida como la Tasa de Inversión de Perturbación (PFR) promedio en una batería de perturbaciones.
   • Umbral: JSS < 0.05.
2. Inclusividad: Evalúa la consistencia del rendimiento en subpoblaciones demográficas.
   • Métricas: Brecha de Paridad de AUC ($\Delta$AUC) y Error de Calibración Esperado (ECE) por subgrupo.
   • Umbral: $\Delta$AUC $\le$ 0.05; ECE $\le$ 0.10 para todos los subgrupos.
3. Sensibilidad: Evalúa la estabilidad conductual bajo cambios de umbral de decisión, crucial ya que los umbrales a menudo se reajustan tras el despliegue.
   • Métrica: Tasa de Inversión de Umbral (TFR), que mide la fracción de pacientes reclasificados cuando el umbral se mueve desde un $\tau_0$ de referencia.
   • Umbral: TFR Máx $\le$ 0.10 en un barrido de umbrales.
4. Equidad: Prueba la alineación de las predicciones con una medida independiente de necesidad clínica, en lugar de proxies de utilización que pueden codificar disparidades históricas.
   • Métrica: Correlación Necesidad-Predicción ($\rho_{need}$) y brechas de necesidad a nivel de grupo.
   • Estado: Enmarcada como un DIAGNÓSTICO en lugar de un veredicto de bloqueo. Si el veredicto cambia según la elección del proxy de necesidad (p. ej., etiqueta de resultado vs. Índice de Comorbilidad de Charlson), se desencadena un requisito de una medida de necesidad independiente del resultado antes del despliegue.
5. Desplegabilidad: Evalúa la viabilidad operativa, incluida la latencia de inferencia y la fidelidad de las explicaciones.
   • Métricas: Latencia media de inferencia ($\Lambda$) y Fidelidad de la Explicación ($F_{expl}$), que mide si las características localmente importantes se alinean con las globalmente importantes.
   • Umbral: $\Lambda \le$ 500 ms por cohorte; $F_{expl} \ge$ 0.50.

Resultados Experimentales
El marco se aplicó a una cohorte sintética de 10.000 pacientes y a tres cohortes del mundo real que abarcan 35 años de antigüedad de datos: la cohorte de Enfermedad Cardíaca de UCI (1989), la cohorte de Diabetes 130-Hospitales de EE. UU. de UCI (1999–2008) y la Encuesta Nacional de Entrevistas de Salud (NHIS) de los NCHS de 2024.

• Cohorte Sintética (XGBoost, AUROC 0.961): A pesar de una alta discriminación agregada, el modelo REPROBÓ las dimensiones de Fiabilidad (JSS = 0.064) y Sensibilidad (TFR Máx = 19.9%). La dimensión de Inclusividad fue INCONCLUSA ($\Delta$AUC = 0.059, IC [0.042, 0.066]). La Equidad fue DIAGNÓSTICA, mostrando un cambio de veredicto entre el proxy de etiqueta de resultado (APROBADO) y el proxy del Índice de Comorbilidad de Charlson (REPROBADO). La Desplegabilidad APROBÓ.
• Cohortes del Mundo Real:
  • Enfermedad Cardíaca de UCI (n=303): Fiabilidad e Inclusividad fueron INCONCLUSAS debido a tamaños de muestra pequeños; Sensibilidad REPROBÓ.
  • Diabetes 130 de UCI (n=99.492): Fiabilidad APROBÓ (JSS = 0.0004), pero Inclusividad ($\Delta$AUC = 0.262) y Sensibilidad (TFR Máx = 49.1%) REPROBARON decisivamente. La Equidad permaneció DIAGNÓSTICA con desacuerdo de proxy.
  • NHIS 2024 (n=9.747): Fiabilidad APROBÓ (JSS = 0.011), mientras que Inclusividad ($\Delta$AUC = 0.328) y Sensibilidad (TFR Máx = 22.5%) REPROBARON.
• Robustez Multi-Modelo: Cuando se probó con Regresión Logística y Bosque Aleatorio en la cohorte sintética, los fallos de Inclusividad y Sensibilidad persistieron (basados en datos), mientras que los fallos de Fiabilidad dependían del modelo (XGBoost falló; los demás aprobaron).
• Comparación con Fairlearn: Fairlearn identificó disparidades entre subgrupos pero no logró detectar inestabilidad ante perturbaciones de entrada, sensibilidad al umbral o desalineación de equidad basada en necesidades, destacando el alcance más amplio de RISED.

Contribuciones Clave

1. Definición del Marco: Organiza la literatura existente en un marco pre-despliegue de cinco dimensiones específico para el soporte a la decisión clínica, yendo más allá de la selección de modelos estáticos.
2. Puertas Cuantitativas: Reemplaza las listas de verificación cualitativas con subcriterios formales, IC del 95% de bootstrap y reglas de decisión explícitas de APROBADO/REPROBADO/INCONCLUSO.
3. Validación Empírica: Demuestra que un modelo con alto AUROC puede fallar simultáneamente en las pruebas de estabilidad de codificación de entrada y sensibilidad al cambio de umbral, un patrón validado en una cohorte sintética y tres cohortes del mundo real distintas.
4. Reencuadre de la Equidad: Reencuadra la dimensión de Equidad como un "diagnóstico de dependencia de proxy", exponiendo explícitamente problemas de validez de constructo cuando los proxies de necesidad se derivan de datos de utilización, lo que obliga a la adquisición de medidas de necesidad independientes del resultado.
5. Implementación de Código Abierto: Libera el paquete Python rised, proporcionando los veredictos cuantitativos requeridos por los estándares de informes existentes (TRIPOD+AI, MI-CLAIM, FUTURE-AI).

Significado y Afirmaciones
El artículo afirma que RISED proporciona una "puerta de entrada principista" entre la validación de modelos in-silico y la evaluación clínica de ensayo silencioso. Argumenta que las métricas agregadas por sí solas son insuficientes para detectar riesgos de despliegue como la inestabilidad de codificación y la sensibilidad al umbral. El marco se posiciona no como un mandato regulatorio, sino como un generador estructurado de evidencia numérica que puede completar las presentaciones de Plan de Control de Cambios Predeterminado (PCCP) de la FDA, las divulgaciones de gestión de riesgos ONC HTI-1 y los archivos técnicos de la Ley de IA de la UE. Los autores declaran que el marco tiene la intención de "provocar trabajo empírico" sobre la calibración de umbrales y que, aunque un APROBADO de RISED es necesario para el despliegue, no es suficiente, ya que no aborda la gobernanza de la implementación ni la confianza del clínico. Los resultados proporcionan evidencia preliminar de validez de constructo, mostrando que diferentes dimensiones fallan de manera diferencial entre cohortes y clases de modelos, lo que sugiere que la preparación para el despliegue es una propiedad multifacética no capturada por puntos de referencia de métrica única.