Resumen Técnico: Stratum-eval

Planteamiento del Problema

Los marcos de evaluación actuales para el aprendizaje automático (ML) clínico sufren un error de ordenación crítico: priorizan las métricas de rendimiento discriminativo mientras postergan las preguntas normativas sobre qué errores importan, a quién afectan y bajo qué condiciones debe desplegarse un modelo. Este enfoque conduce a "fallos latentes": métricas que parecen plausibles pero que ocultan problemas sistémicos como la invarianza espuria, las imposibilidades de equidad y la emergencia sociotécnica. El artículo sostiene que, sin un compromiso previo con las especificaciones normativas, las métricas no pueden informar de manera fiable las decisiones de despliegue clínico. Los benchmarks existentes suelen fallar al no detectar estos problemas porque carecen de un mecanismo para asegurar la compatibilidad de los criterios de equidad con las distribuciones de datos observadas (por ejemplo, el teorema de imposibilidad de Chouldechova) antes de comenzar el modelado.

Metodología

Los autores proponen stratum-eval, un marco de evaluación de código abierto que invierte el pipeline estándar al convertir la Especificación Normativa en un requisito previo para cualquier computación de métricas. La metodología consta de tres componentes principales:

1. El Documento de Especificación Normativa (NSD)

Antes de tocar cualquier dato, los evaluadores deben completar un NSD, un artefacto validado por máquina que codifica:

• Caso de Uso: Descripción en lenguaje natural del rol de decisión del modelo.
• Criterio de Equidad: Selección de una prioridad moral específica (p. ej., igualdad de oportunidades, calibración, paridad demográfica).
• Justificación de Equidad: Una declaración obligatoria que reconozca las compensaciones (trade-offs) y los costes para los grupos no favorecidos por el criterio elegido.
• Umbrales de Error Aceptables: Límites negociados socialmente para las Tasas de Falsos Negativos (FNR) y las Tasas de Falsos Positivos (FPR).
• Horizonte de Validez y Condición de Expiración: Validez limitada en el tiempo y condiciones específicas para la retirada del modelo.

El NSD se somete a una "validación estricta". Si faltan campos, si la justificación carece de lenguaje de compensación o si el horizonte de validez ha expirado, el pipeline lanza un StratumNSDError y se detiene.

2. El Protocolo de Evaluación de Cinco Capas

Una vez validado el NSD, el marco ejecuta un protocolo secuencial de cinco capas:

• Capa 1 (Benchmarking con Prueba de Invarianza): Detecta correlaciones espurias utilizando el Índice de Correlación Espuria (SCI) derivado de la Minimización de Riesgo Invariante (IRM) y la Extrapolación de Riesgo basada en varianza (v-REx).
• Capa 2 (Calidad de Etiquetas e Incertidumbre): Aplica el modelo de Dawid-Skene para la calidad de las etiquetas (requiriendo $\ge$3 anotadores) y verifica los supuestos de intercambiabilidad conforme.
• Capa 3 (Equidad de Grupo): Calcula la FNR y la FPR por grupo frente a los umbrales del NSD.
• Capa 4 (Disparidad Interseccional): Evalúa las disparidades en la intersección de las variables de agrupación. Las celdas con $n < 30$ se marcan como con falta de potencia estadística en lugar de suprimirse, manteniendo su visibilidad pero sin proporcionar estimaciones puntuales.
• Capa 5 (Robustez Temporal): Computa la deriva de rendimiento a través de cuartiles cronológicos o utiliza comprobaciones de estabilidad de bootstrap para datos no temporales.

3. Herramientas de Diagnóstico

• Visualizador de Imposibilidad de Equidad: Pre-computa la frontera de imposibilidad de Chouldechova para mostrar si un criterio de equidad elegido es matemáticamente compatible con las tasas base observadas antes del entrenamiento del modelo.
• StratumCard: Una tarjeta de modelo estructurada generada a partir de los resultados, que contiene exportaciones regulatorias legibles por máquina y resúmenes legibles por humanos anclados a los compromisos del NSD.

Contribuciones Clave

1. Arquitectura de Prioridad Normativa: El marco garantiza que los compromisos normativos (criterios de equidad, umbrales de error) se definan y validen antes de la computación de métricas, evitando la racionalización "post-hoc" de los fallos del modelo.
2. Taxonomía de Fallos de Evaluación: El artículo identifica ocho modos de fallo canónicos (F1–F8), categorizados por fuente (Datos, Métrica, Despliegue, Normativa) y detectabilidad (Manifiesto vs. Latente). Destaca que seis de ellos son latentes, requiriendo pruebas diagnósticas específicas que no se encuentran en los kits de herramientas estándar.
3. Gobernanza Ejecutada por Máquina: A diferencia de las Model Cards o los Datasheets que dependen de la buena fe del autor, stratum-eval utiliza código para imponer restricciones. Un NSD expirado impide la generación de una StratumCard, y la ausencia de justificaciones de compensación provoca el fallo del pipeline.
4. Operacionalización de la Imposibilidad: El marco expone explícitamente el teorema de imposibilidad de Chouldechova (la incompatibilidad de la calibración, la igualdad de oportunidades y las tasas base divergentes) como una restricía estructural que debe resolverse mediante la deliberación de las partes interesadas, no mediante el ajuste algorítmico.

Resultados Experimentales

El marco se aplicó a la Base de Datos Clínica MIMIC-IV Demo (v2.2), una cohorte de 140 estancias en UCI con un desenlace de Sepsis-3 (prevalencia 41.4%).

• Características del Dataset: La cohorte exhibió una diferencia en la tasa base de 14.8 puntos porcentuales entre pacientes masculinos (48.1%) y femeninos (33.3%), lo que activó la condición de imposibilidad de Chouldechova.
• Rendimiento del Modelo: Un clasificador XGBoost logró un AUROC global de 0.905. Sin embargo, el análisis a nivel de grupo reveló disparidades significativas.
• Hallazgos de la Capa 3: El modelo violó el umbral de FNR aceptable (0.15) del NSD para los pacientes masculinos (Grupo A), con una FNR observada de 0.429. Los pacientes femeninos (Grupo B) cumplieron el umbral (FNR 0.143).
• Hallazgos de la Capa 2: El Grupo B mostró una mejor calibración sustancialmente mayor (ECE 0.110) en comparación con el Grupo A (ECE 0.237).
• Análisis de Imposibilidad: El marco identificó correctamente que la diferencia en la tasa base hacía imposible la satisfacción simultánea de la calibración y la igualdad de oportunidades. El NSD había seleccionado la calibración como criterio; el marco reveló que esta elección forzaba estructuralmente una mayor FPR para el grupo de menor prevalencia (mujeres) o, en esta configuración específica de umbrales, una violación del umbral de FNR para el grupo de mayor prevalencia (hombres).
• Limitaciones: Debido al pequeño tamaño de la muestra ($N=140$), los resultados de la Capa 4 (Interseccional) y la Capa 5 (Temporal) fueron marcados como con falta de potencia o poco fiables, sirviendo únicamente como prueba de concepto.

Significancia y Reivindicaciones

El artículo afirma que stratum-eval cambia el paradigma de la evaluación de la IA clínica de "la documentación como un gesto de transparencia" a "la documentación como una puerta de paso operativa".

• Alineación Regulatoria: El mecanismo NSD operacionaliza directamente el Plan de Acción de IA/ML de la FDA (específicamente la Acción 3 sobre buenas prácticas de ML y la Acción 5 sobre monitorización en el mundo real) y aborda los requisitos de transparencia de la Ley de IA de la UE.
• Requisito de Gobernanza: Los autores afirman que las instituciones que carecen de una estructura de gobernanza capaz de producir un NSD nombrado y firmado no están preparadas para desplegar modelos de riesgo clínico bajo este protocolo. Esto se plantea no como una limitación del marco, sino como un hallazgo necesario.
• Modestia: Los autores declaran explícitamente que stratum-eval es un marco de evaluación, no una herramienta de desarrollo de modelos o de adjudicación regulatoria. Expone información para permitir la toma de decisiones responsables, pero no toma las decisiones de despliegue por sí misma. El marco reconoce que su validación léxica de las justificaciones de "compensación" es un sustituto de la deliberación genuina y que la representación de las partes interesadas está documentada pero no verificada en esta prueba de concepto.

La conclusión central es que la "prueba más dura" para el ML clínico no es si un modelo se ejecuta en un conjunto de datos, sino si el comité de gobernanza de un hospital está dispuesto a comprometerse formalmente con umbrales de error específicos y compensaciones de equidad en un documento con límite temporal antes de computar una sola métrica.