Resumen Técnico: Acotando el Impacto Causal de la Toma de Decisiones Asistida por ML mediante la Corrección Contrafactual

Declaración del Problema

Los modelos de aprendizaje automático (ML) predictivos se despliegan cada vez más en dominios de alto riesgo (p. ej., atención médica, justicia penal) para ayudar a los decisores humanos. Si bien los Ensayos Controlados Aleatorios (RCT) proporcionan evidencia de alta calidad sobre el impacto causal de intervenciones de ML específicas, existe una brecha crítica: a menudo es inviable realizar nuevos RCT para cada actualización o iteración de reentrenamiento de un modelo. En consecuencia, si se desarrolla un nuevo modelo con mayor precisión predictiva tras un RCT inicial, no existe evidencia causal directa sobre su impacto descendente en los resultados (p. ej., supervivencia del paciente, reincidencia).

Trabajos previos han intentado abordar esto mediante marcos de identificación parcial. Por ejemplo, Nercessian et al. [2025] asumen que los resultados no difieren entre modelos con predicciones coincidentes, mientras que Chen y Oberst [2025] relajan esto permitiendo diferencias de resultados a nivel individual basadas en métricas de rendimiento global (p. ej., precisión), motivadas por la confianza del usuario. Sin embargo, estos marcos no incorporan la corrección de la predicción a nivel individual. En muchos escenarios, es razonable esperar que una predicción correcta conduzca a resultados no inferiores comparados con una incorrecta, una noción que los autores denominan "corrección contrafactual".

Metodología

Los autores proponen un enfoque de identificación parcial para construir cotas sobre el efecto causal de un nuevo modelo no probado ($\pi_e$) utilizando datos de un RCT previo que involucró un conjunto de modelos probados ($T$).

Marco Causal

El proceso generador de datos se modela como un Modelo Causal Estructural (SCM) representado por un Grafo Acíclico Dirigido (DAG). Las variables clave incluyen:

• $D$: Brazo del RCT (control vs. tratamiento).
• $\Pi$: El modelo utilizado para la predicción.
• $X$: Covariables/características.
• $Z$: La "etiqueta verdadera" (verdad fundamental/ground truth), observada para todos los individuos en el RCT.
• $\hat{Z}$: La etiqueta predicha.
• $M$: Una métrica de rendimiento (p. ej., precisión) condicionada a $X$ y $\Pi$.
• $A$: Acción del decisor (no observada/latente).
• $Y$: Resultado descendente.

El objetivo es estimar $E[Y(\pi_e)]$, el resultado esperado si el nuevo modelo $\pi_e$ hubiera sido desplegado.

Supuestos Estructurales

Para derivar las cotas, los autores introducen cuatro supuestos clave:

1. Corrección Contrafactual (Supuesto 3.1): Las predicciones correctas no causan daño. Formalmente, para una etiqueta verdadera $z$ fija, si un modelo predice $z$ (correctamente), el resultado es al menos tan bueno como si un modelo predijera $z' \neq z$ (incorrectamente), manteniendo otros factores constantes.

   • Falsificación: Puede probarse comparando los resultados de dos modelos probados en el subconjunto de datos donde uno es correcto y el otro es erróneo.

2. Monotonicidad del Rendimiento Condicional (Supuesto 3.2): Los resultados potenciales son monotónicos con respecto al rendimiento del modelo, condicionados a la corrección.

   • Si la predicción es correcta ($\hat{z}=z$), un mayor rendimiento conduce a mejores (o iguales) resultados.
   • Si la predicción es incorrecta ($\hat{z} \neq z$), un mayor rendimiento conduce a peores (o iguales) resultados (reflejando una mayor confianza en un modelo erróneo pero seguro de sí mismo).
   • Falsificación: Se prueba comparando modelos con diferentes niveles de rendimiento pero con predicciones idénticas en el subconjunto donde la predicción es correcta.

3. Predicción Neutral (Supuesto 3.3): Existe una predicción "neutral" (p. ej., delegar en un humano) donde el rendimiento del modelo no influye en el resultado. Esto vincula el brazo de control con la evaluación de los nuevos modelos.

4. Resultados Acotados (Supuesto 3.4): La variable de resultado $Y$ está acotada dentro de un rango conocido $[Y_{min}, Y_{max}]$.

Cotas de Identificación Parcial

Los autores definen particiones del espacio de modelos y covariables basadas en si los modelos probados coinciden con el modelo no probado $\pi_e$ y su orden de rendimiento relativo. Introducen un selector de rama ($b_L, b_U$) que asigna cada par $(x, z)$ a una de cuatro ramas lógicas:

• Neutral: $\pi_e$ realiza la predicción neutral.
• Monotónica: $\pi_e$ coincide con los modelos probados, y el orden de rendimiento permite acotar mediante la monotonicidad.
• Correcta: $\pi_e$ realiza la predicción correcta, pero ningún modelo probado coincide con ella (o todos son "mejores" de una manera que no ayuda al límite inferior). Aquí, la cota depende del supuesto de que la predicción correcta no es peor que cualquier predicción incorrecta.
• Por Defecto (Default): Retorno conservador a $Y_{min}$ (límite inferior) o $Y_{max}$ (límite superior).

Las cotas resultantes $L(\pi_e)$ y $U(\pi_e)$ se construyen tomando la esperanza de las cotas puntuales sobre la distribución de $X$ y $Z$.

Estimación

El artículo proporciona estimadores consistentes y asintóticamente normales para estas cotas. La estrategia de estimación aborda tres desafíos:

1. Estimar las expectativas condicionales $E[Y|X, Z, \Pi]$ mediante modelos de confusión (nuisance models).
2. Manejar operadores de máximo/mínimo no suaves (p. ej., seleccionar el peor/mejor modelo con rendimiento en un conjunto).
3. Estimar métricas de rendimiento ($M$) a partir de datos finitos en lugar de asumir conocimiento de un oráculo.

Los autores proponen un estimador de Ponderación de Inversa de la Propensión Aumentada (AIPW). Bajo condiciones específicas de margen (que aseguran una separación suficiente entre los rendimientos de los modelos y los resultados) y tasas de convergencia para las funciones de confusión, se demuestra que los estimadores son consistentes y asintóticamente normales, permitiendo la construcción de intervalos de confianza válidos.

Contribuciones Clave

1. Extensión de Marcos Causales: El trabajo extiende el marco de Chen y Oberst [2025] al incorporar la corrección contrafactual a nivel individual. Asume que si un nuevo modelo predice correctamente, el resultado no será peor que si se realizara una predicción incorrecta.
2. Integración del Rendimiento por Subgrupos: A diferencia del trabajo previo que depende de métricas de rendimiento global, este marco incorpora el rendimiento predictivo condicional por subgrupos, reflejando la intuición de que los decisores desarrollan heurísticas sobre dónde los modelos funcionan bien o mal.
3. Estimación Basada en Datos: Los autores proporcionan estimadores consistentes para las cotas que no requieren conocimiento a priori de las medidas de rendimiento del modelo; estas se estiman a partir de los datos.
4. Cotas Más Estrechas: Los resultados teóricos y empíricos demuestran que la incorporación de la corrección contrafactual conduce a cotas significativamente más estrechas (más informativas) en comparación con otros métodos de identificación parcial previos.

Resultados Experimentales

Los autores evalúan su método utilizando una simulación semi-sintética basada en el conjunto de datos de sentencias de fianza de Imai et al. [2023].

• Configuración: Simulan el comportamiento de los jueces y los resultados de los acusados (Fallo en la Comparecencia) bajo diversas alertas de modelos.
• Comparación: Comparan sus cotas con las derivadas de Chen y Oberst [2025].
• Hallazgos:
  • En todos los experimentos (cambiando umbrales de alerta, reentrenando modelos y ausencia de RCT), el método propuesto produjo cotas consistentemente más estrechas (p. ej., un ancho de 0.12 frente a 0.36 en un experimento).
  • Las cotas contenían consistentemente el resultado esperado real.
  • Los estudios de ablación sugieren que la mejora es impulsada principalmente por el supuesto de corrección contrafactual más que solo por estratificar el rendimiento por covariables.
  • El método sigue siendo robusto (aunque con cotas más anchas) incluso cuando las etiquetas reales ($Z$) están parcialmente ausentes, siempre que se cumplan supuestos específicos sobre el mecanismo de ausencia.

Significado y Reivindicaciones

El artículo afirma ofrecer una solución práctica para evaluar el impacto causal de modelos de ML actualizados cuando re-ejecutar RCT es inviable. Al aprovechar la existencia de etiquetas de verdad fundamental en ensayos previos, el método utiliza la información "direccional" proporcionada por la corrección de la predicción para estrechar las cotas causales.

Los autores son modestos en sus afirmaciones, reconociendo limitaciones:

• Pruebas de Falsificación: Son en términos de esperanza; las violaciones a nivel individual de los supuestos podrían pasar desapercibidas.
• Datos Faltantes: El método tiene limitaciones cuando las etiquetas reales ($Z$) faltan, aunque discuten mecanismos para manejarlas.
• Salidas Continuas: El marco actual asume predicciones discretas; las salidas continuas requieren discretización o una aplicación simplificada.
• Datos Observacionales: El marco actual depende de datos de RCT; la incorporación de datos observacionales se señala como una dirección futura.

En última instancia, el trabajo proporciona un marco riguroso basado en supuestos para ir más allá de la precisión predictiva y razonar sobre el impacto causal descendente de los sistemas de IA en entornos de toma de decisiones de alto riesgo.