Resumen Técnico: Evaluación de Intervenciones Basadas en Predicciones con el Decisor Humano en Mente

Planteamiento del Problema

Los Sistemas de Decisión Automatizados (ADS, por sus siglas en inglés) se despliegan cada vez más para apoyar la toma de decisiones humana en entornos trascendentales como la justicia penal, la atención médica y la educación. Mientras que la investigación en aprendizaje automático suele centrarse en evaluar la precisión de los modelos predictivos frente a conjuntos de datos de referencia, estas evaluaciones no logran capturar la compleja interacción entre humanos y algoritmos. Específicamente, los diseños experimentales actuales para evaluar intervenciones basadas en predicciones dependen de supuestos simplificadores sobre la toma de decisiones humana para derivar estimaciones causales.

El problema central identificado es que decisiones de diseño experimental específicas pueden inducir sesgos cognitivos en los decisores humanos, alterando significativamente los tamaños del efecto observado. Los paradigmas existentes que evalúan la toma de decisiones suelen asumir un modelo "independiente de casos" donde el estado de tratamiento de un sujeto de decisión no afecta a otro (adhiriéndose al Supuesto de Valor de Unidad de Tratamiento Estable, o SUTVA). Sin embargo, este artículo argumenta que los decisores humanos (por ejemplo, jueces) poseen estados internos que evolucionan basándose en su exposición a las recomendaciones algorítmicas, creando dependencias entre los sujetos de decisión que violan el SUTVA y conducen a una estimación sesgada del efecto del tratamiento.

Metodología

Marco Teórico

Los autores proponen un nuevo modelo causal de la toma de decisiones asistida por algoritmos que contabiliza explícitamente el estado interno del decisor. A diferencia del modelo estándar independiente de casos, este marco indexa las decisiones tanto por el sujeto de decisión ($i$) como por el decisor ($k$).

El modelo introduce dos variables latentes:

1. $J_{i,k}$: La capacidad de respuesta del juez $k$ para la unidad de tratamiento $i$, que representa la probabilidad de que el juez siga la recomendación algorítmica.
2. $\epsilon_{i,k}$: Una variable aleatoria extraída de una distribución de Bernoulli con parámetro $J_{i,k}$, que denota si el juez cumple con la recomendación.

La función de decisión $D_{i,k}$ se define como una función de la decisión por defecto del juez $\lambda_k(X_i)$ y la recomendación algorítmica $\bar{D}(\hat{Y}_i)$, modulada por la capacidad de respuesta $J_{i,k}$.

Modelos de Sesgo Cognitivo

El artículo formaliza tres modelos específicos de sesgo cognitivo que hacen que la capacidad de respuesta del juez ($J_{i,k}$) sea dinámica y dependiente de las elecciones de diseño experimental:

1. Modelo de Exposición al Tratamiento: La capacidad de respuesta aumenta a medida que aumenta la exposición promedio a la ayuda predictiva. Los jueces pueden depender de información consistente en lugar de ajustar los protocolos para cada caso, lo que conduce a un mayor cumplimiento tras una exposición frecuente.
2. Modelo de Restricción de Capacidad: La capacidad de respuesta disminuye a medida que aumenta la tasa de predicciones positivas (de alto riesgo). En entornos de alto riesgo, los decisores pueden alcanzar un umbral en el que se vuelven menos receptivos a más alertas de "alto riesgo".
3. Modelo de Baja Confianza: La capacidad de respuesta disminuye a medida que aumenta la tasa de error observada del algoritmo. Si los jueces observan los resultados realizados y detectan errores de predicción (por ejemplo, falsos positivos), su confianza y el cumplimiento subsecuente disminuyen.

Análisis Experimental

Los autores demuestran matemáticamente que, bajo estos modelos, la decisión $D_{i,k}$ no es condicionalmente independiente de las asignaciones de tratamiento previas $(Z_{1,k}, \dots, Z_{i-1,k})$ dada la asignación de tratamiento actual $Z_{i,k}$. Esto constituye una violación del SUTVA.

Para demostrar el impacto práctico, el artículo compara dos esquemas de aleatorización:

• Aleatorización Uniforme: Los casos se aleatorizan a nivel individual (un solo nivel), lo que resulta en una exposición de tratamiento mixta para cada juez.
• Aleatorización de Dos Niveles: Los jueces se aleatorizan a grupos de tratamiento (por ejemplo, un juez ve el 100% de los casos tratados, otro el 0%), creando perfiles de exposición distintos.

Experimentos Semi-sintéticos

Los autores validan sus hallazgos teóricos utilizando datos de un Ensayo Controlado Aleatorizado (RCT) real de Imai et al. [2020] relativo a las puntuaciones de riesgo de la Evaluación de Seguridad Pública (PSA) en el condado de Dane, Wisconsin. Simulan múltiples jueces y aplican los tres modelos de sesgo para generar secuencias de decisión alternativas. Observan cómo la modificación de las elecciones de diseño experimental (asignación de tratamiento, umbrales del modelo y precisión) altera el Efecto de Tratamiento Promedio (ATE) estimado.

Contribuciones Clave

1. Formalización de la Capacidad de Respuesta Dinámica: El artículo va más allá del supuesto de que la capacidad de respuesta del juez es un atributo estático e inherente. Formaliza cómo la capacidad de respuesta es una función dinámica de las elecciones de diseño experimental, específicamente de la asignación de tratamiento ($Z$), la tasa de predicción positiva del modelo ($P(\hat{Y}=1)$) y la corrección del modelo ($P(\hat{Y}=Y)$).
2. Prueba de Violación del SUTVA: Los autores proporcionan pruebas matemáticas que muestran cómo los modelos de comportamiento propuestos inducen interferencia entre los sujetos de decisión, violando el supuesto SUTVA comúnmente utilizado en la inferencia causal. Esto invalida los estimadores estándar que asumen independencia.
3. Demostración de Sesgo de Estimación: El artículo demuestra que los esquemas de aleatorización estándar (de un solo nivel) pueden llevar a una subestimación o sobreestimación significativa del Efecto de Tratamiento Promedio (ATE) dependiendo del modelo de sesgo activo. Por ejemplo, bajo el modelo de exposición al tratamiento, la aleatorización uniforme subestima el ATE, mientras que bajo el modelo de restricción de capacidad, puede sobreestimarlo.
4. Simulación Empírica: Utilizando experimentos semi-sintéticos basados en Imai et al. [2020], los autores muestran que modificar las elecciones de diseño (por ejemplo, cambiar la proporción de casos tratados por juez o el umbral del algoritmo) puede alterar las estimaciones del efecto causal hasta en un factor de 10 para subgrupos demográficos específicos.

Resultados

• Violación del SUTVA: El análisis teórico confirma que, cuando la capacidad de respuesta del juez depende de la exposición histórica, el estado de tratamiento de un caso influye en la decisión sobre los casos subsiguientes manejados por el mismo juez. Las pruebas de permutación estándar utilizadas en estudios previos (como Imai et al., 2020) no detectan esta interferencia porque preservan la proporción promedio de tratamiento, haciendo que el orden de los casos sea irrelevante para el estadístico de la prueba.
• Direccionalidad del Sesgo:
  • Exposición al Tratamiento: La aleatorización uniforme conduce a una subestimación del efecto del tratamiento en comparación con la aleatorización de dos niveles. La brecha se amplía a medida que los jueces se vuelven más sensibles a la exposición pasada y la divergencia entre la decisión por defecto y la recomendada aumenta.
  • Restricción de Capacidad: La aleatorización uniforme conduce a una sobreestimación del efecto del tratamiento. La brecha aumenta con mayores tasas de predicción positiva.
  • Baja Confianza: Una menor precisión algorítmica conduce a una menor capacidad de respuesta y a una subestimación del efecto del tratamiento, impactando particularmente las medidas de corrección de la decisión.
• Hallazgos de la Simulación: En los experimentos semi-sintéticos, cambiar el régimen de exposición al tratamiento (por ejemplo, asignar el 100% de los casos a un juez frente al 50%) resultó en desviaciones sustanciales en los ATE medidos. Específicamente, para los sujetos mujeres no blancas, el efecto causal estimado sobre las decisiones varió por un factor de 10 dependiendo del régimen de exposición.

Significación y Reivindicaciones

El artículo sostiene que la validez científica de los esquemas de evaluación basados en intervenciones para los despliegues de ADS está actualmente comprometida al ignorar la naturaleza dinámica de la toma de decisiones humana. Al tratar las intervenciones basadas en predicciones como problemas de predicción aislados en lugar de intervenciones de política, los investigadores corren el riesgo de extraer conclusiones incorrectas sobre la eficacia de estos sistemas.

Los autores argumentan que los diseños experimentales futuros deben tener en cuenta al "humano en el bucle" como un agente dinámico cuyo comportamiento es moldeado por el experimento mismo. Sugieren que:

• La aleatorización estándar de un solo nivel es insuficiente para estimar el impacto causal de los sistemas predictivos cuando se despliegan como políticas a gran escala.
• Es necesario utilizar diseños de aleatorización de dos niveles (aleatorizando al nivel del decisor) o diseños multifactoriales para estimar con precisión los efectos del tratamiento en presencia del sesgo del juez.
• Los hallazgos se extienden más allá de la justicia penal a otros dominios como la atención médica y la educación, donde es probable que existan sesgos cognitivos e interferencias similares.

El trabajo sirve como un llamado a la acción para que la comunidad de investigación refine los paradigmas experimentales para reflejar mejor las realidades de la interacción humano-algoritmo, asegurando que las estimaciones causales reflejen el verdadero impacto de las intervenciones predictivas sobre los resultados derivados.