Detecting and Mitigating Group Bias in Heterogeneous Treatment Effects

Aquí presento un resumen técnico detallado del artículo "Detecting and Mitigating Group Bias in Heterogeneous Treatment Effects" (Detección y Mitigación del Sesgo de Grupo en Efectos de Tratamiento Heterogéneos) de Persson et al.

1. El Problema: Sesgo de Grupo en la Agregación de Efectos de Tratamiento

El artículo aborda un problema fundamental en la intersección del aprendizaje automático causal y la inferencia estadística: la discrepancia sistemática que surge al agregar predicciones de efectos de tratamiento individuales (CATE) para estimar efectos promedio a nivel de grupo (GATE).

• Contexto: Las organizaciones utilizan modelos de aprendizaje automático (ML) para estimar efectos de tratamiento heterogéneos (CATE) a nivel individual para la personalización. Sin embargo, en la práctica, estos resultados rara vez se interpretan a nivel individual; en su lugar, se agregan a subgrupos de interés (segmentos demográficos, mercados, estratos de riesgo) para la toma de decisiones estratégicas o auditorías.
• La Paradoja: Incluso cuando un modelo de CATE está correctamente especificado, está entrenado en datos de experimentos aleatorizados (RCT) y es insesgado a nivel individual, la agregación simple de sus predicciones a nivel de grupo no recupera necesariamente el verdadero Efecto de Tratamiento Promedio del Grupo (GATE).
• Causas del Sesgo:
  1. Regularización y Objetivos Globales: Los modelos de ML se entrenan para minimizar el error global en toda la población. Esto puede llevar a que los errores de predicción no se cancelen simétricamente dentro de subgrupos específicos, especialmente si estos tienen tamaños desiguales o distribuciones de covariables diferentes.
  2. No Colapsabilidad (No-Collapsibility): Para efectos relativos (razones, como el riesgo relativo), la esperanza de las razones condicionales no es igual a la razón de las esperanzas (desigualdad de Jensen). Agregar CATEs relativos sin los pesos adecuados introduce un sesgo intrínseco, incluso si el modelo es perfecto.
  3. Definición Ex Post: Los grupos de interés a menudo se definen después del entrenamiento del modelo (por gerentes o auditores), lo que significa que el modelo no fue optimizado para recuperar efectos específicos en esos grupos.

2. Metodología y Marco Teórico

Los autores desarrollan un marco estadístico unificado para definir, detectar y mitigar este sesgo.

A. Definición del Sesgo de Grupo

Definen el sesgo de grupo ($b_g$) como la discrepancia entre el GATE implícito por el modelo y el GATE experimentalmente identificado:
$$b_g = E[W \hat{\tau}^f(X) | G=g] - E[W \tau(X) | G=g]$$
Donde $W$ es una función de peso que asegura la colapsabilidad.

• Para efectos aditivos, $W=1$.
• Para efectos relativos, $W = E[Y(0)|X]/E[Y(0)]$, ponderando las predicciones por el resultado basal potencial.

B. Detección (Estimación y Prueba Estadística)

Proponen un estimador no paramétrico y agnóstico al modelo para el sesgo:

1. Descomposición: El sesgo se estima como la diferencia entre el GATE predicho por el modelo (agregado correctamente con pesos) y el GATE estimado directamente desde el experimento aleatorizado (usando contraste de medias o regresión ajustada).
   $$\hat{B}_g = \hat{\tau}^f_g - \hat{\tau}_g$$
2. Inferencia: Demuestran que, bajo condiciones de regularidad estándar, el estimador del sesgo es asintóticamente normal. Esto permite construir pruebas estadísticas (test de Wald) para determinar si el sesgo es significativamente diferente de cero en un grupo específico o si difiere entre grupos.

C. Mitigación (Corrección por Contracción/Shrinkage)

Una corrección ingenua (restar el sesgo estimado $\hat{B}_g$ de cada predicción) es problemática en muestras finitas porque amplifica el ruido, especialmente en grupos pequeños o ruidosos.

• Estrategia Propuesta: Introducen un factor de contracción $\gamma_g \in [0,1]$ para corregir las predicciones: $\hat{\tau}^{corr}(X) = \hat{\tau}^f(X) - \gamma_g \hat{B}_g$.
• Optimización de Riesgo: Eligen $\gamma_g$ para minimizar el riesgo esperado (pérdida) del error residual de desviación.
  • Estrategia de Error Medio: Corrige completamente ($\gamma=1$) solo si el sesgo es estadísticamente significativo; de lo contrario, no corrige ($\gamma=0$).
  • Estrategia de Error Cuadrático Medio (MSE): Derivan una solución de forma cerrada que adapta la corrección al relación señal-ruido del sesgo estimado:
    $$\gamma_g^{MSE} = \frac{b_g^2}{b_g^2 + \sigma_g^2}$$
    Donde $b_g^2$ es el sesgo verdadero y $\sigma_g^2$ la varianza de estimación. Esto actúa como un estimador de Bayes empírico: si la estimación del sesgo es imprecisa (ruidosa), se reduce la corrección para evitar sobreajustar al ruido.

3. Contribuciones Clave

1. Marco Unificado de Detección: Proporcionan la primera metodología formal para detectar y cuantificar el sesgo de agregación en CATEs, independientemente del algoritmo de ML utilizado (Random Forests, XGBoost, Meta-learners, etc.).
2. Método de Mitigación Óptimo: Desarrollan correcciones basadas en contracción que equilibran la reducción de sesgo con la varianza, evitando el sobre-corrección que caracteriza a los métodos ingenuos.
3. Análisis Económico de la Compensación (Trade-off): Analizan cómo la corrección del sesgo afecta la toma de decisiones de personalización orientada al lucro. Demuestran que corregir el sesgo para inferencia causal a nivel de grupo puede alterar las decisiones de targeting individuales, potencialmente reduciendo las ganancias si el modelo original, aunque sesgado, capturaba mejor la heterogeneidad para la optimización de beneficios.
4. Validación Empírica: Validan el marco con datos reales a gran escala de Booking.com (pruebas A/B) y el conjunto de datos Criteo Uplift, demostrando que el sesgo es real, sistemático y mitigable.

4. Resultados Empíricos

• En Booking.com:
  • Se observó que el modelo de CATE subestimaba sistemáticamente los efectos en grupos pequeños (países con menos datos) y los sobreestimaba en grupos grandes.
  • La agregación simple de las predicciones del modelo resultó en estimaciones de GATE que no coincidían con los resultados experimentales reales.
  • Las estrategias de mitigación basadas en riesgo (MSE-) lograron alinear las predicciones corregidas con los GATEs experimentales, reduciendo la dispersión y el error cuadrático medio, mientras que la corrección ingenua aumentó la varianza.
• En Criteo (Simulación de Targeting):
  • La corrección del sesgo alteró las decisiones de targeting para un subconjunto de usuarios (aquellos cerca del umbral de rentabilidad).
  • Hallazgo crucial: Las estrategias de contracción (MSE-) y de error medio causaron pérdidas de beneficios marginales y estadísticamente insignificantes en comparación con la política no corregida, mientras que la corrección ingenua generó pérdidas significativas debido a la introducción de ruido en las decisiones.
  • Esto sugiere que es posible mejorar la inferencia causal a nivel de grupo sin sacrificar significativamente la eficiencia del targeting personalizado, siempre que se utilice una corrección adaptativa al ruido.

5. Significado e Implicaciones

• Para la Práctica Empresarial: El artículo advierte que confiar ciegamente en la agregación de predicciones de ML para reportes de alto nivel (por segmentos) puede llevar a conclusiones causales erróneas. Proporciona una herramienta práctica (fácil de implementar, solo requiere momentos muestrales) para auditar y corregir estos reportes sin necesidad de reentrenar modelos costosos.
• Para la Investigación Causal: Extiende el concepto de colapsabilidad de efectos poblacionales a efectos de subgrupos, mostrando que la "justicia" o "equidad" en la inferencia causal requiere atención a cómo se agregan los efectos individuales.
• Compensación entre Inferencia y Decisión: El trabajo aclara que la corrección de sesgo para la inferencia (obtener un GATE preciso) y la optimización de decisiones (maximizar beneficios) no son siempre alineadas. Sin embargo, las estrategias de contracción inteligente permiten navegar este compromiso, ofreciendo inferencias más fiables con un costo económico mínimo.
• Robustez: El marco es agnóstico al modelo, no requiere supuestos fuertes sobre la distribución de los datos y funciona tanto para efectos aditivos como relativos, lo que lo hace aplicable en diversos dominios (marketing, salud, políticas públicas).

En resumen, el artículo establece que la agregación de efectos de tratamiento heterogéneos introduce un sesgo sistemático que debe ser tratado estadísticamente, y propone un método riguroso y eficiente para detectarlo y corregirlo, equilibrando la precisión causal con la estabilidad de las decisiones de negocio.