Resumen Técnico: Real vs. Semi-Simulado: Repensar la Evaluación para la Estimación del Efecto del Tratamiento

Declaración del Problema

El campo del Aprendizaje Automático Causal (Causal ML) enfrenta una desalineación crítica entre las prácticas de evaluación en investigación y los requisitos de implementación en el mundo real. Mientras que la investigación académica depende predominantemente de puntos de referencia semi-simulados y métricas contrafactuales (por ejemplo, $\sqrt{PEHE}$) que requieren resultados potenciales de verdad fundamental, las aplicaciones industriales operan bajo condiciones donde solo están disponibles resultados observables. En entornos reales, el resultado contrafactual (lo que habría sucedido bajo un tratamiento diferente) es, por definición, no observado. En consecuencia, los practicantes deben depender de métricas observables como el rendimiento de clasificación (por ejemplo, curvas de uplift) o resultados de pruebas factuales.

El problema central abordado es si los regímenes de evaluación utilizados en artículos metodológicos predicen de manera fiable el rendimiento del modelo en escenarios de implementación. Específicamente, los autores investigan si los modelos seleccionados como "mejores" por métricas contrafactuales en datos semi-simulados se transfieren efectivamente a conjuntos de datos reales cuando se evalúan utilizando métricas observables.

Metodología

Los autores realizan un estudio empírico a gran escala que involucra 117 instancias de referencia, compuestas por 112 conjuntos de datos semi-simulados y 5 conjuntos de datos del mundo real. Los tamaños de muestra varían desde cientos hasta casi 14 millones (Criteo-ITE).

Estimadores Evaluados

El estudio evalúa un conjunto exhaustivo de estimadores, que incluye:

• Meta-aprendices: Aprendices S-, T-, X-, R- y de Doble Robustez (DR) [Künzel et al., 2019; Nie and Wager, 2021].
• Aprendices Base: Regresión Lineal/Logística (LR), XGBoost (XGB) y Perceptrones Multicapa de dos capas (NN).
• Arquitecturas Especializadas: TARNet, CFR, DragonNet y Bosques Causales.

Métricas de Evaluación

Los autores comparan tres familias de métricas:

1. Basadas en Contrafactuales (Oráculo): $\sqrt{PEHE}$, Valor de la Política y $\Delta$ATE(Sim). Estas requieren acceso a ambos resultados potenciales y están restringidas a entornos semi-simulados.
2. Basadas en Resultados Observables: Pérdida factual y $\Delta$ATE (midiendo la discrepancia entre los efectos promedio del tratamiento predichos y empíricos).
3. Basadas en Clasificación Observable: Up@20, puntuación Qini y RATE AUTOC. Estas evalúan la capacidad del modelo para priorizar unidades para el tratamiento basándose en datos observados.

Diseño Experimental

El estudio aborda dos preguntas principales:

• P1 (Transferencia de Métrica): ¿Las métricas contrafactuales en datos semi-simulados inducen las mismas clasificaciones de modelos que las métricas observables?
• P2 (Transferencia de Conjunto de Datos): ¿Las clasificaciones obtenidas en puntos de referencia semi-simulados se transfieren a conjuntos de datos reales?

Los autores utilizan la $\tau$ de Kendall y pruebas de rangos con signo de Wilcoxon para cuantificar el acuerdo entre las clasificaciones inducidas por las métricas. También realizan un estudio de caso emparejado utilizando el conjunto de datos Criteo (real) y Criteo-ITE (variante semi-simulada derivada de la misma fuente) para aislar el efecto del régimen de evaluación de las diferencias en las covariables.

Resultados Clave

1. Desconexión de Métricas (P1)

El estudio encuentra que las métricas contrafactuales no recuperan de manera fiable los estimadores preferidos por las métricas observables, incluso en los mismos puntos de referencia semi-simulados.

• Divergencia de Clasificación: Los modelos seleccionados como "mejores" por $\sqrt{PEHE}$ a menudo incurren en un arrepentimiento sustancial cuando se evalúan en métricas de clasificación como Up@20 o Qini. Por ejemplo, el estimador seleccionado por $\sqrt{PEHE}$ se clasificó en promedio en el puesto 13 bajo Up@20.
• Significancia Estadística: El acuerdo entre las métricas de clasificación es significativamente mayor (media $\tau = 0.355$) que el acuerdo entre las métricas de clasificación y las contrafactuales (media $\tau = 0.256$).
• Implicación: Tratar las métricas contrafactuales como el estándar de oro para la selección de modelos puede llevar a seleccionar estimadores que son subóptimos para objetivos orientados a la implementación.

2. No Transferibilidad del Conjunto de Datos (P2)

Las clasificaciones obtenidas en puntos de referencia semi-simulados no se transfieren a conjuntos de datos reales, incluso cuando se utilizan métricas observables idénticas.

• Ganadores Inconsistentes: Los métodos que dominan los puntos de referencia semi-simulados (por ejemplo, DragonNet, DR-LR en IHDP) a menudo no aparecen en los primeros puestos de los conjuntos de datos del mundo real.
• Cambios de Clasificación: Existe una dispersión significativa en los cambios de clasificación ($\Delta$Rank) entre datos semi-simulados y reales. Por ejemplo, los estimadores basados en R y DR a menudo mejoran en las clasificaciones de datos reales, mientras que los aprendices T y X pueden deteriorarse.
• Estudio de Caso Emparejado: Incluso en el estudio emparejado de Criteo (mismas covariables y asignaciones de tratamiento, diferente generación de resultados), el orden general de los estimadores cambió entre los entornos contrafactual (Criteo-ITE) y observable (Criteo).

3. Observaciones Prácticas

• Dominio de Aprendices Base: Los meta-aprendices simples combinados con estructuras de predicción sólidas (específicamente XGBoost) son consistentemente competitivos en todos los regímenes. T(XGB), X(XGB) y S(XGB) dominan las clasificaciones generales.
• Modelos Especializados: Las arquitecturas neuronales especializadas (por ejemplo, DragonNet, CFR) generalmente tienen un rendimiento inferior en comparación con los meta-aprendices simples con estructuras tabulares, excepto cuando se evalúan específicamente bajo métricas contrafactuales semi-simuladas.

Significado y Afirmaciones

El artículo argumenta que el campo de la estimación del efecto del tratamiento enfrenta tanto un problema de métrica como un problema de conjunto de datos.

1. Reevaluación de los Protocolos de Evaluación: Los autores afirman que el progreso en Causal ML no debe evaluarse únicamente mediante métricas contrafactuales de estilo oráculo y puntos de referencia semi-simulados. Estos regímenes pueden recompensar métodos con sesgos inductivos que se alinean con los mecanismos de simulación en lugar de la asignación de tratamiento en el mundo real o el ruido de los resultados.
2. Necesidad de Validación con Datos Reales: El estudio aboga por la incorporación de métricas observables y validación con datos reales para cerrar la brecha entre la investigación y la implementación.
3. Estándares de Referencia: Los autores sugieren que los artículos metodológicos deben incluir meta-aprendices simples con estructuras de predicción sólidas (como XGBoost) como líneas base, ya que los modelos causales especializados a menudo no logran superarlos en entornos observables orientados a la implementación.

El artículo concluye que, aunque los puntos de referencia semi-simulados son útiles para pruebas de estrés y análisis controlado, son insuficientes como guías independientes para aplicaciones prácticas. El trabajo futuro debe centrarse en desarrollar protocolos de evaluación que conecten mejor la evaluación contrafactual de estilo oráculo con criterios observables orientados a la implementación.