The Honest Truth About Causal Trees: Accuracy Limits for Heterogeneous Treatment Effect Estimation

Aquí presento un resumen técnico detallado del artículo "The Honest Truth About Causal Trees: Accuracy Limits for Heterogeneous Treatment Effect Estimation" (La verdad honesta sobre los árboles causales: Límites de precisión para la estimación de efectos de tratamiento heterogéneos), escrito por Matias D. Cattaneo, Jason M. Klusowski y Ruiqi (Rae) Yu.

1. El Problema

Los árboles de decisión recursivos (específicamente los basados en el algoritmo CART) son una herramienta popular en la inferencia causal para estimar efectos de tratamiento heterogéneos (HTE), es decir, cómo varía el efecto de un tratamiento según las características observables de los individuos (CATE). Métodos como los "árboles causales honestos" (Athey y Imbens, 2016) y los "bosques causales" se han adoptado ampliamente en la investigación académica y la industria.

Sin embargo, las propiedades estadísticas fundamentales de estos estimadores, especialmente su tasa de convergencia uniforme en espacios de covariables de alta dimensión, permanecen poco comprendidas. La literatura existente a menudo asume condiciones fuertes (como particiones equilibradas) que no se cumplen en las implementaciones canónicas de CART. El problema central que abordan los autores es si los árboles causales construidos mediante reglas de división "greedy" (codiciosas) estándar pueden garantizar una estimación precisa y consistente de manera uniforme en todo el espacio de covariables.

2. Metodología y Marco Teórico

Los autores estudian estimadores de árboles causales bajo un modelo de efecto de tratamiento constante (donde el efecto real $\tau(x)$ es constante en todo el espacio). Este escenario es un caso límite idealizado: si un método falla aquí, fallará en escenarios más complejos.

• Datos: Muestra aleatoria $D = \{(y_i, d_i, x_i)\}$, donde $y_i$ es el resultado, $d_i$ el tratamiento y $x_i$ las covariables.
• Estimadores Analizados:
  • DIM (Diferencia de Medias): Promedio local de resultados tratados vs. control.
  • IPW (Ponderación por Probabilidad Inversa): Transformación del resultado para estimar el CATE.
  • SSE (Minimización de Suma de Cuadrados): Criterio de división basado en el ajuste de modelos lineales dentro de los nodos.
• Esquemas de Muestreo:
  • Sin división de muestra (NSS): Se usa la misma data para construir el árbol y estimar el efecto.
  • Honestidad (HON): Se divide la muestra en dos (una para construir el árbol, otra para estimar), como propone Athey e Imbens.
  • Adaptabilidad X (X-Adaptive): Un diseño intermedio donde se comparten las covariables pero se usan salidas independientes en cada paso de división.
• Herramientas Probabilísticas: El análisis se basa en nuevas aproximaciones no asintóticas para supremos de sumas parciales y procesos gaussianos. Utilizan teoremas de límite central de alta dimensión, desigualdades de comparación gaussiana y el teorema de Darling-Erdős. También corrigen un error en el trabajo clásico de Eicker [1979] sobre la distribución límite del máximo de un proceso de Ornstein-Uhlenbeck.

3. Contribuciones Clave

El artículo hace tres contribuciones principales:

1. Establecimiento de Límites Inferiores: Demuestran que los estimadores de árboles causales construidos con reglas de división greedy estándar no pueden alcanzar tasas de convergencia polinómicas en $n$ (donde $n$ es el tamaño de la muestra) en la norma uniforme, incluso bajo condiciones básicas y con efectos de tratamiento constantes.
2. Análisis de la "Honestidad": Muestran que la división de muestra ("honesty"), aunque elimina un factor logarítmico lento ($\sqrt{\log \log n}$), no resuelve el problema fundamental. Los estimadores honestos siguen convergiendo más lento que cualquier tasa polinómica en $n$ uniformemente.
3. Implicaciones para Bosques Causales: Clarifican que las garantías teóricas existentes para los bosques causales (que dependen de la suposición de $\alpha$-regularidad o particiones equilibradas) no son aplicables a las implementaciones estándar de CART, ya que estas pueden generar divisiones altamente desequilibradas con probabilidad no nula.

4. Resultados Principales

A. El Mecanismo del Fallo: Divisiones Desbalanceadas

El hallazgo central es que las reglas de división greedy de CART tienden a seleccionar divisiones altamente desequilibradas (cercanas a los bordes de los nodos) con una probabilidad que no se desvanece a cero.

• Esto ocurre incluso cuando el verdadero efecto del tratamiento es constante y la señal es plana. La variabilidad estocástica en los datos empuja al algoritmo a elegir cortes extremos para maximizar la ganancia aparente.
• Como resultado, se generan nodos terminales con muy pocas observaciones (células pequeñas).
• En estas regiones, la varianza de estimación es enorme, impidiendo que el estimador se concentre uniformemente alrededor del verdadero efecto.

B. Teoremas de Convergencia

• Teorema 1 (Precisión Uniforme): Para cualquier $b \in (0, 1)$, la probabilidad de que el error supremo supere una tasa $n^{-b/2}$ (o $n^{-b/2}\sqrt{\log \log n}$ para casos sin división) es estrictamente positiva. Esto implica que la convergencia es arbitrariamente lenta en ciertas regiones del espacio de covariables.
• Teorema 2 (Precisión en Cuadrado Medio Integrado - IMSE): Curiosamente, si se mide el error en promedio sobre todo el espacio (norma $L^2$), los árboles sí pueden alcanzar tasas de convergencia favorables (cercanas a óptimas). Esto resalta una tensión fundamental: los árboles pueden tener buen rendimiento predictivo promedio pero fallar estrepitosamente en la estimación puntual uniforme.

C. Inconsistencia en Árboles Profundos

• Teorema 3: En diseños de adaptabilidad X, si la profundidad del árbol crece suficientemente rápido (específicamente $K_n \gtrsim \log \log n$), el estimador se vuelve uniformemente inconsistente. Es decir, el error máximo no tiende a cero, incluso con muestras infinitas.

D. Implicaciones para la Inferencia

Dado que existen regiones con tamaño de muestra efectivo que no crece con $n$, las aproximaciones gaussianas estándar y las fórmulas de error estándar utilizadas para construir intervalos de confianza no son válidas en esas regiones. Esto pone en duda la validez de la inferencia basada en árboles y bosques causales sin condiciones adicionales de regularidad.

5. Significado y Discusión

• Limitación Fundamental del CART: El artículo demuestra que la adaptividad de los árboles, que es su mayor fortaleza, es también su debilidad para la estimación uniforme. La capacidad de "descubrir" subgrupos lleva a la creación de nodos pequeños y de alta varianza.
• Regularización y Sesgo: Una solución práctica común es imponer un tamaño mínimo de nodo. Sin embargo, los autores argumentan que esto introduce un sesgo de aproximación significativo si el efecto del tratamiento no es localmente constante, y debilita la adaptividad que hace atractivos a los árboles.
• Revisión de la Literatura sobre Bosques: Las garantías de consistencia para los bosques causales (Wager y Athey, 2018) asumen que cada división mantiene una fracción $\alpha$ de las observaciones en cada hijo. El paper muestra que esta suposición es incompatible con el algoritmo CART canónico. Por lo tanto, las garantías teóricas actuales no se aplican directamente a las implementaciones estándar sin modificaciones algorítmicas sustanciales.
• Corrección Técnica: Como subproducto técnico, los autores identifican y corrigen un error en el teorema 5 de Eicker [1979] sobre la distribución límite de los supremos de procesos empíricos, lo cual es crucial para la validez de sus propias demostraciones.

Conclusión

El artículo ofrece una "verdad honesta" y pesimista: los árboles de decisión recursivos estándar, incluso con honestidad, no son consistentes uniformemente para la estimación de efectos de tratamiento heterogéneos. Su rendimiento puede ser excelente en promedio (L2), pero falla catastróficamente en regiones específicas del espacio de covariables debido a la generación de nodos con pocas observaciones. Esto sugiere que los investigadores y practicantes deben ser extremadamente cautelosos al interpretar la precisión puntual y los intervalos de confianza derivados de estos métodos sin una validación rigurosa de las condiciones de equilibrio de los nodos.