Hybrid Meta-learners for Estimating Heterogeneous Treatment Effects

Resumen Técnico: Meta-aprendices Híbridos para la Estimación de Efectos de Tratamiento Heterogéneos

Planteamiento del Problema
El artículo aborda el desafío de estimar el Efecto de Tratamiento Promedio Condicional (CATE, por sus siglas en inglés), denotado como $\tau(x) = \mathbb{E}[Y(1) - Y(0) | X=x]$, a partir de datos observacionales. A diferencia del aprendizaje supervisado estándar, la estimación del CATE implica sesgos inductivos únicos debido al cambio de covariables (covariate shift) y al objetivo específico de modelar la diferencia entre dos funciones de resultados potenciales (PO), $\mu_1(x)$ y $\mu_0(x)$, en lugar de las funciones en sí mismas.

Los enfoques de "meta-aprendizaje" existentes se dividen en dos paradigmas distintos con sesgos inductivos conflictivos:

1. Meta-aprendices Indirectos (p. ej., T-learner, S-learner): Estos ajustan modelos separados para $\mu_0$ y $\mu_1$ y estiman el CATE mediante su diferencia. Funcionan bien cuando las funciones PO son complejas pero el CATE es simple. Sin embargo, sufren de "confusión inducida por la regularización", donde la regularización independiente de los PO introduce heterogeneidad espuria en la estimación del CATE.
2. Meta-aprendices Directos (p. ej., X-learner, IPW, DR): Estos construyen resultados pseudo (pseudo-outcomes) $Y_\phi$ para modelar directamente $\tau(x)$. Sobresalen cuando la función CATE es tan compleja como las PO. Sin embargo, pueden tener un desempeño deficiente cuando la construcción del resultado pseudo es ruidosa (p. ej., debido al desequilibrio en el puntaje de propensión) o cuando el CATE es significativamente más simple que las PO, ya que no logran aprovechar la simplicidad estructural del efecto.

El problema central es que ninguno de los enfoques domina consistentemente en todos los Procesos Generadores de Datos (DGP), y la complejidad relativa de las PO frente al CATE suele ser desconocida en la práctica.

Metodología: El H-learner
Los autores proponen el Aprendiz Híbrido (H-learner), una novedosa estrategia de regularización que interpola entre el aprendizaje indirecto y el directo. El H-learner entrena dos funciones intermedias, $f_0$ y $f_1$, que aproximan los resultados potenciales pero que no son necesariamente estimadores óptimos de los PO de forma individual. En su lugar, se optimizan conjuntamente para asegurar que su diferencia, $f_1(x) - f_0(x)$, aproxime con precisión el CATE.

El método opera en dos etapas:

1. Etapa 1 (Construcción de Resultados Pseudo): Se construye un resultado pseudo $Y_\phi$ utilizando transformaciones estándar (p. ej., X-learner, DR-learner) basadas en estimaciones iniciales de los parámetros de molestia (nuisance parameters).
2. Etapa 2 (Optimización Conjunta): El modelo minimiza una función de pérdida compuesta que equilibra dos objetivos:
   • Componente Indirecto ($\ell_I$): Ajuste de $f_0$ y $f_1$ a los resultados fácticos observados $Y_i$.
   • Componente Directo ($\ell_D$): Asegurar que la diferencia $(f_1(X_i) - f_0(X_i))$ se alinee con el resultado pseudo $Y_{\phi, i}$.

La función de pérdida se define como:
$$\min_{f_0, f_1} \sum_{i=1}^n (1-\lambda) \ell(Y_i, f_{T_i}(X_i)) + \lambda \left( (f_1(X_i) - f_0(X_i)) - Y_{\phi, i} \right)^2$$
donde $\lambda \in [0, 1]$ es un hiperparámetro.

• $\lambda = 0$ recupera el aprendiz indirecto.
• $\lambda = 1$ recupera el aprendiz directo.
• $0 < \lambda < 1$ crea un estimador híbrido que permite ajustes "subóptimos" de los PO individuales si esto mejora la estimación del CATE, optimizando así la relación sesgo-varianza.

Contribuciones Clave

1. Caracterización de Sesgos Inductivos: El artículo vincula explícitamente el rendimiento de los meta-aprendices con el DGP subyacente, específicamente la complejidad relativa de las PO frente al CATE y el grado de superposición de covariables.
2. Estrategia de Regularización Unificada: Se introduce el H-learner como un marco agnóstico al modelo que teórica y empíricamente tiende un puente entre los aprendices directos e indirectos.
3. Análisis Teórico: En un entorno lineal, los autores derivan una solución de forma cerrada que muestra al H-learner como una combinación ponderada por matrices de los estimadores indirectos y directos. Demuestran que bajo condiciones específicas (p. ej., cuando los sesgos de los aprendices indirectos y directos apuntan en direcciones opuestas, o cuando el aprendiz indirecto tiene un sesgo alto y el directo tiene una varianza alta), el H-lerner logra un riesgo de predicción estrictamente menor que cualquiera de los baselines.
4. Robustez Empírica: Extensos experimentos en entornos semi-sintéticos y de mundo real demuestran que el H-learner opera consistentemente en la frontera de Pareto, superando a los estados del arte en términos de baselines, incluyendo la complejidad de confusión, el desequilibrio de tratamiento y la complejidad funcional.

Resultados

• Experimentos Semi-Sintéticos: Utilizando datos derivados de IHDP con DGPs controlados, el H-learner superó consistentemente tanto a TARNet (indirecto) como a X-learner (directo).
  • En escenarios con alta compartición de características (CATE simple), el H-learner se adaptó favoreciendo la regularización directa.
  • En escenarios de alto desequilibrio o fuerte confusión, se adaptó para mitigar las debilidades de los enfoques puros indirectos o directos.
  • El $\lambda$ óptimo se encontró consistentemente estrictamente entre 0 y 1, confirmando el beneficio de la interpolación.
• Evaluación de Benchmarks: En los conjuntos de datos IHDP y ACIC 2016, el H-learner (específicamente usando resultados pseudo de X-learner) logró los puntajes de Precisión en la Estimación del Efecto Heterogéneo (PEHE) más bajos entre todos los baselines, incluyendo T-learner, TARNet, IPW, DR, X-learner y otros métodos de regularización especializados como Weight Regularization (TARNet-WR), OffsetNet y FlexTENet.
• Comparación con otras Regularizaciones: El artículo señala que las estrategias de regularización existentes (penalización de pesos, reparametrización, compartición estructural) a menudo asumen efectos de tratamiento pequeños o estructuras específicas. Cuando estas suposiciones se violan, estos métodos degradan su rendimiento, mientras que el H-learner permanece robusto sin tales suposiciones estructurales.

Significancia y Reivindicaciones
El artículo afirma que el H-learner proporciona una solución robusta al problema de "no hay almuerzo gratis" (no free lunch) en la estimación del CATE. Al interpolar adaptativamente los sesgos inductivos de los aprendices directos e indirectos, el H-learner elimina la necesidad de conocer la estructura del DGP de antemano. Los autores sostienen que permitir intencionalmente ajustes subóptimos para los resultados potenciales individuales puede mejorar la relación sesgo-varianza para el efecto de tratamiento, un conocimiento contraintuitivo que conduce a un rendimiento de vanguardia en diversas condiciones de datos. El método se presenta como una estrategia general y agnóstica al modelo, compatible con diversas arquitecturas de aprendizaje automático.