Towards Representation Learning for Weighting Problems in Design-Based Causal Inference

Aquí presento un resumen técnico detallado del artículo "Towards Representation Learning for Weighting Problems in Design-Based Causal Inference" (Hacia el Aprendizaje de Representaciones para Problemas de Ponderación en Inferencia Causal Basada en Diseño), estructurado según los puntos solicitados.

---

1. El Problema: Limitaciones en la Ponderación Basada en Diseño

En la inferencia causal, los métodos de ponderación (reweighting) son fundamentales para estimar efectos causales, generalizar resultados de ensayos controlados aleatorizados (RCT) a poblaciones observacionales o ajustar por factores de confusión. El objetivo es encontrar pesos $w(X)$ que transformen la distribución de covariables de una fuente ($P$) para que coincida con una distribución objetivo ($Q$), minimizando la distancia entre ambas.

El desafío central abordado en este trabajo es el de la inferencia causal basada en diseño (design-based). En este contexto:

• Restricción de Información: Los pesos deben calcularse sin utilizar información de los resultados ($Y$). Esto es crucial en estudios de cohortes prospectivas, encuestas donde los resultados aún no se han recolectado, o en la fase de diseño de estudios observacionales para separar el diseño del análisis.
• Dependencia del Proceso Generador de Datos (DGP): Los pesos óptimos (derivada de Radon-Nikodym) dependen del DGP desconocido.
• El Dilema de la Representación: Para estimar estos pesos, los métodos existentes suelen asumir una representación específica de los covariables (ej. puntuaciones de propensión, reducción de dimensión suficiente). Sin embargo, si esta representación está mal especificada, se introduce un sesgo que no puede ser verificado ni controlado sin conocer los resultados. Los métodos actuales que aprenden representaciones (como DeepMatch o RieszNet) a menudo requieren resultados para su entrenamiento o solo garantizan propiedades teóricas bajo supuestos muy restrictivos del DGP.

2. Metodología Propuesta

Los autores proponen un marco teórico y un algoritmo end-to-end que aprende una representación flexible $\phi(X)$ minimizando el error de la representación sin necesidad de observar los resultados.

A. Descomposición Teórica del Sesgo

El núcleo de la contribución teórica es la descomposición del sesgo total del estimador ponderado en tres componentes:

1. Sesgo respecto a la representación: El error al estimar pesos basados en $\phi(X)$ en lugar de $X$.
2. Sesgo de los pesos elegidos: Cero si los pesos son funciones puras de la representación aprendida.
3. Sesgo de Confusión (Confounding Bias): La pérdida de información crítica al mapear $X$ a $\phi(X)$. Mide cuánto $\phi(X)$ preserva la "no confusión" (unconfoundedness) en comparación con $X$.

B. Error de Puntuación de Balanceo (Balancing Score Error - BSE)

Dado que el sesgo de confusión depende de modelos desconocidos (el modelo de resultados y los pesos verdaderos), los autores introducen el Error de Puntuación de Balanceo (BSE).

• El BSE cuantifica la diferencia entre los pesos verdaderos $dQ/dP$ y su proyección condicional sobre la representación $\phi(X)$.
• Teorema Clave: Se demuestra que el sesgo de confusión está acotado por el producto de la norma $L_2$ del modelo de resultados y el BSE.
• Ventaja: El BSE no depende de los resultados ($Y$), solo de las distribuciones marginales de las covariables ($P_X$ y $Q_X$). Esto permite optimizar la representación sin violar el principio de "basado en diseño".

C. Algoritmo de Aprendizaje (AutoDML Loss)

Para minimizar el BSE sin conocer los pesos verdaderos, el método utiliza una pérdida inspirada en el Automatic Debiased Machine Learning (AutoDML):

1. Red Neuronal: Se define una red neuronal que aprende una representación $\phi(x; \theta_\phi)$ y una función escalar $g(\cdot; \theta_g)$.
2. Pérdida de AutoDML: Se minimiza la función de pérdida $L_{P,Q}(v) = E_P[v(X)^2] - 2E_Q[v(X)]$, donde $v(x) = g(\phi(x))$. Esta pérdida es un estimador no sesgado de la distancia al cuadrado entre los pesos verdaderos y la función aprendida (salvo una constante).
3. Entrenamiento: Se entrena la red para minimizar esta pérdida. La capa intermedia de la red (la representación $\phi$) se extrae.
4. Ponderación Final: Una vez obtenida la representación $\phi$, se aplica un método de ponderación estándar (como Kernel Optimal Matching - KOM) utilizando $\phi$ como entrada en lugar de $X$ original.

3. Contribuciones Clave

1. Cuantificación Teórica del Error de Representación: Proporcionan la primera descomposición rigurosa del sesgo en problemas de ponderación general que incluye el "sesgo de confusión" y el "error de puntuación de balanceo" (BSE), ofreciendo garantías de sesgo para cualquier modelo de resultados dentro de una clase dada.
2. Método sin Resultados (Outcome-Agnostic): A diferencia de DeepMatch o RieszNet, su enfoque no utiliza información de los resultados para aprender la representación, cumpliendo estrictamente con los requisitos de la inferencia basada en diseño.
3. Marco Generalizado: Extienden conceptos como puntuaciones de balanceo, puntuaciones pronósticas y puntuaciones de desconfusión a un marco unificado que aplica a estimación de ATT, ATE y transportabilidad.
4. Algoritmo Práctico: Desarrollan un procedimiento eficiente que combina redes neuronales para aprender la representación y optimización cuadrática (QP) para calcular los pesos finales, demostrando viabilidad computacional.

4. Resultados Experimentales

Los autores evaluaron su método en tres conjuntos de datos estándar: IHDP (simulado), News (alto dimensional) y TBI (lesión cerebral traumática, para transportabilidad).

• Comparación: Se compararon contra métodos basados en covariables originales, PCA, puntuaciones de propensión (PS), Neural Score Matching (NSM), y ponderación por entropía.
• Rendimiento:
  • La combinación de su representación aprendida con Kernel Optimal Matching (KOM) (tanto con kernel de energía como lineal) generalmente superó a todos los demás métodos en términos de sesgo conjunto (Joint Bias).
  • En el conjunto de datos News (3477 dimensiones), el uso de la representación aprendida aceleró significativamente el cálculo de la ponderación por energía al reducir la dimensionalidad, manteniendo un bajo sesgo.
  • En TBI, el método demostró robustez frente a pesos extremos que afectaban a otros métodos (como la cabeza de la red neuronal usada en el entrenamiento).
• Hallazgo Importante: En el conjunto IHDP, el uso de covariables originales a veces fue mejor que la reducción de dimensionalidad, lo que sugiere que la reducción de dimensión no siempre es beneficiosa si la información relevante es binaria y dispersa. Sin embargo, el método propuesto fue consistente en no empeorar significativamente el rendimiento.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Puente entre Teoría y Práctica: Cierra la brecha entre la teoría de representaciones óptimas (que a menudo asumen modelos bien especificados) y la práctica, proporcionando un mecanismo para aprender representaciones robustas sin suposiciones rígidas sobre el DGP.
• Validación del Diseño Causal: Refuerza la importancia de separar el diseño del análisis en estudios observacionales, ofreciendo una herramienta que permite preparar los datos (ponderación) antes de observar los resultados, evitando el "data snooping" o sobreajuste a los resultados.
• Generalidad: El marco es aplicable a una amplia gama de problemas (ATE, ATT, transportabilidad) y puede extenderse a datos multimodales (texto, imágenes, tabulares).
• Nueva Métrica de Calidad: Introduce el BSE como una métrica cuantificable y optimizable para evaluar la calidad de una representación en contextos de inferencia causal, algo que antes carecía de una definición operativa sin resultados.

En resumen, el artículo propone un avance fundamental en la inferencia causal basada en diseño, demostrando que es posible aprender representaciones de covariables de alta calidad que minimizan el sesgo de confusión utilizando únicamente la información de las distribuciones de covariables, sin necesidad de acceder a los resultados de interés.