Resumen Técnico: Red de Atención de Cabezal Cruzado con Puntaje de Propensión Inversa bajo Confusión No Observada

1. Definición del Problema

El modelado de uplift busca estimar el Efecto del Tratamiento Individual (ITE, por sus siglas en inglés), definido como el efecto marginal de un tratamiento sobre el comportamiento de un individuo. Este artículo aborda dos desafíos primarios en este dominio:

1. Modelado Intergrupal Inflexible: Los métodos existentes tienen dificultades para aprovechar simultáneamente la similitud inherente entre los grupos de tratamiento y control mientras mantienen una discriminación suficiente para las variaciones inducidas por el tratamiento. Muchos enfoques tratan a los grupos de forma independiente (ignorando estructuras compartidas) o utilizan arquitecturas de tareas múltiples rígidas que carecen de mecanismos de interacción dinámica.
2. Confusión No Observada: Los modelos de uplift estándar suelen depender del supuesto de "ignorabilidad fuerte", que postula que todos los confundidores están observados. Sin embargo, en sistemas complejos del mundo real (por ejemplo, la puja de publicidad), los confundidores latentes influyen tanto en la asignación del tratamiento como en los resultados. Bajo tal confusión no observada, el ponderado estándar de Puntaje de Propensión Inversa (IPS) falla al proporcionar estimaciones insesgadas, y la identificabilidad del ITE se ve comprometida sin supuestos adicionales o datos.

2. Metodología

El marco propuesto consta de dos componentes principales: la Red de Atención de Cabezal Cruzado (CHAUN) para la arquitectura y el Puntaje de Propensión Inversa Adversario Robusto (RA-IPS) para la eliminación de sesgos bajo confusión no observada.

2.1 Red de Atención de Cabezal Cruzado (CHAUN)

CHAUN está diseñada para modelar de manera flexible las correlaciones intergrupales a través de una arquitectura de doble cabezal mejorada por mecanismos de atención.

• Incrustación de Características Compartidas: Las características continuas y dispersas se procesan en una representación compartida unificada ($x_{rep}$).
• Codificación de Doble Rama: La red emplea MLPs paralelos para generar representaciones latentes específicas del tratamiento ($x^t_{rep}$) y del control ($x^c_{rep}$).
• Atención de Cabezal Cruzado: En lugar de cabezales de predicción independientes, CHAUN utiliza un mecanismo de fusión con compuerta de atención. Calcula pesos de atención basados en la similitud del producto interno entre las representaciones de tratamiento y control. Esto permite al modelo integrar dinámicamente la información intergrupal, donde la predicción final para cada grupo es una combinación ponderada de ambas representaciones. Este diseño explota explícitamente la similitud intergrupal mientras preserva la heterogeneidad específica del tratamiento.
• Aprendizaje de la Propensión: Un Aprendiz de Propensión separado estima el puntaje de propensión nominal $\hat{p}(x)$ utilizando la representación compartida. Para evitar soluciones patológicas (por ejemplo, $\hat{p}(x) = t$), se impone una restricción de regularización global basada en la propiedad teórica de que el valor esperado de los pesos de la propensión inversa es igual a 1.

2.2 Puntaje de Propensión Inversa Adversario Robusto (RA-IPS)

Para abordar los confundidores no observados sin requerir acceso a los verdaderos puntajes de propensión $\pi(x, u)$, los autores proponen RA-IPS.

• Fundamento Teórico: El artículo demuestra (Teorema 1) que si los puntajes de propensión reales (incluyendo los confundidores no observados) fueran conocidos, el ITE sería identificable y el estimador IPS sería insesgado, incluso sin observar directamente los confundidores.
• Formulación Adversaria: Dado que los verdaderos puntajes de propensión no están disponibles, RA-IPS asume que el verdadero puntaje de propensión se encuentra dentro de una vecindad del puntaje de propensión nominal $\tilde{\pi}(x)$. El puntaje real se modela como una perturbación del puntaje nominal en el espacio logit, acotada por un hiperparámetro $\Gamma$ que representa la fuerza de la confusión no observada.
• Conjunto de Incertidumbre y Optimización: El método define un conjunto de incertidumbre para los pesos de la propensión. A diferencia de otros métodos robustos previos (por ejemplo, RD-IPS) que pueden conducir a configuraciones de pesos inviables, RA-IPS introduce una restricción global que asegura que la suma de los pesos reales converja a la suma de los pesos nominales (basado en la Ley de los Grandes Números).
• Optimización del Peor Caso: El modelo optimiza para el peor escenario dentro de este conjunto de incertidumbre restringido. Esto se logra maximizando la pérdida de IPS sobre los pesos admisibles mientras se penalizan las desviaciones de la distribución de pesos nominales, mejorando así la robustez contra la confusión no observada.

3. Contribuciones Clave

1. Arquitectura CHAUN: Un nuevo marco de modelado de uplift que utiliza la atención de cabezal cruzado para mediar dinámicamente las interacciones entre las representaciones de tratamiento y control, equilibrando eficazmente la similitud intergrupal y la discriminación específica del tratamiento.
2. Identificabilidad bajo Confusión No Observada: Una prueba teórica que demuestra que el acceso a los verdaderos puntajes de propensión es una condición suficiente para la identificabilidad del ITE y la estimación insesgada de IPS, incluso cuando existen confundidores no observados.
3. Método RA-IPS: Una técnica de eliminación de sesgo robusta que no requiere los verdaderos puntajes de propensión. Aprovecha el aprendizaje adversario sobre un conjunto de incertidumbre teóricamente fundamentado para mitigar el sesgo de los confundidores no observados.
4. Validación Empírica: Experimentos extensos en conjuntos de datos públicos (CRITEO-UPLIFT, LAZADA) y un conjunto de datos de producción de comercio electrónico.

4. Resultados Experimentales

Los autores evaluaron CHAUN y RA-IPS frente a líneas base de vanguardia (incluyendo S-Learner, T-Learner, TARNet, CFRNet, DragonNet, entre otros).

• Desempeño General: CHAUN logró resultados de vanguardia en los tres conjuntos de datos, obteniendo el primer lugar en 9 de las 12 métricas de evaluación (LIFT@30, AUUC, QINI, PUC). Demostró mejoras relativas de hasta un 25.6% en los puntajes QINI en comparación con la línea base DragonNet.
• Robustez ante la Confusión No Observada: En experimentos que simulan confundidores no observados (mediante el enmascaramiento de características), RA-IPS superó al IPS estándar y al método RD-IPS. RA-IPS logró una mejora de hasta un 5.4% en los puntajes QINI sobre el IPS estándar en escenarios de confusión no observada.
• Estudios de Ablación: Eliminar el módulo de atención de cabezal cruzado (BaseNet) o reemplazarlo con MMoE resultó en una degradación del desempeño, particularmente en conjuntos de datos de alta dimensionalidad, validando la eficacia del mecanismo de atención específico en CHAUN.
• Análisis de Sensibilidad: Se demostró que el desempeño de RA-IPS es estable para valores pequeños del hiperparámetro de fuerza de confusión $\Gamma$, con el desempeño fluctuando a medida que $\Gamma$ aumenta, lo que sugiere la necesidad de un ajuste cuidadoso cuando la fuerza de la confusión es desconocida.

5. Significado y Reivindicaciones

El artículo afirma que sus métodos propuestos abordan limitaciones críticas en el modelado de uplift actual:

• Flexibilidad Arquitectónica: CHAUN proporciona un marco generalizado que supera la rigidez de las arquitecturas de múltiples cabezales existentes mediante el modelado dinámico de las correlaciones intergrupales a través de la atención.
• Rigor Teórico en la Eliminación de Sesgos: Al establecer la suficiencia de los verdaderos puntajes de propensión para la identificabilidad, el artículo proporciona una base teórica para la eliminación de sesgos robusta.
• Robustez Práctica: RA-IPS ofrece una solución práctica para escenarios del mundo real donde los confundidores no observados son prevalentes y los verdaderos puntajes de propensión son inaccesibles, mejorando significativamente la estabilidad y la precisión del modelo en tareas de inferencia causal.

Los autores concluyen que su enfoque valida la efectividad de combinar arquitecturas flexibles basadas en atención con técnicas de robustez adversaria para la inferencia causal en el mundo real.