Resumo Técnico: Rede de Atenção Cross-Head com Score de Propensão Inverso sob Confundimento Não Observado

1. Definição do Problema

A modelagem de uplift visa estimar o Efeito de Tratamento Individual (ITE), definido como o efeito marginal de um tratamento sobre o comportamento de um indivíduo. Este artigo aborda dois desafios primários neste domínio:

1. Modelagem Intergrupal Inflexível: Métodos existentes têm dificuldade em aproveitar simultaneamente a similaridade inerente entre os grupos de tratamento e controle enquanto mantêm a discriminação suficiente para variações induzidas pelo tratamento. Muitas abordagens ou tratam os grupos de forma independente (ignorando estruturas compartilhadas) ou utilizam arquiteturas de múltiplas tarefas rígidas que carecem de mecanismos de interação dinâmica.
2. Confundimento Não Observado: Modelos de uplift padrão frequentemente dependem da suposição de "ignorabilidade forte", postulando que todos os confundidores são observados. No entanto, em sistemas complexos do mundo real (ex: lances de publicidade), confundidores latentes influenciam tanto a atribuição do tratamento quanto os resultados. Sob tal confundimento não observado, o peso de Score de Propensão Inverso (IPS) padrão falha em fornecer estimativas imparciais, e a identificabilidade do ITE é comprometida sem suposições adicionais ou dados.

2. Metodologia

O framework proposto consiste em dois componentes principais: a Rede de Atenção Cross-Head de Uplift (CHAUN) para a arquitetura e o Score de Propensão Inverso Adversário Robusto (RA-IPS) para mitigação de viés sob confundimento não observado.

2.1 Rede de Atenção Cross-Head de Uplift (CHAUN)

A CHAUN é projetada para modelar flexivelmente as correlações intergrupais através de uma arquitetura de cabeça dupla aprimorada por mecanismos de atenção.

• Embedding de Características Compartilhadas: Características contínuas e esparsas são processadas em uma representação compartilhada unificada ($x_{rep}$).
• Codificação de Dupla Ramificação: A rede emprega MLPs paralelas para gerar representações latentes específicas para o tratamento ($x^t_{rep}$) e para o controle ($x^c_{rep}$).
• Atenção Cross-Head: Em vez de cabeças de predição independentes, a CHAUN utiliza um mecanismo de fusão baseado em portão de atenção (attention-gated fusion). Ela calcula pesos de atenção baseados na similaridade do produto interno entre as representações de tratamento e controle. Isso permite que o modelo integre dinamicamente informações intergrupais, onde a predição final para cada grupo é uma combinação ponderada de ambas as representações. Este design explora explicitamente a similaridade intergrupal enquanto preserva a heterogeneidade específica do tratamento.
• Aprendizado de Propensão: Um Aprendiz de Propensão separado estima o score de propensão nominal $\hat{p}(x)$ usando a representação compartilhada. Para evitar soluções patológicas (ex: $\hat{p}(x) = t$), uma restrição de regularização global é imposta com base na propriedade teórica de que o valor esperado dos pesos de propensão inversa é igual a 1.

2.2 Score de Propensão Inverso Adversário Robusto (RA-IPS)

Para abordar os confundidores não observados sem exigir o acesso aos verdadeiros scores de propensão $\pi(x, u)$, os autores propõem o RA-IPS.

• Fundamentação Teórica: O artigo prova (Teorema 1) que, se os scores de propensão reais (incluindo confundidores não observados) fossem conhecidos, o ITE seria identificável e o estimador IPS seria imparcial, mesmo sem observar os confundidores diretamente.
• Formulação Adversária: Como os scores de propensão reais não estão disponíveis, o RA-IPS assume que o verdadeiro score de propensão reside em uma vizinhança do score de propensão nominal $\tilde{\pi}(x)$. O score verdadeiro é modelado como uma perturbação do score nominal no espaço logit, limitada por um hiperparâmetro $\Gamma$ que representa a força do confundimento não observado.
• Conjunto de Incerteza e Otimização: O método define um conjunto de incerteza para os pesos de propensão. Diferente de métodos robustos anteriores (ex: RD-IPS) que podem levar a configurações de pesos inviáveis, o RA-IPS introduz uma restrição global garantindo que a soma dos verdadeiros pesos convirja para a soma dos pesos nominais (baseado na Lei dos Grandes Números).
• Otimização de Pior Caso: O modelo otimiza para o pior cenário dentro deste conjunto de incerteza restrito. Isso é alcançado maximizando a perda IPS sobre pesos admissíveis enquanto penaliza desvios da distribuição de peso nominal, aumentando assim a robustez contra o confundimento não observado.

3. Principais Contribuições

1. Arquitetura CHAUN: Um novo framework de modelagem de uplift que utiliza atenção cross-head para mediar dinamicamente as interações entre as representações de tratamento e controle, equilibrando efetivamente a similaridade intergrupal e a discriminação específica do tratamento.
2. Identificabilidade sob Confundimento Não Observado: Uma prova teórica demonstrando que o acesso aos verdadeiros scores de propensão é uma condição suficiente para a identificabilidade do ITE e para a estimativa imparcial de IPS, mesmo quando existem confundidores não observados.
3. Método RA-IPS: Uma técnica de mitigação de viés robusta que não requer os verdadeiros scores de propensão. Ela utiliza aprendizado adversário sobre um conjunto de incerteza teoricamente fundamentado para mitigar o viés de confundidores não observados.
4. Validação Empírica: Experimentos extensos em conjuntos de dados públicos (CRITEO-UPLIFT, LAZADA) e um conjunto de dados de produção de e-commerce.

4. Resultados Experimentais

Os autores avaliaram a CHAUN e o RA-IPS contra baselines de estado da arte (incluindo S-Learner, T-Learner, TARNet, CFRNet, DragonNet, entre outros).

• Desempenho Geral: A CHAUN alcançou resultados de estado da arte em todos os três conjuntos de dados, obtendo o ranking top-1 em 9 de 12 métricas de avaliação (LIFT@30, AUUC, QINI, PUC). Demonstrou melhorias relativas de até 25,6% nos scores QINI em comparação ao baseline DragonNet.
• Robustez ao Confundimento Não Observado: Em experimentos simulando confundidores não observados (via mascaramento de características), o RA-IPS superou o IPS padrão e o método RD-IPS. O RA-IPS alcançou uma melhoria de até 5,4% nos scores QINI sobre o IPS padrão em cenários de confundimento não observado.
• Estudos de Ablação: Remover o módulo de atenção cross-head (BaseNet) ou substituí-lo por MMoE resultou em degradação de desempenho, particularmente em conjuntos de dados de alta dimensão, validando a eficácia do mecanismo de atenção específico na CHAUN.
• Análise de Sensibilidade: O desempenho do RA-IPS mostrou-se estável para pequenos valores do hiperparâmetro de força de confundimento $\Gamma$, com o desempenho flutuando conforme $\Gamma$ aumentava, sugerindo a necessidade de um ajuste cuidadoso quando a força do confundimento é desconhecida.

5. Significância e Alegações

O artigo afirma que seus métodos propostos abordam limitações críticas na modelagem de uplift atual:

• Flexibilidade Arquitetural: A CHAUN fornece um framework generalizado que supera a rigidez das arquiteturas de múltiplas cabeças existentes ao modelar dinamicamente as correlações intergrupais através de atenção.
• Rigor Teórico na Mitigação de Viés: Ao estabelecer a suficiência dos verdadeiros scores de propensão para a identificabilidade, o artigo fornece uma base teórica para a mitigação robusta de viés.
• Robustez Prática: O RA-IPS oferece uma solução prática para cenários do mundo real onde confundidores não observados são prevalentes e os verdadeiros scores de propensão são inacessíveis, melhorando significativamente a estabilidade e a precisão dos modelos em tarefas de inferência causal.

Os autores concluem que sua abordagem valida a eficácia da combinação de arquiteturas baseadas em atenção flexíveis com técnicas de robustez adversária para inferência causal no mundo real.