Resumo Técnico: Robust X-Learner (RX-Learner)

1. Definição do Problema

O artigo aborda um desafio duplo crítico na estimativa de Efeitos Heterogêneos de Tratamento (HTE) em aplicações industriais como AdTech e saúde: desbalanceamento extremo de classes e distribuições de resultados de cauda pesada (heavy-tailed).

Embora o framework padrão do X-Learner (Künzel et al., 2019) mitigue efetivamente o desbalanceamento por meio de imputação cruzada (tomando emprestada informações do grupo majoritário para estimar efeitos para o minoritário), ele falha catastroficamente quando os dados contêm outliers de cauda pesada ("whales" ou baleias). Os autores identificam um modo de falha específico denominado "Outlier Smearing" (Espalhamento de Outliers).

No X-Learner padrão, que se baseia na minimização do Erro Quadrático Médio (MSE):

1. Propagação de Viés: Se o grupo minoritário (ex: grupo de tratamento) contiver mesmo um único outlier extremo, o estimador da função de resposta baseado em MSE ($\hat{\mu}_1$) torna-se significativamente enviesado.
2. Mecanismo de Espalhamento: Durante a etapa de imputação cruzada, este $\hat{\mu}_1$ enviesado é usado para gerar pseudo-resultados para todo o grupo majoritário (controle). Consequentemente, o viés de um único "whale" é matematicamente "espalhado" para cada valor imputado no grupo de controle limpo.
3. Resultado: O estimador final de CATE aprende uma estrutura distorcida, confundindo o ruído do outlier com um efeito de tratamento genuíno, mesmo em regiões onde os dados de controle são densos e limpos.

Alternativas existentes, como o Robust Double Machine Learning (R-Learner), falham neste contexto porque dependem de ponderação pelo inverso da probabilidade (IPW), que sofre de explosão de variância quando os escores de propensão aproximam-se de zero ou um (desbalanceamento extremo).

2. Metodologia: O Robust X-Learner (RX-Learner)

O RX-Learner preserva as vantagens estruturais do X-Learner (imputação cruzada), mas altera fundamentalmente o objetivo de aprendizado para impor robustez contra caudas pesadas. O framework é construído sobre o conceito de Inferência Causal Núcleo-Periferia (Core-Periphery), visando estimar efeitos na população estável do "Núcleo" enquanto ignora a volátil "Periferia".

2.1 Base Learners Robustos via $\gamma$-Divergência

Em vez de minimizar o MSE, o RX-Learner minimiza um objetivo de divergência de potência de densidade. Sob a suposição de que a distribuição do "Núcleo" é Gaussiana, este objetivo é matematicamente equivalente à perda Welsch (ou Leclerc):
$$L_{Robust}(r_i) \propto 1 - \exp\left(-\frac{\gamma r_i^2}{2\hat{\sigma}^2}\right)$$

• Influência Redescendente: A função de perda possui uma função de influência redescendente. À medida que a magnitude do resíduo $|r_i|$ aumenta (indicando um "whale"), o peso atribuído a essa observação decai exponencialmente para zero.
• Refinamento Oracle: Este mecanismo permite que o modelo realize um "soft-trimming" (ajuste suave) automático de outliers durante o treinamento, ajustando a função apenas à população do Núcleo.
• Estimativa de Escala: Para evitar singularidade (implosão), o parâmetro de escala $\hat{\sigma}$ é inicializado e fixado usando o Desvio Absoluto da Mediana (MAD) dos resíduos de um ajuste robusto preliminar.

2.2 Otimização Baseada em MM (Hessiana de Proximidade)

Como a perda Welsch é não-convexa, implementações padrão de gradient boosting (que dependem de Hessianes convexos) podem tornar-se instáveis. Os autores introduzem uma estratégia de Majorização-Minimização (MM):

• Majorização Quadrática: A perda Welsch é tratada como uma função quadrática semipositiva. Em cada iteração, uma cota superior quadrática (majorizador) é construída.
• Hessiana de Proximidade (Proxy Hessian): A otimização é realizada minimizando esta cota quadrática, o que é equivalente a resolver um problema de mínimos quadrados ponderados onde os pesos atuam como uma "Hessiana de Proximidade".
• Garantia: Esta abordagem garante uma diminuição monotônica da função de perda, garantindo estabilidade mesmo sem uma superfície de perda convexa.

2.3 Imputação Cruzada e Agregação Robustas

• Etapa 2 (Imputação): Como os base learners ($\hat{\mu}_{1,\gamma}, \hat{\mu}_{0,\gamma}$) são robustos, o termo de viés $\delta$ é efetivamente zero. Os pseudo-resultados gerados para o grupo majoritário são, portanto, "limpos", prevenindo o efeito de espalhamento na sua origem.
• Etapa 3 (Agregação): Os modelos finais de CATE também são treinados usando o mesmo procedimento de $\gamma$-boosting nos pseudo-resultados. A estimativa final é uma média ponderada usando um esquema de ponderação pelo inverso da variância, priorizando o estimador com maior precisão.

3. Principais Contribuições

1. Integração Teórica: O artigo integra a minimização da $\gamma$-divergência ao framework de meta-aprendizado, estabelecendo uma ponte teórica entre métodos modernos de divergência de potência de densidade e a estatística robusta clássica (perda Welsch). Identifica o "Outlier Smearing" como uma vulnerabilidade fundamental dos X-Learners padrão em cenários desbalanceados e de cauda pesada.
2. Estabilidade Algorítmica: Resolve o desafio de otimização não-convexa inerente à estimativa robusta fundamentando a estratégia de "Proxy Hessian" no framework MM, permitindo uma implementação eficiente em maquinários de Gradient Boosting padrão.
3. Validação Empírica: O método é validado em uma derivação semi-sintética do dataset Criteo Uplift, demonstrando que ele efetivamente desacopla a população estável do Núcleo da volátil Periferia.

4. Resultados Experimentais

Os autores avaliaram o RX-Learner contra baselines padrão (X-Learner baseado em MSE, perda Huber, Winsorização e Robust DML) usando tanto dados sintéticos puros quanto um benchmark semi-sintético Criteo.

• Dados Sintéticos (Patologia Extrema): Em um cenário com 2% de desbalanceamento de tratamento e ruído de Pareto assimétrico, o RX-Learner reduziu a Precisão na Estimativa do Efeito Heterogêneo (PEHE) em mais de 50% em comparação ao próximo melhor baseline (perda Huber). Crucialmente, enquanto os métodos baseados em MSE mostraram um aumento linear no desvio de predição proporcional à magnitude do outlier, o RX-Learner mostrou zero desvio, confirmando a rejeição de outliers.
• Benchmark Semi-Sintético Criteo:
  • Configuração: $N=61.200$ usuários, taxa de tratamento de 2%, com "whales" (5% dos tratados) possuindo valores 80x maiores que o sinal.
  • Falha do Baseline: O X-Learner padrão (MSE) exibiu instabilidade catastrófica, com um desvio padrão (24,54) excedendo o erro médio (18,15).
  • Sucesso do RX-Learner: O RX-Learner alcançou uma redução de 98,6% no Core-PEHE (0,263 vs. 18,15) com variância negligenciável (0,022).
  • Verificação do Mecanismo: Os resultados confirmaram que o modelo baseline sofreu de "Outlier Smearing", onde as predições do modelo colapsaram globalmente devido a um único outlier, enquanto o RX-Learner recuperou com sucesso o sutil sinal causal subjacente.

5. Significância e Alegações

O artigo afirma que o RX-Learner fornece uma solução matematicamente fundamentada para a estimativa de CATE em escala industrial, onde os dados raramente são Gaussianos ou equilibrados.

• Robustez Estrutural: O método vai além de "suposições estatísticas convenientes" para respeitar a geometria dos dados reais (Núcleo vs. Periferia).
• Impacto de Negócio: Ao prevenir o "Whale Chasing" (dar lances para usuários que já estão convertendo organicamente), o RX-Learner oferece um estimador conservador, porém confiável, para alocação de orçamento, garantindo que o gasto publicitário foque em conversões incrementais em vez de subsidiar outliers.
• Limitações: Os autores observam que a implementação atual assume uma distribuição de Núcleo Gaussiana para estabilidade computacional. Sugere-se que trabalhos futuros explorem extensões não-Gaussianas (ex: Student-t ou Cauchy) via Natural Gradient Boosting e ajuste dinâmico do parâmetro de robustez $\gamma$.

Em resumo, o RX-Learner resolve a tensão entre a capacidade do X-Learner de lidar com desbalanceamento e a necessidade de robustez contra caudas pesadas, transformando o "empréstimo de informação" de um vetor de "propagação de poluição" em um processo de estimativa estável.