Resumo Técnico: Detecção e Mitigação de Viés de Grupo em Efeitos de Tratamento Heterogêneos

1. O Problema

O artigo aborda um problema fundamental na aplicação de modelos de aprendizado de máquina (ML) para Efeitos de Tratamento Heterogêneos (HTEs). Embora modelos modernos de ML (como Florestas Causais, Meta-learners, etc.) sejam capazes de estimar com precisão o Efeito de Tratamento Condicional Médio (CATE) em nível individual, na prática, esses resultados são frequentemente agregados para subgrupos de interesse (ex.: segmentos demográficos, mercados, faixas de risco) para relatórios, auditorias e tomada de decisão estratégica.

O problema central identificado é que agregar previsões de CATE individuais para obter um Efeito de Tratamento Médio de Grupo (GATE) não recupera necessariamente o efeito causal real do grupo, mesmo que o modelo de CATE individual seja corretamente especificado e treinado em dados de experimentos randomizados.

Essa discrepância, denominada Viés de Grupo, surge devido a:

1. Não Colapsabilidade: Em escalas relativas (ex.: risco relativo, lift), a média dos efeitos condicionais não é igual ao efeito marginal do grupo devido à desigualdade de Jensen.
2. Regularização e Otimização Global: Modelos de ML são treinados para minimizar o erro global no conjunto de dados. Se os grupos tiverem tamanhos desiguais ou diferentes relações sinal-ruído, os erros de previsão não se cancelam simetricamente dentro de cada grupo, gerando um viés sistemático na agregação.
3. Definição Ex Post: Os grupos de interesse muitas vezes são definidos após o treinamento do modelo (por gestores ou auditores), e o modelo não foi otimizado especificamente para essas agregações.

2. Metodologia e Framework

Os autores desenvolvem um framework estatístico unificado para detectar e mitigar esse viés, operando em três etapas principais:

A. Definição e Detecção do Viés

• Definição Formal: O viés de grupo ($b_g$) é definido como a diferença entre o GATE implícito pelo modelo (agregando CATEs previstos com pesos de colapsabilidade adequados) e o GATE experimentalmente identificado (estimado diretamente pelos dados do experimento).
• Estimador: Propõem um estimador não paramétrico e agnóstico ao modelo: $\hat{b}_g = \hat{\tau}^f_g - \hat{\tau}_g$, onde $\hat{\tau}^f_g$ é o GATE previsto pelo modelo e $\hat{\tau}_g$ é o GATE experimental.
• Inferência: Demonstram que o estimador do viés é assintoticamente normal, permitindo a construção de testes estatísticos (Wald) para verificar se o viés é significativamente diferente de zero. O framework lida tanto com efeitos aditivos quanto relativos (razões), aplicando pesos de colapsabilidade corretos para escalas relativas.

B. Mitigação (Correção de Viés)

O artigo argumenta que uma correção ingênua (subtrair o viés estimado de todas as previsões) é perigosa em amostras finitas, pois pode amplificar o ruído, especialmente em grupos pequenos ou com estimativas de viés imprecisas.

• Estratégia de Encolhimento (Shrinkage): Propõem corrigir as previsões usando um fator de encolhimento $\gamma_g \in [0,1]$:
  $$\hat{\tau}^{corrigido}(X) = \hat{\tau}^f(X) - \gamma_g \hat{b}_g$$
• Otimização de Risco: O valor ótimo de $\gamma_g$ é derivado minimizando a perda esperada (risco) do erro residual de viés.
  • Estratégia de Erro Médio: Corrige totalmente se o viés for estatisticamente significativo, caso contrário, não corrige.
  • Estratégia de Erro Quadrático Médio (MSE): Deriva uma solução de forma fechada que equilibra viés e variância:
    $$\gamma_g^{MSE} = \frac{b_g^2}{b_g^2 + \sigma_g^2}$$
    Isso implica que a correção é forte quando a estimativa de viés é precisa (baixa variância) e fraca quando é ruidosa, atuando como um estimador Bayesiano Empírico.

C. Avaliação e Validação

• Para evitar viés de seleção pós-teste, a avaliação da mitigação requer uma divisão de dados (hold-out) independente da etapa de detecção.
• O framework é validado através de simulações e dados reais de grandes plataformas digitais.

3. Contribuições Principais

1. Identificação do Fenômeno: Demonstram que mesmo modelos de CATE "corretos" e treinados em dados randomizados podem produzir GATEs agregados viesados, um problema distinto de viés de confusão ou identificação.
2. Framework de Detecção e Teste: Fornecem um método geral, agnóstico ao modelo, para testar estatisticamente a existência de viés de grupo, cobrindo escalas aditivas e relativas.
3. Método de Mitigação Ótimo: Desenvolvem correções de viés baseadas em encolhimento que adaptam a magnitude da correção à precisão da estimativa, evitando a amplificação de ruído em grupos pequenos.
4. Análise de Implicações Econômicas: Analisam como a correção de viés afeta a decisão de targeting (alvo) orientada a lucro. Mostram que corrigir o viés para inferência causal pode alterar as decisões de alocação de tratamento, criando um trade-off entre precisão causal e lucro ótimo, dependendo das margens de lucro e da proximidade dos CATEs previstos do limiar de decisão.

4. Resultados Empíricos

Os autores aplicaram o framework em dois contextos principais:

A. Dados de Booking.com (Experimento A/B em Grande Escala)

• Contexto: Um modelo de CATE foi usado para prever o lift de uma promoção de viagem. O grupo de interesse foi o "país de origem".
• Descoberta: O modelo subestimava sistematicamente o efeito em países menores e superestimava em países maiores (devido à regularização global). O viés de grupo foi estatisticamente significativo para várias nações.
• Mitigação: As estratégias de risco (MSE e Mean Error) corrigiram o viés com sucesso, alinhando as previsões do modelo aos GATEs experimentais, enquanto a correção ingênua aumentou a variância e introduziu novos erros em grupos pequenos.

B. Dataset Criteo Uplift Prediction

• Objetivo: Avaliar o impacto econômico da mitigação no targeting personalizado.
• Resultados:
  • A correção de viés alterou as decisões de tratamento para uma fração significativa de usuários, especialmente aqueles cujos CATEs previstos estavam próximos do limiar de lucro (break-even).
  • Estratégias de risco minimizado (como MSE-) resultaram em perdas de lucro menores e mais estáveis em comparação com a correção ingênua.
  • A perda de lucro foi de segunda ordem quando as margens não eram apertadas, sugerindo que a correção é viável sem sacrificar drasticamente a eficiência econômica.

5. Significado e Conclusão

O artigo oferece um guia prático crucial para organizações que utilizam ML para causalidade. Ele demonstra que:

• Agregação não é neutra: Sumarizar previsões de ML para relatórios de grupo pode distorcer a realidade causal.
• Correção é necessária e possível: É possível detectar e corrigir esse viés sem retreinar o modelo, apenas ajustando as previsões ex post com base em dados experimentais.
• Gestão de Trade-offs: A correção de viés melhora a inferência causal de grupo, mas deve ser gerenciada cuidadosamente para não degradar a performance de targeting personalizado. O uso de estratégias de encolhimento baseadas em risco é a abordagem recomendada para equilibrar precisão e estabilidade.

Este trabalho preenche uma lacuna importante entre a teoria de inferência causal e a prática de machine learning em ambientes corporativos, fornecendo ferramentas robustas para auditoria e melhoria de modelos de efeitos de tratamento.