📈 economics

A Large-Scale Empirical Comparison of Meta-Learners and Causal Forests for Heterogeneous Treatment Effect Estimation in Marketing Uplift Modeling

Este artigo apresenta o UpliftBench, uma avaliação empírica em larga escala de quatro estimadores de efeitos de tratamento condicionais no conjunto de dados Criteo Uplift v2.1, demonstrando que o S-Learner alcançou o melhor desempenho ao identificar persuadáveis e otimizar campanhas de marketing, capturando 77,7% das conversões incrementais com o top 20% dos clientes.

Autores originais: Aman Singh

Publicado 2026-04-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aman Singh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o dono de uma grande loja e quer distribuir cupons de desconto. O problema é que você não pode dar um cupom para todo mundo (custaria muito caro) e não quer dar para quem já ia comprar de qualquer jeito (desperdício de dinheiro). Você quer acertar apenas nas pessoas que só comprariam se recebessem o cupom.

Esse é o desafio central do Marketing de Precisão, e é exatamente o que este artigo estuda.

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: O "Tiro de Canhão" vs. O "Dardo"

Normalmente, as empresas fazem testes A/B (como lançar uma campanha para 50% dos clientes e ver o que acontece). Isso é como atirar um canhão: você vê a média geral, mas não sabe quem foi atingido, quem se esquivou e quem ficou bravo.

O erro: Você gasta dinheiro com quem já ia comprar (o "sempre-converte") e irrita quem odeia promoções (o "cão adormecido" que para de comprar se você o incomodar).
A solução: O artigo fala sobre Modelagem de "Uplift" (Ganho). Em vez de olhar para a média, queremos prever o efeito do cupom em cada pessoa individualmente. Queremos saber: "Se eu der o cupom para você, você vai comprar? Se eu não der, você vai comprar mesmo assim?"

2. A Ferramenta: O "UpliftBench" (O Campo de Batalha)

Os autores criaram um "campo de provas" gigante chamado UpliftBench. Eles pegaram um banco de dados real da Criteo com quase 14 milhões de registros de clientes. É como se eles tivessem testado 4 estratégias diferentes de tiro de dardo em uma multidão de 14 milhões de pessoas para ver qual atirador é o melhor.

3. Os 4 Atiradores (Os Métodos)

Eles compararam quatro "algoritmos" (métodos matemáticos) para ver quem acertava melhor o alvo:

S-Learner (O Generalista): É como um único professor muito experiente que tenta aprender tudo de uma vez. Ele olha para todos os dados juntos.
T-Learner (O Especialista Dividido): É como ter dois professores separados: um só para quem recebeu o cupom e outro só para quem não recebeu. Eles tentam aprender padrões específicos de cada grupo.
X-Learner (O Tradutor): É um método mais complexo que tenta "traduzir" o que o professor do grupo A aprendeu para o grupo B, e vice-versa. Teoricamente, deveria ser ótimo quando um grupo é muito maior que o outro.
Causal Forest (O Árbitro Cético): É como uma floresta de juízes. Eles não só dão um palpite, mas dizem: "Estou 95% seguro de que este cliente vai reagir". Eles são ótimos para medir a confiança, mas são lentos e exigem muitos recursos.

4. O Grande Surpresa: O "Generalista" Venceu!

Aqui está a parte mais interessante. Na teoria, o X-Learner (o tradutor) deveria ser o melhor porque havia muitos mais clientes em um grupo do que no outro (85% receberam tratamento, 15% não).

O Resultado: O S-Learner (o generalista) foi o campeão!
Por que? Com 14 milhões de dados, o S-Learner funcionou como um "filtro de ruído". Ele foi mais estável e não se confundiu com os detalhes estranhos dos dados, assim como um maestro experiente consegue tocar uma orquestra gigante melhor do que vários solistas tentando tocar sozinhos.
A Estatística: O S-Learner conseguiu identificar os 20% melhores clientes de forma que eles trouxessem 77,7% de todas as vendas extras. Isso é 3,9 vezes melhor do que escolher clientes aleatoriamente.

5. A Incerteza: O "Cão Adormecido" e o "Persuadível"

O método "Causal Forest" (o Árbitro) foi usado para classificar os clientes em três grupos, baseados no quanto ele estava confiante:

Persuadíveis Confiantes (1,9%): Pessoas que só compram se você der o cupom. (O alvo perfeito!).
Cães Adormecidos Confiantes (0,1%): Pessoas que, se você der o cupom, ficam bravas e param de comprar. (Não mande cupom para eles!).
Incertos (98%): A grande maioria. Para eles, o algoritmo não tem certeza se o cupom ajuda ou atrapalha. É aqui que a ciência diz: "Cuidado, não temos dados suficientes para ter certeza".

6. O Que Isso Significa para o Mundo Real?

Economia: Se você usar o método vencedor (S-Learner) e mandar cupons apenas para os 20% melhores, você consegue quase 80% das vendas extras gastando apenas 20% do orçamento de marketing. É um ganho enorme de eficiência.
Aprendizado: Não adianta seguir a "teoria" cegamente. Às vezes, métodos mais simples funcionam melhor em escalas gigantes do que os métodos complexos.
Transparência: Eles usaram uma técnica chamada SHAP para descobrir qual característica dos clientes mais importava (uma variável chamada "f8"). Mesmo sem saber o que era essa variável (os dados eram anonimizados), eles sabiam que era a chave para entender quem reagiria bem.

Resumo Final

Este artigo é como um manual de instruções para empresas gigantes. Ele diz: "Pare de chutar quem vai comprar. Use inteligência artificial para encontrar as poucas pessoas que realmente precisam do seu incentivo. E, surpreendentemente, às vezes a solução mais simples (S-Learner) é a que traz mais dinheiro para o caixa, especialmente quando você tem dados suficientes para treinar o modelo."

1. Problema e Contexto

O artigo aborda a limitação dos testes A/B tradicionais no marketing digital, que fornecem apenas o Efeito Médio do Tratamento (ATE) em nível de campanha. Essa abordagem não consegue distinguir entre clientes que respondem positivamente, negativamente ou não respondem a uma intervenção. Isso gera três erros de direcionamento economicamente custosos:

Desperdício de verba: Contatar "always-converters" (clientes que comprariam de qualquer forma).
Retorno negativo: Contatar "sleeping dogs" (clientes que reagem adversamente ao tratamento).
Oportunidades perdidas: Não priorizar "high-responders" (clientes altamente persuadíveis).

O objetivo é estimar o Efeito Médio do Tratamento Condicional (CATE) em nível individual, permitindo o direcionamento de precisão (apenas onde $\tau(x) > \text{threshold}$ ). No entanto, faltam comparações empíricas sistemáticas de métodos de modelagem de uplift em escala industrial.

2. Metodologia e Dados

O estudo apresenta o UpliftBench, um benchmark reprodutível e em grande escala.

Dataset: Utilização do conjunto de dados Criteo Uplift v2.1, contendo 13,98 milhões de registros de clientes.
- Características: 12 covariáveis anonimizadas (f0–f11).
- Tratamento: Desequilíbrio de 85% tratados / 15% controle.
- Validade Interna: A pontuação de propensão (Propensity AUC = 0.509) indica uma atribuição de tratamento quase aleatória, garantindo alta validade interna para estimativas causais.
- Outcome Primário: Visita (4,7% de taxa positiva). A conversão (0,29%) foi deixada para trabalhos futuros devido à sua baixa taxa base.
Pipeline de Processamento:
1. Divisão estratificada 80/20 (treino/teste).
2. Normalização e estimativa de propensão (Regressão Logística) como 13ª característica.
3. Treinamento de quatro estimadores de CATE.
4. Avaliação via métricas de uplift e simulação de políticas.
5. Interpretabilidade via SHAP.
Métodos Comparados (Estimadores de CATE):
Todos os meta-learners utilizam LightGBM como base learner.
1. S-Learner: Um único modelo de resultado onde o tratamento é tratado como uma característica.
2. T-Learner: Modelos separados para os grupos de tratamento e controle.
3. X-Learner: Abordagem de dois estágios com cross-fitting, projetada para lidar com desequilíbrio de tratamento.
4. Causal Forest (EconML): Floresta causal não paramétrica com divisão honesta (honest splitting), fornecendo intervalos de confiança. Devido a restrições computacionais, foi avaliado em uma subamostra de 10% (~280k registros).
Métricas de Avaliação:
- Coeficiente Qini: Métrica principal para classificar a eficiência do direcionamento (área entre a curva de ganho cumulativo e a linha de base aleatória).
- Curvas de Ganho Cumulativo e Simulação de Políticas.
- Quantificação de Incerteza: Análise de intervalos de confiança de 95% do Causal Forest.

3. Resultados Principais

Desempenho do Modelo:
- O S-Learner obteve o melhor desempenho, com um Qini de 0,3759.
- Contrariando expectativas teóricas de que o X-Learner seria superior devido ao desequilíbrio 85/15, o S-Learner superou o X-Learner (Qini 0,3615) e o T-Learner (Qini 0,3503).
- O Causal Forest obteve um Qini menor (0,2524), mas os autores atribuem isso principalmente às limitações da subamostragem (280k vs 11,2M registros) e não a uma deficiência fundamental do método.
- O S-Learner apresentou a menor variância nas estimativas de CATE, indicando um comportamento de classificação mais estável.
Eficiência de Direcionamento (Simulação de Negócio):
- Ao direcionar o top 20% dos clientes com base no CATE previsto (S-Learner), captura-se 77,7% de todas as conversões incrementais.
- Isso representa um ganho de eficiência de 3,9x em comparação com o direcionamento aleatório, permitindo reduzir o custo de contato em 80% sem aumentar o gasto total em marketing.
Quantificação de Incerteza (Causal Forest):
- Apenas 1,9% dos clientes foram classificados como "persuadíveis confiantes" (Limite Inferior do IC > 0).
- Apenas 0,1% como "sleeping dogs confiantes" (Limite Superior do IC < 0).
- 98% das estimativas apresentaram incerteza (o intervalo de confiança cruza zero), sugerindo que abordagens baseadas em regras binárias estritas podem ser limitadas; o direcionamento probabilístico é mais eficaz.
Atribuição de Recursos (SHAP):
- A análise SHAP identificou a característica f8 como o principal motor da heterogeneidade do efeito do tratamento (HTE), seguida por f6 e f2.

4. Contribuições Chave

UpliftBench: Fornecimento de um benchmark reprodutível em escala industrial (13,98M registros) comparando meta-learners e Florestas Causais.
Evidência Empírica sobre Regularização: Demonstração de que, em grandes escalas de dados com baixa taxa de base, o S-Learner pode superar o X-Learner devido aos efeitos de regularização implícita, desafiando a heurística comum de usar X-Learner sempre que há desequilíbrio de tratamento.
Análise de Incerteza em Grande Escala: Avaliação prática da quantificação de incerteza do Causal Forest em dados reais de marketing, mostrando a predominância de estimativas incertas.
Diretrizes Práticas: Orientação baseada em evidências para a seleção de métodos em pipelines de modelagem de uplift.

5. Significado e Conclusão

O estudo conclui que, para pipelines de modelagem de uplift em grande escala, o S-Learner com LightGBM é uma escolha robusta e superior em termos de estabilidade e pontuação Qini, superando abordagens mais complexas como o X-Learner e o Causal Forest (quando este último sofre de limitações computacionais de subamostragem).

A pesquisa destaca que a escolha do algoritmo não deve ser baseada apenas em teorias de desequilíbrio de tratamento, mas validada empiricamente na escala e densidade de dados específica da organização. Além disso, a alta proporção de estimativas incertas reforça a necessidade de estratégias de direcionamento que considerem a distribuição completa de probabilidade, em vez de regras binárias rígidas. O código e os resultados estão disponíveis publicamente para reprodutibilidade.