Resumo Técnico: Real vs. Semi-Simulado: Repensando a Avaliação para Estimativa de Efeito de Tratamento

Declaração do Problema

O campo do Aprendizado de Máquina Causal (Causal ML) enfrenta um desalinhamento crítico entre as práticas de avaliação de pesquisa e os requisitos de implantação no mundo real. Enquanto a pesquisa acadêmica depende predominantemente de benchmarks semi-simulados e métricas contrafactuais (por exemplo, $\sqrt{PEHE}$) que exigem resultados potenciais de verdade, as aplicações industriais operam sob condições onde apenas resultados observáveis estão disponíveis. Em cenários do mundo real, o resultado contrafactual (o que teria acontecido sob um tratamento diferente) é, por definição, não observado. Consequentemente, os praticantes devem confiar em métricas observáveis, como desempenho de classificação (por exemplo, curvas de uplift) ou resultados factuais de teste.

O problema central abordado é se os regimes de avaliação utilizados em artigos metodológicos preveem de forma confiável o desempenho do modelo em cenários de implantação. Especificamente, os autores investigam se os modelos selecionados como "melhores" por métricas contrafactuais em dados semi-simulados transferem-se efetivamente para conjuntos de dados reais quando avaliados usando métricas observáveis.

Metodologia

Os autores realizam um estudo empírico em grande escala envolvendo 117 instâncias de benchmark, compreendendo 112 conjuntos de dados semi-simulados e 5 conjuntos de dados do mundo real. Os tamanhos das amostras variam de centenas a quase 14 milhões (Criteo-ITE).

Estimadores Avaliados

O estudo avalia um conjunto abrangente de estimadores, incluindo:

• Meta-aprendizes: Aprendizes S-, T-, X-, R- e Duplamente Robustos (DR) [Künzel et al., 2019; Nie and Wager, 2021].
• Aprendizes Base: Regressão Linear/Logística (LR), XGBoost (XGB) e Perceptrons Multicamada de duas camadas (NN).
• Arquiteturas Especializadas: TARNet, CFR, DragonNet e Florestas Causais.

Métricas de Avaliação

Os autores comparam três famílias de métricas:

1. Baseadas em Contrafactual (Oráculo): $\sqrt{PEHE}$, Valor da Política e $\Delta$ATE(Sim). Estas exigem acesso a ambos os resultados potenciais e são restritas a configurações semi-simuladas.
2. Baseadas em Resultado Observável: Perda factual e $\Delta$ATE (medindo a discrepância entre os efeitos médios de tratamento previstos e empíricos).
3. Baseadas em Classificação Observável: Up@20, pontuação Qini e RATE AUTOC. Estas avaliam a capacidade do modelo de priorizar unidades para tratamento com base em dados observados.

Desenho Experimental

O estudo aborda duas perguntas principais:

• Q1 (Transferência de Métrica): As métricas contrafactuais em dados semi-simulados induzem as mesmas classificações de modelo que as métricas observáveis?
• Q2 (Transferência de Conjunto de Dados): As classificações obtidas em benchmarks semi-simulados transferem-se para conjuntos de dados reais?

Os autores utilizam o $\tau$ de Kendall e testes de postos sinalizados de Wilcoxon para quantificar o acordo entre classificações induzidas por métricas. Eles também realizam um estudo de caso pareado usando o conjunto de dados Criteo (real) e Criteo-ITE (variante semi-simulada derivada da mesma fonte) para isolar o efeito do regime de avaliação das diferenças nas covariáveis.

Principais Resultados

1. Desconexão de Métrica (Q1)

O estudo descobre que as métricas contrafactuais não recuperam de forma confiável os estimadores preferidos pelas métricas observáveis, mesmo nos mesmos benchmarks semi-simulados.

• Divergência de Classificação: Modelos selecionados como "melhores" por $\sqrt{PEHE}$ frequentemente incorrem em arrependimento substancial quando avaliados em métricas de classificação como Up@20 ou Qini. Por exemplo, o estimador selecionado por $\sqrt{PEHE}$ ficou em 13º lugar em média sob Up@20.
• Significância Estatística: O acordo entre métricas de classificação é significativamente maior (média $\tau = 0,355$) do que o acordo entre métricas de classificação e contrafactuais (média $\tau = 0,256$).
• Implicação: Tratar métricas contrafactuais como o padrão-ouro para seleção de modelos pode levar à seleção de estimadores que são subótimos para objetivos orientados à implantação.

2. Não Transferibilidade de Conjunto de Dados (Q2)

As classificações obtidas em benchmarks semi-simulados não transferem-se para conjuntos de dados reais, mesmo ao usar métricas observáveis idênticas.

• Vencedores Inconsistentes: Métodos que dominam benchmarks semi-simulados (por exemplo, DragonNet, DR-LR em IHDP) frequentemente falham em aparecer nos primeiros lugares de conjuntos de dados do mundo real.
• Mudanças de Classificação: Há uma dispersão significativa nas mudanças de classificação ($\Delta$Rank) entre dados semi-simulados e reais. Por exemplo, estimadores baseados em R e DR frequentemente melhoram nas classificações de dados reais, enquanto aprendizes T e X podem piorar.
• Estudo de Caso Pareado: Mesmo no estudo pareado Criteo (mesmas covariáveis e atribuições de tratamento, geração de resultados diferente), a ordenação geral dos estimadores mudou entre as configurações contrafactual (Criteo-ITE) e observável (Criteo).

3. Observações Práticas

• Domínio do Aprendizado Base: Meta-aprendizes simples acoplados a backbones preditivos fortes (especificamente XGBoost) são consistentemente competitivos em todos os regimes. T(XGB), X(XGB) e S(XGB) dominam as classificações gerais.
• Modelos Especializados: Arquiteturas neurais especializadas (por exemplo, DragonNet, CFR) geralmente têm desempenho inferior em comparação com meta-aprendizes simples com backbones tabulares, exceto quando avaliados especificamente sob métricas contrafactuais semi-simuladas.

Significado e Alegações

O artigo argumenta que o campo da estimativa de efeito de tratamento enfrenta tanto um problema de métrica quanto um problema de conjunto de dados.

1. Reavaliação dos Protocolos de Avaliação: Os autores afirmam que o progresso em Causal ML não deve ser avaliado exclusivamente por meio de métricas contrafactuais estilo oráculo e benchmarks semi-simulados. Esses regimes podem recompensar métodos com vieses indutivos que se alinham aos mecanismos de simulação em vez da atribuição de tratamento do mundo real ou ruído de resultados.
2. Necessidade de Validação com Dados Reais: O estudo defende a incorporação de métricas observáveis e validação com dados reais para fechar a lacuna entre pesquisa e implantação.
3. Padrões de Benchmarking: Os autores sugerem que artigos metodológicos devem incluir meta-aprendizes simples com backbones preditivos fortes (como XGBoost) como linhas de base, uma vez que modelos causais especializados frequentemente falham em superá-los em configurações observáveis e orientadas à implantação.

O artigo conclui que, embora benchmarks semi-simulados sejam úteis para testes de estresse e análise controlada, eles são insuficientes como guias autônomos para aplicações práticas. Trabalhos futuros devem focar no desenvolvimento de protocolos de avaliação que conectem melhor a avaliação contrafactual estilo oráculo com critérios observáveis e orientados à implantação.