🤖 AI

When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation

Este artigo demonstra, por meio de simulações de Monte Carlo, que, embora o erro de previsão seja uma métrica útil para avaliar a estimativa da função de incômodo, ele não se correlaciona consistentemente com o desempenho do estimador causal (como viés ou cobertura do intervalo de confiança), indicando que não deve ser utilizado como um proxy direto para a qualidade da inferência causal.

Autores originais: Cong Cao

Publicado 2026-09-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Cong Cao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da ciência de dados, os pesquisadores frequentemente enfrentam um enigma: como determinar se uma coisa causa outra quando não podem realizar um experimento controlado. Imagine tentar entender se um novo medicamento funciona, mas você tem apenas registros de pessoas que escolheram tomá-lo por conta própria, misturadas com aquelas que não o fizeram. Para desembaraçar isso, os cientistas usam um método chamado inferência causal. Essa abordagem baseia-se na construção de modelos matemáticos para descrever os fatores de fundo — como idade, renda ou histórico de saúde — que influenciam tanto a decisão de tomar o medicamento quanto o resultado de saúde. Esses modelos de fundo são conhecidos como "funções de incômodo" (nuisance functions). Eles são chamados de "incômodo" não porque são irritantes, mas porque são distrações necessárias; o pesquisador deve estimá-los com precisão para isolar o verdadeiro efeito do tratamento. Durante anos, a maneira padrão de verificar se esses modelos de fundo eram bons era observar o quão bem eles previam os dados, de forma muito semelhante a um meteorologista verificando se suas previsões de temperatura coincidiam com o clima real. A suposição era simples: se o modelo prevê bem os dados de fundo, ele também deve ajudar a encontrar a resposta correta de causa e efeito.

Um estudo recente de Cong Cao, da Universidade de Yale, desafia essa suposição mantida há muito tempo. O pesquisador propôs-se a testar se um modelo que é excelente em prever dados de fundo é necessariamente excelente em encontrar a verdadeira causa. Para fazer isso, Cao não olhou para registros médicos do mundo real, mas criou milhares de mundos simulados em um computador. Nessas simulações, a verdadeira relação de causa e efeito era conhecida por design, permitindo ao pesquisador ver exatamente o desempenho de diferentes programas de computador. O estudo comparou vários métodos populares para construir esses modelos de fundo, variando de ferramentas estatísticas tradicionais a algoritmos modernos e flexíveis de aprendizado de máquina. O objetivo era ver se a pontuação que um modelo obtém ao prever os dados de fundo correspondia à pontuação que ele obtém ao encontrar a resposta causal correta.

Os resultados revelaram um descompasso surpreendente. O estudo descobriu que o método que foi melhor em prever os dados de fundo nem sempre foi o melhor em estimar o efeito causal. Nas simulações, uma ferramenta de aprendizado de máquina chamada XGBoost foi a mais precisa ao prever as variáveis de fundo, produzindo os menores erros em seus palpites. No entanto, quando se tratava do objetivo final de estimar o efeito causal, outro método chamado Aprendizado de Máquina Duplo (Double Machine Learning), que utilizava o XGBoost dentro de uma estrutura estatística específica, teve um desempenho melhor em uma tarefa crucial diferente: fornecer intervalos de confiança confiáveis. Um intervalo de confiança é uma faixa de valores que os pesquisadores usam para expressar o quão seguros estão sobre sua resposta. Nessas simulações, o método com a melhor precisão de previsão forneceu uma faixa muito estreita, o que significa que foi excessivamente confiante e frequentemente errou a resposta real. O método com precisão de previsão ligeiramente inferior, no entanto, produziu faixas mais amplas e honestas que capturaram a resposta verdadeira cerca de 93 por cento das vezes, o que é muito próximo dos 9

ideais de 95 por cento.

Isso sugere que ser um bom preditor não é o mesmo que ser um bom detetive de causa e efeito. O estudo mostrou que um modelo pode ser muito preciso ao adivinhar os números de fundo, mas ainda assim falhar em fornecer uma faixa confiável para a resposta final. Os pesquisadores também testaram uma nova ideia: se observar os erros combinados de dois modelos de fundo diferentes poderia prever o resultado final. Eles descobriram que essa medida combinada era fraca e não dizia de forma confiável qual método funcionaria melhor. As descobertas indicam que, embora verificar o quão bem um modelo prevê os dados seja útil, não é suficiente por si só para garantir uma boa conclusão causal. Os pesquisadores não podem simplesmente escolher o modelo com o menor erro de previsão e assumir que a resposta causal estará correta. Em vez disso, devem observar as propriedades específicas do método causal em si, como a forma como ele lida com a incerteza, para garantir que a conclusão final seja robusta.

O estudo também explorou o que acontece quando os pontos de dados não são independentes, como quando pacientes são agrupados no mesmo hospital ou família, o que cria um elo oculto entre eles. Mesmo nessas situações mais complexas e agrupadas (clustered), o padrão se manteve. O método que melhor previu os dados de fundo ainda não forneceu os intervalos de confiança mais confiáveis. Os pesquisadores observaram que seu trabalho foi baseado em simulações de computador com condições específicas, portanto, os resultados podem parecer diferentes em outros cenários do mundo real com diferentes tipos de dados. No entanto, a mensagem central permanece clara: na busca pela causa e efeito, a capacidade de um modelo de prever o passado não se traduz automaticamente em uma capacidade de explicar o futuro. As ferramentas usadas para limpar o ruído de fundo devem ser julgadas pela forma como protegem a resposta final, e não apenas pela forma como adivinham o próprio ruído.

Resumo Técnico: Quando o Erro de Predição Não é Suficiente

Problema
Na inferência causal utilizando dados observacionais, métodos flexíveis de aprendizado de máquina são cada vez mais empregados para estimar funções de interesse (nuisance functions) (ex: a relação entre covariáveis e exposição, ou entre covariáveis e desfecho). Essas funções de interesse são tipicamente avaliadas por meio de métricas padrão de aprendizado supervisionado, como o erro de predição (ex: erro quadrático médio) ou desempenho de validação cruzada. No entanto, permanece incerto se a precisão de predição superior dessas funções de interesse se traduz diretamente em um desempenho superior do estimador causal resultante. Especificamente, o artigo investiga se a minimização do erro de predição da função de interesse é um proxy suficiente para minimizar o viés causal, o erro quadrático médio (RMSE) e garantir a cobertura válida de intervalos de confiança. Esta questão é particularmente complexa em configurações como o Double Machine Learning (DML), onde erros em múltiplas funções de interesse interagem para afetar o estimador causal final.

Metodologia
O autor conduziu um estudo de simulação de Monte Carlo dentro de uma estrutura de modelo causal parcialmente linear com uma exposição contínua. O estudo comparou quatro abordagens de estimação:

Mínimos Quadrados Ordinários (OLS): Um benchmark paramétrico.
Modelos Aditivos Generalizados (GAMs): Permitindo relações aditivas não lineares.
XGBoost: Um aprendiz não paramétrico flexível que permite não linearidades e interações.
Double Machine Learning com XGBoost (DML-XGBoost): Combinando XGBoost com escores de Neyman-ortogonalidade e cross-fitting para reduzir o impacto do erro de estimação das funções de interesse.

A simulação avaliou o desempenho em dois cenários:

Cenário 1: Observações independentes.
Cenário 2: Dados agrupados (clustered) com dependência intra-cluster, utilizando cross-fitting ao nível do cluster e estimação de variância robusta ao cluster.

Métricas de Desempenho
O estudo avaliou duas categorias distintas de métricas:

Métricas de Funções de Interesse:
- Erros de predição quadráticos médios para as funções de interesse da exposição ( $E_m$ ) e do desfecho ( $E_h$ ).
- Uma medida de erro conjunto, $D_{joint} = |E\{\delta_m(C)\delta_h(C)\}|$ , representando a magnitude absoluta do produto cruzado dos erros de estimação entre as duas funções de interesse.
Métricas do Estimador Causal:
- Viés (diferença entre a estimativa média e o verdadeiro efeito causal $\tau$ ).
- RMSE.
- Cobertura do Intervalo de Confiança (IC) de 95%.

Principais Resultados

Divergência de Métricas: O erro de predição não acompanhou consistentemente o desempenho causal. Em ambos os cenários, o XGBoost (sem cross-fitting) alcançou o menor RMSE entre os métodos não-ótimos (non-oracle), indicando uma precisão de estimação pontual superior. No entanto, o DML-XGBoost proporcionou uma cobertura de intervalo de confiança significativamente melhor (0,928 e 0,908 nos Cenários 1 e 2, respectivamente) em comparação ao XGBoost padrão (0,856 e 0,838), que sofreu de subcobertura.
Erro de Predição vs. Inferência: Embora o XGBoost tenha apresentado erros de predição de funções de interesse menores do que o DML-XGBoost no Cenário 1, esse erro menor não correspondeu a uma melhor calibração inferencial. Assim, o método com o melhor desempenho de estimação pontual não foi o método com a melhor cobertura de intervalo de confiança.
Medida de Erro Conjunto: A medida de erro conjunto proposta ( $D_{joint}$ ) mostrou apenas associações fracas com o viés causal absoluto (correlações variando aproximadamente entre -0,11 e 0,11). O autor conclui que $D_{joint}$ não é um preditor confiável de viés causal em amostras finitas, nem um critério útil para seleção de estimadores causais.
Dados Agrupados (Clustered): Os principais padrões mantiveram-se no cenário de dados agrupados, com o DML-XGBoost mantendo uma melhor cobertura do que o XGBoost padrão, embora a análise tenha sido limitada a um único tamanho de cluster e uma configuração de componente de variância.

Significância e Alegações
O artigo argumenta que, embora o erro de predição seja uma ferramenta válida e útil para avaliar a qualidade da estimação das funções de interesse, ele não deve ser tratado como uma medida direta da qualidade do estimador causal resultante.

O autor enfatiza que:

Estimação pontual e inferência são distintas: Um método pode minimizar o erro de predição e alcançar baixo viés (boa estimação pontual), enquanto falha em fornecer uma quantificação de incerteza válida (má cobertura de IC).
A avaliação das funções de interesse é multifacetada: O erro de predição mede a precisão em relação à função verdadeira, mas não captura a variação amostral (sample-to-sample variation) ou a forma específica como os erros em múltiplas funções de interesse interagem para afetar a distribuição amostral do estimador causal.
Limitações de Medidas Conjuntas: Resumos simples de erros conjuntos de funções de interesse, como o produto cruzado de erros, não caracterizam suficientemente o viés causal em amostras finitas e devem ser vistos como diagnósticos descritivos, em vez de critérios de seleção.

Em última análise, o estudo sugere que os pesquisadores não devem confiar apenas em métricas de predição para selecionar aprendizes para inferência causal, pois uma melhor predição não garante necessariamente um melhor desempenho de estimação causal, particularmente no que diz respeito à validade inferencial.

Mais como este