🤖 machine learning

Doctor Rashomon and the UNIVERSE of Madness: Variable Importance with Unobserved Confounding and the Rashomon Effect

Este artigo apresenta o UNIVERSE, um novo framework que aproveita conjuntos de Rashomon para fornecer limites robustos na importância das variáveis na presença de confusão não observada e multiplicidade de modelos, abordando, assim, limitações críticas na seleção de características e na geração de hipóteses padrão.

Autores originais: Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Publicado 2026-08-24

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da ciência de dados, pesquisadores frequentemente tentam entender o que impulsiona um resultado específico, como se um empréstimo será pago ou se um paciente irá se recuperar. Para fazer isso, eles constroem modelos matemáticos que analisam vários fatores, ou características, como renda, histórico de crédito ou idade. Uma parte padrão desse processo é determinar quais desses fatores são verdadeiramente importantes. Cientistas há muito dependem de métodos que atribuem uma pontuação a cada característica com base em quanto o desempenho do modelo cai se essa característica for removida ou embaralhada. Isso os ajuda a decidir quais variáveis coletar no futuro e quais ignorar. No entanto, essa abordagem padrão possui uma falha oculta: ela geralmente assume que o modelo sendo analisado é o único bom. Na realidade, muitos modelos diferentes podem explicar os mesmos dados igualmente bem, um fenômeno conhecido como efeito Rashomon. Além disso, os dados do mundo real são frequentemente incompletos; informações cruciais, como a renda exata de uma pessoa ou seu histórico de saúde, podem estar inteiramente ausentes do conjunto de dados. Quando essas peças faltantes existem, os métodos padrão podem produzir conclusões enganosas, fazendo uma característica parecer importante quando não é, ou escondendo uma característica que realmente importa.

Uma equipe de pesquisadores da Universidade Duke e da Universidade Bocconi desenvolveu um novo framework chamado UNIVERSE para resolver esses problemas. O trabalho deles aborda os desafios duplos de ter múltiplos modelos igualmente bons e ter dados ausentes que poderiam distorcer os resultados. Em vez de escolher um único melhor modelo e analisá-lo isoladamente, os pesquisadores examinam todo o grupo de modelos que apresentam um desempenho quase tão bom quanto o melhor. Eles chamam esse grupo de conjunto Rashomon. Ao examinar o conjunto inteiro, eles conseguem ver como a importância de uma característica muda através de diferentes modelos válidos. Mas eles vão um passo além. Eles também levam em conta o fato de que algumas variáveis importantes estão faltando dos dados. Eles fazem isso criando uma rede de segurança de limites matemáticos. Esses limites atuam como uma faixa de valores possíveis, garantindo que a verdadeira importância de uma característica caia em algum lugar dentro dessa faixa, mesmo que os pesquisadores não saibam exatamente quais são as variáveis ausentes ou qual modelo específico é o verdadeiro.

Os pesquisadores testaram seu método usando uma técnica de simulação inteligente. Eles pegaram conjuntos de dados do mundo real, como registros de reincidência criminal, taxas de evasão escolar universitária e avaliações de risco de crédito, e criaram artificialmente um cenário onde alguns dados estavam ocultos. Eles dividiram os dados em grupos e treinaram diferentes modelos em cada grupo, criando efetivamente uma situação em que o "verdadeiro" modelo dependia de a qual grupo a pessoa pertencia, uma informação que a análise principal não via. Eles então aplicaram o framework UNIVERSE para ver se ele conseguiria identificar corretamente a importância das características, apesar dessa informação oculta. Os resultados foram claros: sem os novos ajustes deles, os métodos padrão frequentemente falhavam em capturar a verdadeira importância das variáveis, especialmente quando o tamanho da amostra era grande ou quando os dados eram complexos. Em contraste, o método UNIVERSE consistentemente produziu intervalos que continham a resposta verdadeira. Em seus testes, o método capturou com sucesso a importância correta das variáveis em mais de oitenta por cento dos ensaios, mesmo quando os dados careciam de peças de informação essenciais.

Uma das demonstrações mais convincentes de seu trabalho envolveu um conjunto de dados de risco de crédito usado por bancos. Neste cenário, uma pontuação de risco específica chamada Estimativa de Risco Externa era amplamente considerada um fator crítico para prever inadimplências de empréstimos. A análise padrão sugeria que essa pontuação era vital. No entanto, quando os pesquisadores aplicaram seu framework UNIVERSE, descobriram que a importância dessa pontuação não era tão robusta quanto parecia. Eles mostraram que, se houvesse fatores não mensurados, como a renda de uma pessoa, que não foram incluídos nos dados, a Estimativa de Risco Externa poderia não ser necessária de forma alguma. Sua análise sugeriu que outras características, mais interpretáveis, poderiam facilmente substituí-la. Essa descoberta é significativa porque implica que os bancos podem estar dependendo de uma métrica complexa e cara que poderia ser trocada por informações mais simples e transparentes, potencialmente levando a um melhor feedback para os solicitantes de empréstimos.

A força desta nova abordagem reside em sua capacidade de lidar com a incerteza sem fazer suposições irrealistas. Métodos tradicionais muitas vezes exigem saber exatamente como os dados ausentes são distribuídos ou assumir um tipo específico de relação entre as variáveis. O framework UNIVERSE não precisa disso. Em vez disso, ele pede ao analista que forneça uma estimativa razoável de quanto os dados ausentes podem alterar os resultados. Com base nessa estimativa, o método calcula uma faixa de valores de importância possíveis. Os pesquisadores provaram matematicamente que essas faixas são confiáveis, o que significa que, se a estimativa do analista sobre o impacto dos dados ausentes estiver correta, a verdadeira importância da característica certamente cairá dentro dos limites calculados. Eles também mostraram que esses limites tornam-se mais estreitos e precisos à medida que mais dados se tornam disponíveis, tornando o método útil tanto para conjuntos de dados pequenos quanto grandes.

Este trabalho representa uma mudança na forma como os cientistas pensam sobre a importância das variáveis. Em vez de buscar uma resposta única e definitiva que dependa de um modelo específico e de um conjunto de dados completo, os pesquisadores abraçam a complexidade do mundo real. Eles reconhecem que múltiplos modelos podem estar certos e que os dados são frequentemente incompletos. Ao fornecer um método que leva em conta essas realidades, eles oferecem uma ferramenta que é mais honesta sobre o que os dados podem e não podem nos dizer. O framework não afirma encontrar o único modelo verdadeiro ou a única pontuação de importância verdadeira. Em vez disso, ele fornece um intervalo confiável que captura a verdade, garantindo que as decisões baseadas em dados não sejam prejudicadas por variáveis ocultas ou pela ilusão de uma única melhor explicação. Esta abordagem oferece um caminho para conclusões científicas mais confiáveis e robustas em campos que vão desde as finanças até as políticas públicas.

Resumo Técnico: UNIVERSE – Importância de Variáveis com Confundimento Não Observado e o Efeito Rashomon

Definição do Problema

Métodos de importância de variáveis (VI - Variable Importance) são ferramentas padrão para geração de hipóteses, seleção de características e validação científica. No entanto, os pipelines padrão de VI sofrem de duas limitações críticas que podem levar a insights enganosos:

O Efeito Rashomon: Múltiplos modelos distintos podem explicar um conjunto de dados igualmente bem. Uma característica considerada importante em um modelo quase ideal pode ser irrelevante em outro. Embora trabalhos recentes tenham abordado isso analisando o "conjunto Rashomon" (o conjunto de todos os modelos quase ideais), esses métodos tipicamente assumem que todas as variáveis relevantes estão observadas.
Confundimento Não Observado: Em conjuntos de dados observacionais, variáveis essenciais são frequentemente omitidas. Quando existem confundidores não observados, a importância de uma característica estimada nos dados observados pode não refletar sua verdadeira importância em relação à função média condicional subjacente.

Abordagens existentes para confundimento não observado (análise de sensibilidade) frequentemente dependem de suposições restritivas (ex: linearidade) que não se sustentam para métricas de VI modernas e não lineares, como SHAP ou importância de permutação. Por outro via, os métodos de conjunto Rashomon existentes não contabilizam variáveis omitidas. Este artigo aborda a lacuna de realizar a inferência robusta da importância de variáveis na presença de ambos: o efeito Rashomon e o confundimento não observado.

Metodologia: O Framework UNIVERSE

Os autores introduzem o UNIVERSE (UNobservables and Inference for Variable importancE using Rashomon SEts), um framework que deriva limites para a verdadeira importância de variáveis mesmo quando características estão ausentes. A abordagem integra três fontes de incerteza: o efeito Rashomon, variáveis não observadas e erro de amostra finita.

1. Fundamentação Teórica

O framework define a verdadeira função média condicional $g^*(x, u)$ , que depende de covariáveis observadas $X$ e covariáveis não observadas $U$ . O objetivo é limitar a importância da variável $\Phi_j(g^*, P_U)$ para esta verdadeira função.

O método procede em três etapas lógicas:

Etapa A: Limitando os Submodelos Verdadeiros via Conjunto Rashomon.
Os autores definem um conjunto de submodelos condicionais $S^* = \{f_u \mid u \in \mathcal{U}\}$ , onde cada $f_u$ é o modelo ideal dado um valor específico da variável não observada $U$ . Eles provam que $S^*$ é um subconjunto do conjunto Rashomon populacional $R(\epsilon_{unobs})$ , onde $\epsilon_{unobs}$ limita a perda esperada desses submodelos nos dados observados.
Etapa B: Correção de Amostra Finita.
Como o conjunto Rashomon populacional é inobservável, o método constrói um conjunto Rashomon empírico $\hat{R}^{(n)}$ . O Teorema 1 fornece uma garantia probabilística de que um conjunto Rashomon empírico ajustado (com um limiar corrigido para o tamanho da amostra finita e viés de regularização) contém o conjunto Rashomon populacional com alta probabilidade. Isso garante que todos os submodelos necessários em $S^*$ sejam capturados.
Etapa C: Contabilizando o Deslocamento de Distribuição (VI-Drift).
Métricas de importância de variáveis dependem da distribuição de entrada. A importância de uma característica em um submodelo $f_u$ avaliada na distribuição condicional $P_{XY|U=u}$ pode diferir de sua importância na distribuição marginal observada $P_{XY}$ . Os autores introduzem um parâmetro $\tau_j$ (VI-drift) para limitar o deslocamento máximo na importância causado pelo condicionamento em variáveis não observadas.

2. O Limite Final

Combinando esses componentes, o Teorema 3 estabelece que a verdadeira importância da variável $\Phi_j(g^*, P_U)$ reside dentro de um intervalo com alta probabilidade ( $1 - (\delta + \gamma)$ ):
$\Phi_j(g^*, P_U) \in \left[ \inf_{f \in \hat{R}} \Phi_j(f, D^{(n)}) - \tau_j - \alpha, \quad \sup_{f \in \hat{R}} \Phi_j(f, D^{(n)}) + \tau_j + \alpha \right]$
Onde:

$\hat{R}$ é o conjunto Rashomon empírico ajustado.
$\alpha$ contabiliza a incerteza de amostra finita na estimativa da própria métrica de VI.
$\tau_j$ contabiliza o deslocamento de distribuição devido ao confundimento não observado.
Os limites são derivados usando dependência de modelo subtrativa (ou outras métricas compatíveis) e mantêm-se para qualquer classe de modelo onde o conjunto Rashomon possa ser estimado.

Principais Contribuições

Primeiro Framework Unificado: O UNIVERSE é o primeiro método que aborda simultaneamente o efeito Rashomon, o confundimento não observado e a incerteza de amostra finita na estimativa de importância de variáveis.
Garantias Teóricas: O artigo fornece limites rigorosos de amostra finita (Teoremas 1–3) que garantem que a verdadeira importância de variáveis está contida no intervalo calculado com alta probabilidade, mesmo sob confundimento não observado.
Generalidade: Ao contrário dos frameworks de análise de sensibilidade restritos a estimandos lineares, o UNIVERSE é compatível com uma ampla classe de métricas de VI agnósticas ao modelo (ex: SHAP, importância de permutação, dependência de modelo).
Implementação Prática: Os autores fornecem um método para estimar o tamanho do conjunto Rashomon para estreitar os limites e demonstram a utilidade do framework em um estudo de caso de risco de crédito.

Resultados Experimentais

Os autores avaliaram o UNIVERSE utilizando conjuntos de dados "semi-sintéticos" derivados de quatro fontes do mundo real (COMPAS, Dropout, FICO, Wine Quality). Nesta configuração, a variável "não observada" era a partição dos dados usada para treinar um submodelo específico, permitindo que os autores conhecessem a verdade fundamental (ground truth).

Validação de Cobertura: Em vários tamanhos de amostra e conjuntos de dados, o framework alcançou consistentemente as taxas de cobertura alvo (ex: $\geq 80\%$ ou $\geq 90\%$ ) apenas quando todos os três ajustes (incerteza do modelo, incerteza de estimativa de VI e VI-drift) foram aplicados.
Necessidade de Ajustes: Experimentos mostraram que omitir correções de amostra finita ou ajustes de VI-drift levava a uma sub-cobertura severa, onde a verdadeira importância ficava fora dos limites calculados.
Estudo de Caso (Risco de Crédito FICO): Em uma análise da característica "External Risk Estimate" (ERE), o UNIVERSE demonstrou que a aparente importância do ERE não era robusta ao confundimento não observado. Os limites sugeriram que outras características, potencialmente mais interpretáveis, poderiam substituir o ERE se capturassem um nível específico de sinal, desafiando a conclusão de que o ERE é indispensável.

Significância e Alegações

O artigo afirma que o UNIVERSE representa um passo substancial à frente no uso de importância de variáveis em configurações desafiadoras e realistas onde os dados estão incompletos. Ao fornecer limites matematicamente garantidos, o framework permite que profissionais:

Distinguam entre características que são robustamente importantes em todos os modelos plausíveis e cenários não observados versus aquelas cuja importância é um artefato de variáveis omitidas.
Evitem conclusões enganosas derivadas de análises de modelo único ou análises que ignoram o efeito Rashomon.
Quantifiquem o "custo" do confundimento não observado em termos da largura do intervalo de importância.

Os autores observam que, embora encontrar o conjunto Rashomon completo possa ser computacionalmente intensivo, o framework é geral e aplicável a qualquer classe de modelo onde o conjunto possa ser aproximado (ex: árvores de decisão, florestas aleatórias). Eles reconhecem que trabalhos futuros são necessários para estender esses métodos para resultados contínuos e classes de modelos mais complexas, como redes neurais.