🤖 AI

From Training to Deployment: Post-Hoc Causal Feature Identification via Sensitivity Ratios

Este artigo introduz a Razão de Sensibilidade Normalizada (NSR), um diagnóstico pós-hoc e agnóstico ao modelo que identifica características causais versus espúrias em modelos treinados ao alavancar a estabilidade da sensibilidade através de mudanças ambientais estruturadas, alcançando identificação exata sob condições específicas e demonstrando alta precisão em conjuntos de dados sintéticos e do mundo real.

Autores originais: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Publicado 2026-07-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando descobrir por que uma bola de cristal mágica prevê o futuro. Você sabe que a bola de cristal funciona, mas não sabe como. Ela aprendeu as leis reais da física ou apenas teve sorte ao notar que o céu está sempre azul às terças-feiras? Este é o mundo do aprendizado de máquina (machine learning), onde computadores aprendem a fazer previsões encontrando padrões nos dados. Às vezes, eles encontram os padrões corretos (como "a chuva deixa a grama molhada"), mas frequentemente encontram padrões "espúrios" — coincidências que parecem reais, mas que se quebram assim que a situação muda (como "terças-feiras causam chuva").

O grande problema é que, uma vez que um modelo de computador é treinado, ele é como uma caixa preta. Não podemos espiar facilmente lá dentro para ver se ele está se baseando na verdade ou se é apenas um palpite de sorte. Ferramentas anteriores para corrigir isso exigiam que voltássemos à estaca zero e retreinássemos o modelo do início, o que é lento e caro. Este artigo apresenta uma nova maneira de espiar dentro de um modelo finalizado sem mudar absolutamente nada em como ele foi construído. É como ter uma lanterna especial que pode dizer, apenas observando como o modelo reage a diferentes salas, se ele está olhando para os móveis reais ou apenas para as sombras na parede.

A Nova Lanterna do Detetive: NSR

Os autores deste artigo, Athanasios Vlontzos e sua equipe, inventaram uma ferramenta chamada Razão de Sensibilidade Normalizada (NSR - Normalised Sensitivity Ratio). Pense em um modelo de IA treinado como um chef que aperfeiçoou uma receita de sopa. O chef sabe que, se adicionar uma pitada de sal (um ingrediente "causal"), a sopa fica melhor, não importa onde ele esteja cozinhando. Mas se o chef aprendeu que "sempre que está chovendo lá fora, a sopa fica salgada" (uma correlação "espúria"), essa regra só funciona na cozinha onde chove. Se o chef mudar para uma cozinha ensolarada, a sopa pode ficar terrível porque a chuva não está lá para desencadear o "salgado".

A ferramenta NSR funciona pedindo ao chef para provar a sopa em diferentes cozinhas (ambientes).

O Teste Causal: Se o chef adiciona sal, o sabor muda a mesma quantidade em todas as cozinhas. A sensibilidade é constante.
O Teste Espúrio: Se o chef depende da regra da "chuva", o sabor muda drasticamente dependendo de estar chovendo naquela cozinha específica. A sensibilidade oscila.

O NSR mede esse "balanço". Se a reação de um modelo a uma característica é constante através de diferentes ambientes, o NSR diz: "Isso é uma característica real, causal!". Se a reação dá saltos, o NSR diz: "Isso é uma coincidência espúria!".

Como a Magia Funciona (Sem a Magia)

O artigo prova que, se você tiver pelo menos três ambientes diferentes (como três hospitais diferentes ou três lotes diferentes de dados) onde as coisas "espúrias" (como ruído de equipamento ou clima) mudam, mas as causas "reais" permanecem as mesmas, a ferramenta NSR pode separar perfeitamente a verdade das mentiras.

Os autores testaram essa ideia através de uma série de testes:

Detecção Perfeita: Em suas simulações de computador, quando as condições eram favoráveis — especificamente com pelo menos 5 ambientes e uma magnitude de mudança de 1 ou mais — a ferramenta alcançou uma pontuação perfeita. Sob essas condições específicas de regime, ela identificou cada característica causal e cada uma espúria com 100% de precisão (um AUROC de 1,000). Foi como encontrar uma agulha em um palheiro sem nunca tocar no feno.
As "Zonas de Não-Passagem": O artigo é muito honesto sobre quando a ferramenta falha. Se você tiver apenas dois ambientes, a ferramenta fica cega. Se as mudanças nos ambientes forem muito simétricas (como uma imagem de espelho perfeita), a ferramenta fica confusa. Eles também descobriram que, se o "deslocamento" entre os ambientes for minúsculo em comparação ao ruído, a ferramenta não consegue vê-lo. É como tentar ouvir um sussurro em um furacão; o sinal se perde.
Teste do Mundo Real: Eles testaram isso em dados reais, especificamente um conjunto de dados de compartilhamento de bicicletas de uma cidade. Eles sabiam quais fatores (como temperatura e hora do dia) realmente causavam o aluguel de bicicletas e quais eram apenas coincidências. Sem retreinar o modelo de forma alguma, a ferramenta NSR identificou corretamente 6 de 8 dos verdadeiros fatores causais. Ela teve um desempenho muito superior a outros métodos padrão que apenas olham para o tamanho dos números no modelo.

Por Que Isso Importa

A parte mais emocionante desta descoberta é que ela funciona após o modelo já estar treinado. Normalmente, se você suspeita que um modelo está trapaceando ao usar padrões espúrios, você tem que jogá-lo fora e começar do zero. Com o NSR, você pode simplesmente pegar o modelo finalizado, apontar a lanterna e dizer: "Ah, vejo que você está dependendo do dia da semana em vez dos sintomas médicos reais".

Os autores mostram que este método é um diagnóstico "post-hoc", o que significa que é um check-up que você pode dar a um modelo que já está em operação. Não é necessário conhecer o código interno do modelo, nem tocar no processo de treinamento. Ele apenas observa como o modelo se comporta quando o mundo muda ao seu redor.

No entanto, o artigo também traça uma linha clara no chão. Esta ferramenta funciona melhor quando as causas "reais" (como biologia ou física) permanecem estáveis, e apenas o "ruído" (como diferentes máquinas ou locais) muda. Se as próprias causas reais mudarem de um lugar para outro (como se a definição de "doença" mudasse entre hospitais), a ferramenta pode ficar confusa e pensar que uma causa real é apenas uma coincidência. Os autores são cuidadosos ao dizer que isso é uma limitação, não um erro.

Em suma, este artigo nos dá uma nova maneira de confiar em nossa IA. Ele fornece uma garantia matemática de que, se o mundo mudar de uma forma específica, podemos detectar os mentirosos na lógica do modelo. Ele transforma a caixa preta em uma caixa de vidro, permitindo-nos ver exatamente no que o modelo está se baseando, para que possamos ter certeza de que ele não está apenas adivinhando com base no clima.

Resumo Técnico: Identificação de Atributos Causais Post-Hoc via Razões de Sensibilidade

Declaração do Problema

O artigo aborda uma lacuna crítica na interpretabilidade de aprendizado de máquina: determinar em quais atributos um modelo pré-treinado se baseia de forma causal versus espúria, sem acesso ao procedimento de treinamento, à classe do modelo ou ao grafo causal subjacente.

Métodos existentes para identificação de atributos causais, como o Invariant Risk Minimization (IRM) e o Invariant Causal Prediction (ICP), exigem intervenção durante a fase de treinamento (por exemplo, modificando funções de perda ou realizando buscas exaustivas de subconjuntos). Consequentemente, eles não podem diagnosticar modelos que já foram implantados. Os autores focam no regime de mudança estruturada (structured-shift regime), um cenário comum em dados clínicos multi-centro ou genômica multi-lote, onde os ambientes diferem primariamente na média de atributos espúrios (ex: deslocamentos de equipamentos, efeitos de lote), enquanto o mecanismo causal e a distribuição dos atributos causais permanecem estáveis. Neste cenário, um modelo que depende de atributos espúrios exibirá uma sensibilidade dependente do ambiente, enquanto um modelo que depende de atributos causais mostrará uma sensibilidade constante.

Metodologia: Razão de Sensibilidade Normalizada (NSR)

Os autores propõem a Razão de Sensibilidade Normalizada (NSR), uma métrica de diagnóstico post-hoc e agnóstica ao modelo.

Conceito Central

A NSR quantifica a estabilidade da sensibilidade de um modelo a um atributo específico através de diferentes ambientes.

Razão de Sensibilidade Causal (CSR): Para um atributo $j$ e ambientes $e$ e uma referência $e_{ref}$ , a CSR mede o deslocamento médio na saída do modelo quando o atributo $j$ é substituído por uma amostra da distribuição marginal do ambiente de referência, mantendo os outros atributos fixos.
Normalização: A NSR é definida como o coeficiente de variação ao quadrado ( $CV^2$ ) dos valores de CSR entre os ambientes, normalizado pela média da CSR.
$\text{NSR}_j(e_{ref}) := \frac{\text{Var}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})]}{(\mathbb{E}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})])^2}$

Propriedades Principais

Invariância de Peso: A normalização cancela os pesos aprendidos pelo modelo ( $\hat{w}_j^2$ ). Isso garante que atributos espúrios com coeficientes pequenos (que poderiam ser ignorados por uma análise baseada em pesos) ainda sejam detectados se sua sensibilidade variar entre os ambientes.
Sinal de Diagnóstico: Sob o regime de mudança estruturada:
- Atributos Causais: Induzem sensibilidade constante entre ambientes $\implies \text{NSR}_j = 0$ .
- Atributos Espúrios: Induzem sensibilidade que acompanha o deslocamento ambiental $\implies \text{NSR}_j > 0$ .
Implementação: A NSR requer apenas um modelo black-box treinado, rótulos de ambiente e dados não utilizados para treinamento (held-out data). Ela pode ser computada usando passagens para frente (forward passes), valores SHAP ou importância por permutação como estimadores de drop-in para o sinal de sensibilidade.

Principais Contribuições

1. Teorema de Identificação Exata

Sob um Modelo Causal Estrutural (SCM) linear no regime de mudança estruturada com $K \ge 3$ ambientes não degenerados, a NSR alcança a identificação exata.

Teorema 1: Para qualquer preditor linear com pesos não nulos, $\text{NSR}_j = 0 \iff j$ é um atributo causal.
A prova demonstra que o sinal de identificação surge da geometria dos deslocamentos ambientais, e não dos pesos do modelo. Este resultado teórico estende-se empiricamente para modelos não lineares.

2. Caracterização Completa de Modos de Falha

O artigo fornece critérios quantitativos precisos para quando a NSR falha, permitindo que praticantes avaliem a validade do regime:

Deslocamentos Fracos: A NSR colapsa como $O(\epsilon^4)$ quando a magnitude do deslocamento $\epsilon$ é pequena em relação ao ruído dentro do ambiente.
Geometria Degenerada: A NSR é identicamente zero se $K < 3$ ou se os deslocamentos absolutos a partir do ambiente de referência forem simétricos (ex: deslocamentos de $+1, -1, 0$ ).
Atenuação por Proxy: Para atributos que misturam sinais causais e espúrios ( $X_j = \alpha X_C + (1-\alpha)X_S$ ), a NSR degrada-se como $O((1-\alpha)^4)$ .

3. Taxas de Convergência de Amostra Finita

O artigo estabelece uma lacuna de taxa entre atributos causais e espúrios:

Sob a hipótese nula (atributo causal, $\text{NSR}=0$ ), o estimador empírico converge em $O_p(n^{-1})$ .
Sob a alternativa (atributo espúrio, $\text{NSR}>0$ ), ele converge em $O_p(n^{-1/2})$ .
Essa lacuna permite o limiar por permutação (permutation-based thresholding) sem suposições distributivas, pois a distribuição nula encolhe para zero mais rápido do que a alternativa se separa.

4. Incomparabilidade com IRM e ICP

Os autores provam que a NSR, o IRM e o ICP operam sob condições incomparáveis em relação aos cronogramas de deslocamento (shift schedules).

Existem configurações de deslocamento (ex: deslocamentos simétricos) onde o IRM e o ICP detectam atributos espúrios, mas a NSR não.
Inversamente, existem configurações (ex: deslocamentos assimétricos onde as variâncias quadráticas são zero) onde a NSR detecta atributos espúrios, mas o IRM não.
Os métodos são complementares; a escolha depende da geometria específica dos deslocamentos ambientais disponíveis.

Resultados Experimentais

Validação em Dados Sintéticos

Verificação de Regime: Experimentos confirmam a transição de fase teórica. Com $K \ge 5$ e magnitude de deslocamento $\epsilon \ge 1$ , a NSR alcança um AUROC de 1.000 com variância zero em 30 sementes.
Modos de Falha: Os experimentos validam a nitidez das condições de falha. Deslocamentos simétricos (geometria degenerada) resultam em desempenho de nível de acaso (AUROC $\approx$ 0.5), enquanto a quebra da simetria restaura a detecção perfeita.
Convergência: As taxas de convergência empírica correspondem às previsões teóricas de $O(n^{-1})$ e $O(n^{-1/2})$ dentro de uma margem de erro de 2-8%.

Agnosticismo de Modelo

A NSR foi testada em cinco famílias de modelos (OLS, Ridge, Random Forest, XGBoost, MLP). Os rankings de atributos foram consistentes entre as famílias (Kendel $\tau \ge 0.529$ ), confirmando que o sinal reside na estrutura do ambiente e não na classe específica do modelo.

Aplicações no Mundo Real

Dados de Compartilhamento de Bicicletas: Usando partições por quintis de meses, a NSR recuperou 6 de 8 atributos causais (Precisão@7 = 0.75), superando o LASSO (0.58) sem modificar o modelo treinado.
Dados de Qualidade de Vinho: A NSR identificou drivers causais em um cenário de variação técnica ao nível de lote.
Insight Prático: Os experimentos destacam que a NSR requer que o modelo base generalize dentro dos ambientes (não faça overfitting). A regularização adaptativa (visando $R^2 \approx 0.75$ ) foi necessária para evitar que o ruído específico do ambiente obscurecesse o sinal de estabilidade.

Significância e Escopo

O artigo afirma que a NSR fornece uma ferramenta de auditoria post-hoc, teoricamente fundamentada, para modelos implantados. Sua significância reside em:

Utilidade Operacional: Permite que praticantes diagnostiquem a dependência espúria em modelos existentes sem necessidade de retreinamento ou acesso aos dados de treinamento.
Limites Explícitos: Diferente de muitas ferramentas de interpretabilidade de "caixa preta", a NSR vem com um mapa completo de seu regime de operação e modos de falha, fornecendo verificações quantitativas (ex: verificar magnitude de deslocamento e contagem de ambientes) antes da aplicação.
Complementaridade: Preenche um nicho distinto do IRM e ICP, visando especificamente cenários onde a geometria do deslocamento é assimétrica e o modelo já está treinado.

Limitações Reconhecidas pelos Autores:

Estabilidade Marginal Causal: A NSR assume que a distribuição dos atributos causais ( $P(X_C)$ ) é estável entre os ambientes. Se os covariáveis causais mudarem (ex: mudanças demográficas), a NSR pode classificá-los erroneamente como espúrios.
Estrutura de Deslocamento: A formulação atual assume um deslocamento escalar uniforme entre os atributos espúrios. Deslocamentos de atributos específicos ou de covariância não são capturados diretamente sem extensões de subespaço.
Dependência de Regime: O método é estritamente um diagnóstico para o regime de mudança estruturada; não é uma ferramenta de descoberta causal de propósito geral para distribuições de dados arbitrárias.