🤖 machine learning

Assessing Alignment and Stability of Feature Importance Explanations via Weight of Evidence

Este artigo introduz um novo framework que incorpora Métodos de Importância de Atributos dentro de um paradigma de teste de hipóteses baseado em Peso de Evidência para fornecer uma avaliação fundamentada e orientada por evidências do alinhamento da explicação com o conhecimento prévio e de sua estabilidade através de diferentes hipóteses de referência.

Autores originais: Eddie Conti, Claudio Daka, Álvaro Parafita, Antonio L. Alfeo, Axel Brando, Mario G. C. A. Cimino

Publicado 2026-09-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eddie Conti, Claudio Daka, Álvaro Parafita, Antonio L. Alfeo, Axel Brando, Mario G. C. A. Cimino

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, existe uma tensão persistente entre a rapidez com que as máquinas aprendem e o quão bem os humanos as compreendem. Construímos sistemas capazes de diagnosticar doenças, prever mercados de ações e reconhecer rostos, mas a lógica interna desses sistemas muitas vezes permanece uma caixa preta. Para preencher essa lacuna, cientistas desenvolveram ferramentas chamadas métodos de importância de características (feature importance methods). Estas são como holofotes que iluminam as peças específicas de informação que um computador utilizou para tomar uma decisão, dizendo-nos quais fatores foram mais importantes. No entanto, saber quais fatores foram destacados não é o mesmo que saber se o holofote está apontando na direção certa. Um método pode destacar consistentemente as mesmas características, mas se essas características forem irrelevantes para o problema real, a explicação será enganosa. O desafio, portanto, não é apenas gerar uma explicação, mas verificar sua confiabilidade e estabilidade.

Uma equipe de pesquisadores abordou esse problema de verificação tratando a própria explicação como uma ideia testável. Em vez de simplesmente aceitar uma lista de características importantes como um fato, eles formularam a explicação como uma hipótese — uma afirmação sobre o que impulsionou a decisão — e então utilizaram uma ferramenta estatística conhecida como peso da evidência para ver o quão fortemente os dados apoiam essa afirmação. Esta ferramenta, emprestada da teoria da informação, mede o quanto uma peça de evidência desloca nossa crença em uma direção versus outra. Neste contexto, a "evidência" é o comportamento da própria ferramenta de explicação ao ser solicitada a analisar a mesma situação múltiplas vezes. Ao executar a ferramenta repetidamente, os pesquisadores puderam observar se ela apontava consistentemente para as mesmas características ou se suas respostas derivavam aleatoriamente. Se a ferramenta for estável e correta, a evidência deve apoiar fortemente a hipótese de que as características destacadas são, de fato, as que importam.

Os pesquisadores aplicaram este framework a duas ferramentas de explicação populares, conhecidas como LIME e SHAP, testando-as contra diferentes padrões de verdade. Em um cenário, compararam as respostas das ferramentas contra o conhecimento humano estabelecido sobre o desastre do Titanic, onde registros históricos confirmam que o gênero e a classe dos passageiros foram os fatores decisivos para a sobrevivência. Quando as ferramentas foram solicitadas para explicar as previsões de sobrevivência, os pesquisadores descobriram que o LIME produziu um alinhamento perfeito em 27 de 50 casos, enquanto o SHAP, apesar de ser determinístico, mostrou uma divisão: ele alinhou-se perfeitamente em 23 casos, mas falhou completamente no alinhamento em 27 outros, apontando para características além dos fatores críticos conhecidos. Isso revelou que, mesmo quando uma ferramenta parece funcionar, ela pode falhar em regiões específicas dos dados, destacando um descompasso entre explicações locais e verdades globais.

Em outro experimento, a equipe criou um ambiente sintético onde sabiam exatamente quais características eram relevantes e quais eram apenas ruído. Eles treinaram um modelo com esses dados e então pediram às ferramentas de explicação para identificar os fatores importantes. Eles descobriram um padrão contraintuitivo: quando os dados tinham um pouco de ruído, as ferramentas às vezes pareciam se alinhar melhor com os fatos subjacentes reais do que com a própria lógica do modelo. Isso sugeriu que o próprio modelo havia aprendido a depender do ruído, e a ferramenta de explicação estava relatando fielmente esse comportamento falho. O framework do peso da evidência permitiu que eles identificassem exatamente onde o pipeline falhou, distinguindo entre erros nos dados, erros no modelo e erros na ferramenta de explicação.

Finalmente, a equipe testou as ferramentas sem qualquer referência externa, simplesmente perguntando se as ferramentas eram consistentes consigo mesmas. Eles executaram as ferramentas muitas vezes nos mesmos dados e mediram a frequência com que a lista de características importantes permanecia a mesma. Descobriram que, quando as ferramentas produziam listas muito semelhantes em diferentes execuções, o peso estatístico da evidência tornava-se extremamente alto, confirmando efetivamente a estabilidade da ferramenta. Por outro lado, quando as listas mudavam drasticamente de uma execução para outra, o peso da evidência caía, sinalizando que a explicação era não confiável. Isso confirmou uma previsão teórica de que a estabilidade de uma explicação está diretamente ligada à força da evidência que a apoia.

O estudo conclui que esta abordagem estatística oferece uma nova e rigorosa maneira de avaliar quanta confiança podemos depositar nas explicações da inteligência artificial. Ela não nos diz apenas o que o computador pensa ser importante; ela nos diz o quão confiantes devemos estar nessa resposta. Ao quantificar o alinhamento entre uma explicação e as verdades conhecidas, ou ao medir a consistência interna da própria explicação, este método fornece uma lente mais clara através da qual podemos visualizar o raciocínio de máquinas complexas. Os pesquisadores sugerem que este framework pode ser adaptado para várias situações, seja verificando contra o conhecimento especializado, verificando contra a verdade fundamental (ground truth) ou simplesmente garantindo que uma ferramenta não dê uma resposta diferente toda vez que lhe é feita a mesma pergunta.

Resumo Técnico: Avaliando o Alinhamento e a Estabilidade de Explicações de Importância de Atributos via Peso de Evidência

Declaração do Problema
Métodos de Importância de Atributos (FIMs) são ferramentas padrão em IA Explicável (XAI) para interpretar as predições de modelos de caixa-preta. No entanto, as métricas de avaliação existentes frequentemente dependem de suposições implícitas sobre o que constitui uma "boa" explicação, carecendo de critérios universalmente aceitos para transparência ou interpretabilidade. Além disso, embora os FIMs forneçam escores de atribuição, esses escores isolados oferecem uma visão limitada sobre o processo de raciocínio subjacente ou a estabilidade de explicadores estocásticos (ex: LIME, SHAP). Há uma necessidade de um framework principiado para avaliar quão bem os FIMs se alinham com o conhecimento prévio, a verdade fundamental (ground truth) ou sua própria consistência interna, particularmente em domínios de alto risco onde confiança e responsabilidade são primordiais.

Metodologia
Os autores propõem um novo framework que insere os FIMs dentro de um paradigma de teste de hipóteses baseado no Peso de Evidência (WoE), um conceito estatístico da teoria da informação.

Formulação da Hipótese:
- O framework trata a importância de atributos como uma hipótese testável ( $h$ ) sobre quais atributos são relevantes para a decisão de um modelo.
- Uma hipótese binária é derivada de vetores de atribuição contínuos ( $\alpha$ ) usando estratégias de seleção: Seleção Top-k (TK) ou Seleção Adaptativa (AS), onde os atributos são selecionados até que expliquem uma fração suficiente ( $\tau$ ) da massa total de atribuição.
- A hipótese de referência ( $h^*$ $h^{*}$ ) pode originar-se de três fontes:
  - Conhecimento de Domínio: Conhecimento externo de especialistas (ex: "sexo e classe são relevantes para a sobrevivência no Titanic").
  - Verdade Fundamental (Ground Truth): Atributos conhecidos como relevantes em conjuntos de dados sintéticos.
  - Consistência Interna: A média empírica da atribuição derivada de múltiplas execuções do próprio FIM.
Cálculo do Peso de Evidência:
- O WoE quantifica a força da evidência ( $e$ ) que apoia a hipótese $h$ sobre uma hipótese alternativa $h'$ (tipicamente o complemento $\bar{h}$ ).
- Formalmente: $woe(h : e) = \log \frac{p(e | h)}{p(e | h')}$ .
- Evidência ( $e$ ): Gerada ao executar um FIM estocástico $N$ vezes em uma instância fixa $x$ , produzindo um conjunto de vetores de atribuição.
- Probabilidade a Priori ( $p(h)$ ): Assumida como uniforme sobre todos os $2^d$ possíveis atribuições de relevância binária (ajustada pela natureza parcial da hipótese — especificando apenas atributos relevantes, não os irrelevantes).
- Probabilidade a Posteriori ( $p(h|e)$ ): Estimada empiricamente como a proporção de execuções onde o conjunto de atributos derivado coincide com a hipótese de referência $h^*$ .
Conexão Teórica com a Variabilidade:
- O artigo estabelece um vínculo teórico entre a variabilidade de atribuição e o WoE.
- Teorema 1: À medida que a variância dos escores de atribuição do FIM estocástico se aproxima de zero, o WoE para a hipótese de referência (gerada a partir da média da atribuição) diverge para $+\infty$ com probabilidade aproximando-se de 1. Isso prova que o WoE serve como um quantificador direto da estabilidade do FIM.

Principais Contribuições

Uma Estratégia Formal de WoE para XAI: Os autores adaptam o framework de WoE para testar hipóteses sobre FIMs, oferecendo uma lente contrastiva e baseada em evidências para avaliação.
Avaliação Multifacetada: Dependendo da fonte da hipótese de referência, o framework pode:
- Testar o alinhamento entre explicações locais e conhecimento global de domínio.
- Medir a fidelidade ao mecanismo intrínseco do modelo e o alinhamento com a verdade fundamental do nível de dados.
- Capturar a estabilidade (variabilidade) de FIMs estocásticos.
Prova Teórica: Uma prova demonstrando que a baixa variabilidade do FIM leva a um WoE infinito quando a hipótese de referência é derivada da média da atribuição, vinculando formalmente a estabilidade à métrica.

Resultados Experimentais
O framework foi avaliado usando LIME e SHAP em três configurações:

Alinhamento com Conhecimento de Domínio (Dataset Titanic):
- Testado contra uma hipótese global de que "sexo" e "classe" são os principais impulsionadores da sobrevivência.
- Resultado: O LIME mostrou resultados mistos (algumas instâncias alinhadas, outras divergentes), enquanto o SHAP produziu explicações determinísticas que eram perfeitamente alinhadas ou completamente desalinhadas ( $-\infty$ WoE).
- Insight: O WoE identifica efetivamente regiões no espaço de atributos onde o comportamento local diverge das explicações globais assumidas.
Verdade Fundamental e Fidelidade (Dados Sintéticos):
- Um conjunto de dados sintético foi criado com atributos informativos conhecidos e atributos redundantes com níveis de ruído variáveis ( $\lambda$ ).
- Resultado: Com baixo ruído, o LIME alinhou-se mais com o modelo (que dependia de atributos redundantes) do que com a verdade fundamental. À medida que o ruído aumentou, o modelo convergiu para a verdade fundamental, e os valores de WoE refletiram essa mudança.
- Insight: O WoE pode localizar o desalinhamento ao longo do pipeline Dados $\to$ Modelo $\to$ FIM, diagnosticando explicações infiéis causadas por alta curvatura local ou larguras de kernel inapropriadas.
Estabilidade Interna (Datasets do Mundo Real):
- Avaliado nos datasets Diabetes, Heart Disease, Mobile e Churn sem referências externas.
- Resultado: O SHAP produziu consistentemente a mesma hipótese entre as execuções (alta estabilidade, $+\infty$ WoE), enquanto o LIME mostrou maior variabilidade, especialmente em datasets complexos como o Mobile.
- Insight: O WoE captura com sucesso a consistência interna dos FIMs, onde escores positivos indicam explicações estáveis e escores negativos indicam instabilidade.
Validação Teórica:
- Experimentos variando o número de amostras de fundo (para LIME) e adicionando ruído Gaussiano controlado às atribuições sintéticas confirmaram que menor variância leva a um WoE maior, validando o Teorema 1.

Significância e Alegações
O artigo afirma que este framework oferece uma ferramenta complementar para avaliar FIMs. Ele não substitui as métricas existentes, mas fornece um método estatístico e principiado para:

Quantificar quão fortemente a evidência observada apoia alegações específicas sobre a importância de atributos.
Distinguir entre alinhamento com conhecimento prévio, fidelidade ao modelo e estabilidade interna.
Diagnosticar falhas no pipeline de explicação (ex: quando um modelo aprende correlações espúrias ou quando um explicador é sensível demais ao ruído).

Os autores mantêm uma postura modesta, observando que o framework depende de escolhas de design específicas (ex: priors uniformes, correspondência exata de conjuntos para hipóteses) que poderiam ser relaxadas em trabalhos futuros. Eles enfatizam que a abordagem requer múltiplas execuções do explicador, introduzindo um custo computacional, mas argumentam que estimativas estáveis podem ser obtidas com um número relativamente pequeno de execuções.

Mais como este