🤖 machine learning

Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses

Este artigo introduz o DECAF, um novo framework que decompõe explicações de modelos baseadas em perturbação em componentes distintos de evidência, contradição e fragilidade, demonstrando que esta abordagem consciente de trajetória supera significativamente os métodos tradicionais de atribuição baseados em magnitude em precisão, eficiência e interpretabilidade através de diversas tarefas de visão e tabulares.

Autores originais: Lei You

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lei You

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender por que um amigo fez uma escolha específica, como escolher uma camisa vermelha em vez de uma azul. Você poderia perguntar: "O quanto eles reagiram à cor?". Se eles pegaram a camisa vermelha instantaneamente, você diria: "Nossa, que reação enorme!". Mas aqui está a parte complicada: uma reação enorme nem sempre significa a mesma coisa. Talvez eles tenham amado a camisa vermelha (um bom motivo). Talvez eles tenham odiado a camisa azul tanto que pegaram a vermelha apenas para se afastar dela (um mau motivo). Ou talvez tenham pegado a camisa vermelha porque estavam confusos, apenas para perceber no meio do caminho que preferiam a azul o tempo todo (uma reação fugaz e frágil).

Este é o mundo da "explicabilidade de IA", um campo onde cientistas tentam espiar dentro da "caixa preta" dos modelos de computador para ver o que eles estão pensando. Por muito tempo, a principal ferramenta para isso foi medir a "magnitude" de uma reação — basicamente, o tamanho da mudança na resposta da IA quando você altera a entrada. É como medir o quão forte uma porta bate ao fechar. Mas, como este novo artigo aponta, saber que a porta bateu forte não diz se ela foi batida com raiva, com alegria ou por uma rajada de vento que nem sequer se sustentou. O autor, liderado por Lei You, da Universidade Técnica da Dinamarca, argumenta que temos ignorado o significado por trás do ruído, e eles construíram uma nova maneira de resolver isso.

O artigo apresenta um método chamado DECAF (que significa Decomposição de Evidência, Contradição e Fragilidade). Pense no DECAF como um detetive superinteligente que não apenas ouve o quão alto a porta bateu, mas observa toda a história de como a pessoa se aproximou da porta.

Veja como o DECAF funciona, usando uma história simples: Imagine que você está assistindo a um truque de mágica onde um mágico muda uma carta de um Rei para uma Rainha.

Evidência: À medida que o mágico revela a carta, se a mudança parece estar construindo o resultado final (a Rainha), o DEvez chama isso de Evidência. É a parte da reação que apoia a decisão final.
Contradição: Às vezes, a carta pode parecer um Rei por um breve segundo, depois uma Rainha, e depois voltar a ser um Rei, antes de finalmente se estabilizar como uma Rainha. Se a reação vai contra o resultado final em qualquer momento, o DECAF chama isso de Contadição. É como a IA dizendo: "Espere, eu achei que era um Rei!", antes de mudar de ideia.
Fragilidade: Finalmente, imagine que o mágico agita uma carta que parece uma Rainha, mas quando você olha de perto no final, é apenas um pedaço de papel em branco. A carta pareceu mudar, mas o resultado final foi "nada". Se a IA reage fortemente durante o truque, mas a resposta final é basicamente zero, o DECAF chama isso de Fragilidade. É uma reação que existe apenas por causa do caminho percorrido, não por causa de uma diferença real.

O autor testou essa ideia de algumas formas diferentes. Primeiro, criaram videogames e quebra-cabeças controlados onde sabiam exatamente o que a IA deveria estar fazendo. Eles descobriram que o DECAF conseguia detectar quando uma IA estava dependendo de um "atalho" (como adivinhar com base na cor do fundo) versus o objeto real. Se a IA estava usando um atalho, a pontuação de "Evidência" do DECAF correspondia perfeitamente a esse comportamento. Se a IA estava confusa ou mudando de ideia, a pontuação de "Contradição" disparava.

Em seguida, levaram isso para o mundo real com um teste massivo envolvendo 72 modelos de IA diferentes analisando imagens do conjunto de dados ImageNet-9 (uma coleção de fotos com diferentes fundos). Eles compararam casos onde a IA tinha exatamente a mesma "intensidade" de reação, mas comportamentos subjacentes diferentes.

O Resultado: Se você olhasse apenas para a intensidade (magnitude), você acertaria o comportamento correto apenas 35,0% das vezes. Era basicamente o lançamento de uma moeda.
A Correção do DECAF: Quando usaram o DECAF para observar o tipo de reação (Evidência vs. Contradição vs. Fragilidade), eles acertaram a resposta 96,4% das vezes.

O artigo também descobriu algo surpreendente sobre como revelamos informações para a IA. Eles testaram duas maneiras de mostrar uma imagem: uma onde a imagem inteira aparece gradualmente (como um desvanecimento/blend) e outra onde a imagem é revelada parte por parte (como um quebra-cabeça). Eles descobriram que mudar como a imagem é revelada alterou a "intensidade" total da reação em quase 80%. No entanto, a "Evidência" (as razões boas e sólidas) quase não mudou. Em vez disso, a "Fragilidade" (o ruído confuso e dependente do caminho) explodiu, crescendo mais de 4 vezes. Isso prova que o tamanho total de uma reação pode ser enganoso; muitas vezes, ele apenas indica o quão sensível a IA é ao método de mostrar a imagem, não à própria imagem.

Finalmente, o autor mostrou que o DECAF é incrivelmente eficiente. Em um modelo de IA enorme com 1 bilhão de parâmetros (um modelo DINOv2), o DECAF conseguiu realizar seu trabalho com 4,75 vezes menos tempo e 2,36 vezes menos memória do que outros métodos populares, mantendo a mesma qualidade de execução.

Em resumo, o artigo sugere que temos focado demais em quanto uma IA reage e não o suficiente no que essa reação significa. Ao decompor as reações em Evidência (apoio), Contradição (oposição) e Fragilidade (ruído passageiro), o DECAF nos dá uma imagem muito mais clara e honesta do que esses cérebros digitais estão realmente pensando. É uma ferramenta que não apenas mede o estrondo da porta batendo, mas ajuda a entender por que ela bateu em primeiro lugar.

Resumo Técnico: DECAF – Decomposição de Evidência, Contradição e Fragilidade em Respostas de Perturbação

1. Definição do Problema

Métodos de explicação baseados em perturbação interpretam as decisões do modelo medindo as mudanças nas previsões sob entradas alteradas. No entanto, existe uma lacuna semântica fundamental: a métrica padrão, a magnitude da resposta (a diferença absoluta nas previsções), quantifica o quanto um modelo reage, mas falha em explicar o que essa reação significa.

O artigo identifica que magnitudes de resposta idênticas podem surgir de três regimes comportamentais distintos:

Alinhamento (Alignment): A reação apoia a diferença factual–contrafactual final.
Oposição (Opposition): A reação opõe-se à diferença final (ex: um passo intermediário sugere um resultado, mas o estado final sugere outro).
Fragilidade (Fragility): A reação é forte ao longo do caminho de perturbação, mas desaparece no ponto final, indicando sensibilidade ao processo de revelação em vez de um efeito final significativo.

Tratar esses comportamentos distintos como equivalentes obscurece informações interpretativas críticas. Os métodos existentes frequentemente reduzem trajetórias complexas a um único escalar ou dependem de sinais internos baseados em gradiente, perdendo o papel semântico das respostas intermediárias em relação ao contraste final.

2. Metodologia: DECAF

O autor introduz o DECAF (Decomposição de Evidência, Contradição e Fragilidade), um framework agnóstico ao modelo que decompõe respostas de perturbação pareadas em três componentes semânticos.

Configuração Formal

Dado uma função de pontuação do modelo $q$ , um input factual $x^+$ e um contrafactual $x^-$ , o contraste final é $d = q(x^+) - q(x^-)$ . Uma trajetória de revelação pareada $(x^+(t), x^-(t))$ para $t \in [0, 1]$ começa de um estado não informativo $x^0$ e progride para os pontos finais. A resposta de estágio com sinal é $r(t) = q(x^+(t)) - q(x^-(t))$ .

Roteamento Semântico

O DECAF usa o contraste final $d$ como uma referência semântica para rotear as respostas intermediárias $r(t)$ :

Portão (Gate - $a$ ): Um portão binário determina se o contraste final é significativo ( $|d| \ge \epsilon$ ).
Orientação (Orientation - $s$ ): O sinal de $d$ ( $s = \text{sign}(d)$ ) define a direção "correta".
Decomposição: A resposta é roteada em três componentes:
- Evidência (Evidence - $E$ ): Respostas alinhadas com a direção final quando o contraste final está ativo ( $a=1, s \cdot r(t) > 0$ ).
- Contradição (Contradiction - $C$ ): Respostas que se opõem à direção final quando o contraste final está ativo ( $a=1, s \cdot r(t) < 0$ ).
- Fragilidade (Fragility - $F$ ): Respostas que ocorrem quando o contraste final é desprezível ( $a=0$ ), representando sensibilidade que não persiste até o ponto final.

A decomposição é sem perdas (lossless): $|r(t)| = e(t) + c(t) + f(t)$ . As métricas agregadas são os valores esperados desses componentes ao longo da trajetória e do dataset.

Fundamentos Teóricos

O artigo prova que sob três axiomas operacionais — Conservação (nenhuma magnitude é perdida), Portão de Ponto Final (a fragilidade é isolada para pontos finais desprezíveis) e Suporte Direcional (evidência/contradição são separados pelo sinal) — este roteamento é único. Além disso, o DECAF é um refinamento estrito da magnitude ordinária; enquanto a magnitude pode ser derivada do DECAF ($Abs = E + C + F$), o inverso é impossível, pois perfis comportamentais distintos (ex: evidência pura vs. contradição pura) podem gerar magnitudes idênticas.

3. Principais Contribuições

Identificação do Problema: Definir explicitamente a lacuna semântica nas explicações de perturbação, onde a magnitude falha em distinguir entre alinhamento, reversão e sensibilidade dependente do caminho.
Interface de Revelação Pareada: Introduzir um framework para rastrear contrastes factuais–contrafactuais ao longo de trajetórias correspondentes conforme a informação é progressivamente revelada.
Algoritmo DECAF: Uma decomposição sem perdas e única de respostas em Evidência, Contradição e Fragilidade baseada em semântica relativa ao ponto final. Não requer gradientes, ativações internas ou modelos explicadores treinados.
Validação Comportamental: Demonstrar que esses componentes rastreiam comportamentos medidos de forma independente (dependência de atalhos/shortcuts, reversão de efeito e sensibilidade fora do caminho) em modelos neurais, lineares e de árvore.
Utilidade Prática: Mostrar que o DECAF recupera a semântica da resposta mesmo quando as magnitudes são iguais e fornece diagnósticos estáveis entre protocolos.

4. Resultados Experimentais

Validação Controlada (Formas 3D e Covertype)

Evidência: Em tarefas de visão com atalhos correlacionados (ex: cor da parede vs. forma do objeto), o componente de Evidência ( $E$ ) correlaciona-se fortemente (Spearman $\rho = 0.936$ ) com a vulnerabilidade de um modelo à reversão de atalho.
Fragilidade: Em tarefas projetadas para induzir sensibilidade a estados intermediários (ex: mudanças na cor do chão), o componente de Fragilidade ( $F$ ) rastreia a taxa de mudanças de predição em pares de ponto final nulo ( $\rho = 0.974$ ).
Contradição: Em tarefas onde um efeito inverte a direção sob mudança de contexto, a Contradição ( $C$ ) rastreia a taxa de inversão de rótulo ( $\rho = 0.961$ ), enquanto a magnitude ordinária falha ( $\rho = -0.036$ ).
Transferência Tabular: No dataset Covertype, os componentes do DECAF rastreiam com sucesso preservação, inversão e mudanças de ponto final nulo através de 135 classificadores (lineares, árvores e neurais), superando o SHAP e outros baselines na identificação de mecanismos.

Auditoria no Mundo Real (ImageNet-9)

Recuperação Semântica: Em um zoo de 72 modelos (24 modelos ImageNet-1k prontos para uso e 48 modelos ImageNet-9 ajustados), o DECAF identifica corretamente o papel comportamental dominante (Evidência, Contradição ou Fragilidade) em 96,4% dos casos onde os modelos possuem magnitudes de resposta quase idênticas. Em contraste, a magnitude sozinha alcança apenas 35,0% de precisão.
Sensibilidade ao Caminho: Alterar o caminho de revelação (ex: de uma mistura global para uma revelação patch-a-patch) aumentou a magnitude total da resposta em quase 80%, mas esse aumento foi impulsionado quase inteiramente por Fragilidade e Contradição, enquanto a Evidência permaneceu estável. Isso demonstra que uma maior magnitude não implica necessariamente uma evidência mais forte.
Estabilidade de Ranking: Rankings de modelos baseados na magnitude ordinária foram altamente instáveis entre diferentes caminhos de revelação ( $\rho \approx 0.17$ ), enquanto os rankings baseados em Evidência e Contradição permaneceram estáveis ( $\rho > 0.77$ ).

Benchmarks de Atribuição e Escala

Desempenho: No FunnyBirds e ImageNet-1k, trajetórias curtas de DECAF de apenas ida (3–9 estágios) superaram os baselines de atribuição de propósito geral testados (DeepLIFT, Integrated Gradients, SmoothGrad, RISE).
Eficiência: Em um modelo DINOv2 de 1B de parâmetros, uma trajetória curta de DECAF igualou a qualidade de um forte baseline baseado em gradiente (Integrated Gradients) com 4,75× menos tempo de execução (wall time) e 2,36× menos memória de pico, pois o DECAF requer apenas passagens para frente (forward passes).

5. Significância e Alegações

O artigo afirma que o DECAF aborda uma ambiguidade semântica inerente aos métodos de perturbação. Ao decompor a trajetória de resposta em relação ao contraste final, ele revela que tipo de resposta produziu uma determinada magnitude.

Interpretabilidade: Distingue entre um modelo que depende consistentemente de uma característica (Evidência), um que está confuso ou reverte sua decisão (Contradição) e um que é sensível ao caminho específico de revelação, mas não ao estado final (Fragilidade).
Robustez: Os componentes fornecem diagnósticos mais estáveis entre diferentes protocolos de perturbação do que a magnitude bruta.
Eficiência: Oferece um método de explicação de alta qualidade e agnóstico ao modelo que escala eficientemente para grandes modelos sem exigir gradientes ou acesso interno.

O autor enfatiza que esses papéis são relativos ao par contrafactual, pontuação e caminho de revelação escolhidos; eles não inferem mecanismos causais latentes, mas descrevem o comportamento observável da resposta do modelo a uma intervenção específica. O trabalho sugere que esforços futuros de explicação devem ir além das magnitudes escalares para considerar a composição semântica da trajetória de resposta.