🤖 AI

Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI

Este artigo introduz o Activation-Deactivation (AD), um novo framework de explicabilidade post-hoc que substitui perturbações de entrada pela desativação interna do modelo para gerar explicações mais robustas e transferíveis sem a necessidade de treinamento adicional.

Autores originais: Akchunya Chanchal, David A. Kelly, Hana Chockler

Publicado 2026-07-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Akchunya Chanchal, David A. Kelly, Hana Chockler

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente, mas misterioso, que olha para imagens e diz o que vê (como "Isso é um íbex!" ou "Isso é um ornitorrinco!"). O problema é que o robô é uma "caixa preta" — você não consegue ver como ele pensa. Você quer saber: Quais partes da imagem fizeram o robô dizer "íbex"?

Este é o problema da IA Explicável (XAI). O artigo apresenta uma nova maneira de responder a essa pergunta chamada Ativação-Desativação (AD), e uma ferramenta específica para ela chamada convad.

Veja como funciona, usando analogias simples:

A Maneira Antiga: O Problema do "Vizinho Malvado"

Atualmente, a maioria dos métodos tenta explicar a decisão do robô mutando a imagem.

A Analogia: Imagine que você quer saber se a famosa sopa de um chef é boa por causa das cenouras. Para testar isso, você pega uma colher da sopa e substitui as cenouras por... papel higiênico, areia ou tinta azul.
O Problema: Se você colocar papel higiênico na sopa, a sopa deixa de ser "sopa". É uma bagunça estranha, fora da distribuição original. Se o chef disser: "Eu não gosto disso", você não sabe se é porque as cenouras estavam faltando ou apenas porque você estragou a sopa com papel higiênico.
No Artigo: Isso é chamado de usar "mutantes fora da distribuição". Os métodos antigos mascaram partes da imagem com valores aleatórios (como zero, cinza ou ruído). Dependendo do que você usa para mascarar, você obtém respostas diferentes e, muitas vezes, confusas. Às vezes, o robô acha que uma foto de um boneco de neve é uma ovelha apenas porque você mascarou a neve com a cor errada.

A Nova Maneira: O "Interruptor Silencioso" (Ativação-Desativação)

Os autores dizem: "Por que mudar os ingredientes? Basta dizer ao robô para ignorar eles."

A Analogia: Em vez de substituir as cenouras por papel higiênico, imagine que você simplesmente apaga as luzes na seção da cozinha onde as cenouras estão. As cenouras ainda estão lá, mas os olhos do chef (os sensores do robô) não podem vê-las. O resto da sopa permanece perfeitamente normal.
Como funciona: A ferramenta convad não altera a imagem de forma alguma. Em vez disso, ela entra no cérebro do robô (a rede neural) e aciona interruptores. Se uma parte da imagem deve ser "mascarada", a ferramenta impede que a informação dessa parte da imagem viaje pelo cérebro do robô. Ela efetivamente diz: "Finja que esta parte da imagem não existe", sem realmente alterar os dados da imagem.

Por Por Que Isso é Melhor?

Sem Jogo de Adivinhação: Os métodos antigos exigem que você adivinhe: "Devo mascarar com preto? Cinza? Branco?" O artigo mostra que a resposta muda completamente dependendo da sua suposição. O convad não precisa de suposições. Ele apenas desliga o sinal.
Estabilidade: Como não introduz pixels estranhos de "papel higiênico", a reação do robô é muito mais confiável. O artigo testou isso em muitos tipos diferentes de robôs (modelos) e imagens (datasets).
A "Zona de Equilíbrio": Os pesquisadores descobriram que as explicações do convad são "na medida certa". Elas não são grandes demais (desperdiçando espaço com pixels irrelevantes), não são muito ruidosas (confusas) e são muito robustas (elas ainda funcionam mesmo se você colocar a foto contra um fundo liso).

Os Resultados

O artigo testou o convad contra os melhores métodos atuais (como LayerMask, LIME e Grad-CAM).

Robustez: O convad foi 30-40% melhor em fornecer explicações nas quais o robô realmente confiava, mesmo quando o fundo mudava.
Transferibilidade: Se você encontrar as "partes importantes" de uma imagem usando o convad em um tipo de robô, essas mesmas partes geralmente funcionam para um outro tipo de robô. Outros métodos frequentemente falham nisso.
Sem Necessidade de Treinamento: Você pode pegar qualquer robô que já esteja treinado, conectar o convad e ele funciona imediatamente. Você não precisa reensinar nada ao robô.

A Ressalva (Limitações)

Acesso Interno: Para usar o convad, você precisa ser capaz de abrir o cérebro do robô e tocar nos fios (acesso às camadas internas do modelo). Você não pode usá-lo em um robô cujo interior você não consegue ver (uma verdadeira "caixa preta").
Vazamento: Às vezes, se o interruptor de "desligar" não for perfeito, uma pequena quantidade de informação pode "vazar", como uma luz brilhando por baixo de uma porta. Os autores reconhecem isso, mas dizem que é um caso raro.

Resumo

O artigo propõe uma nova maneira de entender as decisões da IA. Em vez de bagunçar a imagem de entrada com valores estranhos (como a sopa com "papel higiênico"), o convad simplesmente diz à IA para ignorar partes específicas da imagem, cortando o sinal dentro do modelo. Isso leva a explicações mais claras, confiáveis e dignas de confiança sobre o porquê de uma IA ter tomado uma decisão.

Resumo Técnico: Ativação-Desativação (AD) para IA Explicável Robusta Post-hoc

1. Declaração do Problema

Os atuais métodos de IA explicável (XAI) baseados em perturbação, como LIME, SHAP e REX, dependem da criação de "mutantes" dos dados de entrada através do mascaramento ou oclusão de características específicas. Esses métodos tipicamente substituem os pixels mascarados por valores predefinidos (ex: zero, média, desfoque gaussiano ou ruído aleatório). Os autores argumentam que essa abordagem gera entradas fora da distribuição (o.o.d. - out-of-distribution), o que coloca em dúvida a fidelidade das explicações resultantes.

A escolha do valor de mascaramento impacta significativamente a qualidade da explicação. Conforme demonstrado no artigo, diferentes valores de mascaramento (ex: zero vs. máximo) podem levar a conjuntos de pixels minimamente suficientes (MSPS) vastamente distintos, alguns dos quais podem não se alinhar com a intuição humana ou com as reais fronteiras de decisão do modelo. Além disso, os métodos existentes frequentemente exigem adaptações específicas ao domínio ou conhecimento especializado para selecionar o "valor de mascaramento correto", introduzindo subjetividade e inconsistência.

2. Metodologia: Ativação-Desativação (AD)

O artigo introduz a Ativação-Desativação (AD), um novo paradigma de passagem direta (forward-pass) que elimina totalmente a necessidade de perturbação da entrada. Em vez de modificar a imagem de entrada, a AD modifica o estado interno do modelo durante a inferência.

Mecanismo Central:

Conceito: A AD "desliga" partes do modelo correspondentes às perturbações pretendidas. Ela restringe a propagação de ativações associadas às características de entrada ocluídas, forçando efetivamente o modelo a desconsiderar essas regiões sem alterar a distribuição da entrada.
Implementação (convad): Os autores implementam a AD para Redes Neurais Convolucionais (CNNs) via um algoritmo chamado convad.
- Checkpoints: O algoritmo insere checkpoints em camadas específicas (ex: antes de operações que alteram a dimensionalidade ou entre camadas convolucionais).
- Atribuição de Posição: Utiliza uma função de atribuição de posição, $\Phi_i$ , para calcular a razão entre as características mascaradas e não mascaradas que contribuem para uma ativação específica.
- Limiarização (Thresholding): Um hiperparâmetro $\tau$ determina o limiar para a desativação. Se a razão de características mascaradas exceder $\tau$ , a ativação correspondente é definida como zero.
- Propagação da Máscara: A máscara é atualizada e propagada através da rede. Para operações de preservação de forma, utiliza-se uma convolução de kernel de valor médio para atualizar a máscara. Para operações de alteração de dimensionalidade, a máscara é ajustada com base na operação específica (ex: preenchimento com 1s ou 0s).

Garantias Teóricas:
O artigo prova que, se a máscara de entrada for "vazia" (todos os elementos iguais a um), o modelo instrumentado com convad $N'$ comporta-se identicamente ao modelo original $N$ . Isso garante que o framework não altera o comportamento basal do modelo quando nenhuma característica é ocluída, uma garantia que os autores observam faltar em ferramentas similares como o LayerMask.

3. Principais Contribuições

Novo Paradigma: Introdução da AD, que substitui a perturbação da entrada pela desativação de ativações internas, mantendo assim as características de entrada do modelo estritamente dentro da distribuição.
Implementação de Algoritmo: Desenvolvimento do convad, um mecanismo de "inserção direta" (drop-in) para CNNs treinadas que não requer treinamento adicional, ajuste fino (fine-tuning) ou conhecimento específico do domínio sobre valores de mascaramento.
Estrutura Teórica: Definições formais para funções de posição e funções de atribuição de posição dentro do framework AD, juntamente com provas de equivalência comportamental ao modelo original sob condições não mascaradas.
Avaliação Abrangente: Uma comparação rigorosa contra métodos de caixa-preta e caixa-branca de estado da arte (SOTA) (LIME, Grad-CAM, REX) e a ferramenta LayerMask através de múltiplas arquiteturas (ResNet-50, RegNetY-12GF, EfficientNet-V2) e bases de dados (ImageNet-1k, ImageNet-v2, PASCAL-VOC).

4. Resultados Experimentais

Os autores avaliaram a qualidade da explicação com base em robustez, transferibilidade, tamanho, redundância e sobreposição.

Robustez: O convad superou consistentemente todas as estratégias baseadas em mascaramento. Em fundos de cor sólida, as explicações do convad mantiveram a classificação correta significativamente mais vezes. Em fundos dentro da distribuição (i.i.d.), o convad mostrou aproximadamente 20% de robustez em limiares de confiança elevados, superando outros métodos em 30–40% em média.
Transferibilidade: Os MSPSs gerados pelo convad demonstraram até 22% mais transferibilidade entre diferentes arquiteturas de modelos comparado a outros métodos, sugerindo que eles dependem de características verdadeiramente discriminativas em vez de atalhos (shortcuts).
Zona Goldilocks: A análise da relação entre robustez, tamanho da explicação e ruído revelou que as explicações do convad ocupam uma zona "Goldilocks": são altamente robustas, possuem baixo ruído (redundância) e são compactas em tamanho. Outros métodos tenderam a falhar em pelo menos uma dessas dimensões.
Independência de Valores de Mascaramento: Ao contrário dos métodos de perturbação, onde os resultados variam drasticamente com base no valor de mascaramento escolhido (ex: Zero vs. Máximo), o convad produziu resultados consistentes sem exigir a escolha de um valor de oclusão.

5. Significância e Alegações

O artigo afirma que a AD aborda a falha fundamental da XAI baseada em perturbação: a geração de entradas fora da distribuição. Ao desativar ativações em vez de mutar entradas, o convad fornece explicações que são:

Mais Robustas: Menos sensíveis à escolha específica da estratégia de perturbação.
Mais Transferíveis: As características identificadas como importantes são consistentes entre diferentes arquiteturas de modelos.
Agnóstica ao Modelo (dentro da arquitetura): O algoritmo é o mesmo para todos os modelos da mesma arquitetura (CNNs), não exigindo retreinamento.
Fiel (Faithful): As explicações aderem estritamente aos limiares de confiança e à lógica de decisão do modelo, sem introduzir artefatos artificiais via valores de mascaramento.

Os autores concluem que, embora a implementação atual seja limitada a CNNs e exija acesso de caixa-branca para modificar camadas internas, o framework AD oferece uma alternativa principada ao mascaramento que melhora significamente a confiabilidade das explicações post-hoc. Trabalhos futuros planejam estender este framework para modelos de transformadores (transformers) e baseados em atenção.