🤖 AI

Causal Explanations for Image Classifiers

Este artigo apresenta o ReX, um novo framework de caixa-preta fundamentado na teoria da causalidade real formal que computa explicações eficientes, mínimas e de alta qualidade para classificadores de imagens, superando as ferramentas de estado da arte existentes tanto em velocidade quanto em tamanho de explicação.

Autores originais: Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

Publicado 2026-07-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hana Chockler, David A. Kelly, Daniel Kroening, Youcheng Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente, mas secreto, que olha para uma foto e diz: "Isso é uma joaninha!". Você pergunta: "Por quê?". O robô não consegue te dizer porque ele é uma "caixa preta" — seus componentes internos e fios estão escondidos, e até as pessoas que o construíram não entendem totalmente como ele toma suas decisões.

Este artigo apresenta uma nova maneira de fazer essa pergunta "Por quê?" e obter uma resposta clara e honesta sem precisar abrir o capô do robô. Os autores chamam seu método de rex.

Aqui está a explicação de como ele funciona, usando analogias simples:

1. O Problema: O "Mapa de Calor" vs. "A Verdade"

A maioria das ferramentas atuais tenta explicar a decisão do robô desenhando um "mapa de calor" na imagem. Elas colorem as partes da imagem que consideram importantes em vermelho e as partes não importantes em azul.

A Falha: Esses mapas de calor são frequentemente borrados. Eles podem destacar a joaninha inteira, mas também a grama, o céu e uma folha aleatória por perto. É como um detetive apontando para uma cena de crime e dizendo: "O culpado estava em algum lugar neste bairro inteiro". Não é muito útil se você quiser saber exatamente quem o fez.

2. A Solução: O Teste dos "Ingredientes Mínimos"

Os autores, liderados por Hana Chockler e colegas, decidiram usar um conceito da lógica chamado causalidade. Em vez de adivinhar o que é importante, eles fazem uma pergunta simples: "Qual é a quantidade absoluta mínima desta imagem que eu preciso manter para ainda obter a mesma resposta?"

Pense nisso como uma receita:

Se você está assando um bolo e o robô diz: "Este é um bolo de chocolate", um mapa de calor pode dizer: "A farinha, o açúcar, os ovos e a tigela são todos importantes".
O método rex é como um chef que diz: "Na verdade, se eu remover a tigela, o bolo continua sendo um bolo. Se eu remover o açúcar, não é. Se eu remover a farinha, não é. Mas se eu mantiver apenas a farinha, o açúcar e os ovos, e jogar o resto fora, ainda é um bolo de chocolate".

O rex encontra o menor grupo possível de pixels (os "ingredientes") que são estritamente necessários para o robô dizer "Joaninha". Se você cobrir todo o resto, o robô ainda verá uma joaninha.

3. Como Funciona: O "Detetive de Vendas"

Como o robô é uma caixa preta, o rex não pode olhar dentro dele. Em vez disso, ele joga um jogo de "cobrir e descobrir":

A Partição: Ele corta a imagem em quatro pedaços aleatórios (como fatiar uma pizza).
O Teste: Ele cobre diferentes combinações desses pedaços e pergunta ao robô: "Ainda é uma joaninha?".
O Refinamento: Se o robô disser "Sim" mesmo com um pedaço coberto, esse pedaço não era importante. Se o robô disser "Não" quando um pedaço é coberto, esse pedaço é vital.
A Iteração: Ele continua cortando os pedaços "vitais" em partes cada vez menores, repetidamente, até encontrar os pixels minúsculos que importam.
A Média: Para garantir que não deu sorte com uma divisão específica da pizza, ele repete esse processo muitas vezes com cortes diferentes e tira a média dos resultados.

4. Os Resultados: Menores, Mais Precisos e Mais Rápidos

Os autores testaram o rex contra outras ferramentas populares (como Grad-CAM, LIME e SHAP) usando milhares de imagens. Aqui está o que descobriram:

Explicações Minúsculas: O rex produz explicações que são incrivelmente pequenas. Em muitos casos, a "explicação" cobre menos de 5% da imagem. Outras ferramentas frequentemente destacam de 10% a 50% da imagem, incluindo muito "ruído" (fundo irrelevante).
Precisão: Como o rex só destaca o que é estritamente necessário, ele evita apontar para coisas irrelevantes. Por exemplo, se uma foto de um ônibus tem uma pessoa parada na frente dele, o rex ignora corretamente a pessoa e foca apenas nas partes do ônibus que provam que é um ônibus.
Velocidade: Apesar de fazer muitos testes, ele é surpreendentemente rápido. É a ferramenta de "caixa preta" mais eficiente testada, muitas vezes superando ferramentas que têm permissão para espiar o cérebro do robô (ferramentas de "caixa branca").

5. Uma Reviravolta sobre "Deletar"

O artigo também desafia uma forma comum de medir a qualidade chamada "curva de deleção".

O Jeito Antigo: As pessoas pensavam que uma boa explicação deveria fazer a confiança do robô cair rapidamente se você começasse a deletar os pixels destacados.
A Nova Percepção: Os autores argumentam que isso é enganoso. Às vezes, uma imagem tem múltiplas razões para uma classificação (por exemplo, uma foto de uma estrela-do-mar pode ser reconhecida pelo braço esquerdo OU pelo braço direito). Se você deletar o braço esquerdo, o robô ainda vê o braço direito e mantém a confiança.
A Analogia: Imagine um sistema de segurança que abre se você tiver uma chave OU uma impressão digital. Se você remover a chave, o sistema ainda abre devido à impressão digital. Uma pontuação de deleção "ruim" não significa que a explicação esteja errada; significa que o sistema encontrou múltiplos motivos válidos. O rex é inteligente o suficiente para encontrar todas essas diferentes "chaves", enquanto outras ferramentas geralmente encontram apenas uma.

Resumo

O artigo apresenta o rex, uma ferramenta que trata um classificador de imagens de IA como um mistério a ser resolvido por eliminação. Em vez de adivinhar o que a IA vê, ele cobre sistematicamente partes da imagem até encontrar a "impressão digital" minúscula e essencial que prova a decisão da IA. O resultado é uma explicação que é menor, mais precisa e mais confiável do que qualquer outro método de caixa preta disponível atualmente.

Resumo Técnico: Explicações Causais para Classificadores de Imagens

Definição do Problema
Redes neurais (NNs) funcionam como "caixas pretas" complexas e não lineares, tornando difícil rastrear como os dados de pixels são interpretados para produzir uma classificação. Essa opacidade é particularmente problemática em sistemas proprietários (ex: saúde) onde as camadas internas são inacessíveis. As técnicas existentes de IA Explicável (XAI) para classificadores de imagem geralmente dependem de rankings de pixels ou mapas de calor derivados de gradientes, propagação ou perturbação. No entanto, esses métodos carecem de uma abordagem fundamentada em definições formais de causa e explicação. Além disso, as ferramentas existentes frequentemente produzem explicações que são grandes, contêm informações estranhas ou dependem de segmentações iniciais arbitrárias (ex: LIME) ou oclusões aleatórias não guiadas (ex: RISE). O artigo aborda a necessidade de uma definição formal e rigorosa de explicação adequada para classificadores de imagem e de um método eficiente para computá-la sem abrir a caixa preta do modelo.

Metodologia
Os autores propõem uma nova abordagem de caixa preta fundamentada na teoria da causalidade atual, especificamente adaptando as definições de Halpern [2019] para a classificação de imagens.

Definição Formal: O artigo define uma explicação como um subconjunto mínimo de pixels com seus valores originais que é suficiente para obter a mesma classificação que a imagem original, desde que todos os outros pixels sejam mascarados (substituídos por dados de um conjunto de dados predefinido). O classificador de imagem é modelado como um modelo causal de profundidade 2, onde os pixels de entrada são variáveis exógenas e a classificação é a saída.
Intratabilidade: Os autores provam que computar a explicação mínima precisa é intratável (exponencial em relação ao número de pixels). Consequentemente, eles propõem um algoritmo de aproximação.
O Algoritmo rex: A ferramenta proposta, rex, computa explicações aproximadas através de duas etapas principais:
- Ranking Causal: O algoritmo particiona a imagem em "superpixels" retilíneos (inicialmente 4). Ele calcula o "grau de responsabilidade suficiente" para cada superpixel testando combinações de regiões mascaradas/não mascaradas contra o modelo. Este processo é iterativo: superpixels de alta responsabilidade são subdivididos recursivamente e reavaliados. Para mitigar o viés de qualquer partição única, o algoritmo é executado múltiplas vezes com partições iniciais aleatórias, calculando a média dos scores de responsabilidade resultantes para criar um ranking de nível de pixel.
- Extração de Explicação: Usando a lista ranqueada de pixels, um algoritmo ganancioso (greedy) constrói a explicação. Ele adiciona pixels da lista de maior ranking a um conjunto vazio até que a saída do modelo no subconjunto coincida com a classificação original.
Complexidade: Os autores provam que o algoritmo termina e demonstram que o número de chamadas ao modelo é linear no tamanho da imagem ( $O(2^s n N)$ , onde $s$ é o tamanho da partição, $n$ é o número de pixels e $N$ é o número de iterações), tornando-o computacionalmente viável.

Principais Contribuições

Estrutura Formal: O artigo estabelece uma definição formal de explicação para classificadores de imagem baseada em causalidade atual, distinguindo-a de medidas de importância heurísticas ou baseadas em gradiente.
Algoritmo e Ferramenta (rex): Introduz um algoritmo de caixa preta eficiente para computar explicações mínimas aproximadas e implementa-o em uma ferramenta de código aberto.
Garantias Teóricas: Os autores fornecem provas para a terminação e complexidade de seu algoritmo, bem como uma discussão sobre a razão de aproximação em comparação com a definição precisa.
Métricas de Qualidade: O artigo avalia criticamente as métricas padrão de XAI, argumentando que, embora as curvas de inserção e o tamanho da explicação sejam robustos, as curvas de deleção podem ser enganosas para modelos com múltiplas explicações válidas (pois um alto AUC de deleção pode resultar de múltiplas regiões explicativas distintas em vez de baixa qualidade).

Resultados Experimentais
Os autores avaliaram o rex contra ferramentas de estado da arte de caixa branca (ex: Grad-CAM, LRP), caixa cinza (ex: Integrated Gradients, GradientSHAP) e caixa preta (ex: LIME, RISE, KernelSHAP) através de quatro conjuntos de dados (ImageNet-1k-mini, VOC2012, ECSSD e um conjunto de dados personalizado de "Photobombing") e três modelos (ResNet50, ViT, ConvNext).

Tamanho da Explicação: O rex produziu consistentemente as menores explicações, com média entre 3% e 5% do tamanho da imagem. Isso é significativamente menor do que outras ferramentas de caixa preta e frequentemente supera métodos de caixa branca como o Grad-CAM.
Eficiência: O rex é a ferramenta de caixa preta mais eficiente, com tempos de execução comparáveis a outros métodos baseados em perturbação (aprox. 4–6 segundos incluindo a extração) e significativamente mais rápido que o RISE.
Medidas de Qualidade:
- Curvas de Inserção: O rex alcançou a maior Área Sob a Curva (AUC) para inserção, indicando que seus pixels identificados são altamente eficazes em restaurar a confiança da classificação.
- Sobreposição de Segmentação: Em conjuntos de dados com segmentação fornecida por humanos, as explicações do rex mostraram alta sobreposição com o objeto relevante e sobreposição mínima com fundo irrelevante ou oclusões.
- Curvas de Deleção: Os autores observam que o rex frequentemente possui um AUC de deleção maior que alguns concorrentes. Eles argumentam que isso não é uma falha, mas uma característica: o rex identifica múltiplas regiões explicativas distintas (ex: várias partes de um objeto), e deletar pixels de uma região não destrói imediatamente o sinal das outras, ao contrário de ferramentas que identificam uma única região difusa.

Significância e Alegações
O artigo afirma que o rex representa um avanço significativo em XAI de caixa preta ao fornecer explicações que não são apenas computacionalmente eficientes, mas também teoricamente fundamentadas em causalidade. Os autores afirmam que o rex produz as explicações menores e mais precisas entre as ferramentas de caixa preta, muitas vezes superando métodos de caixa branca em termos de tamanho e concentração da explicação.

Crucialmente, o artigo argumenta que o pequeno tamanho das explicações do rex (frequentemente <5% da imagem) implica que uma redução adicional não é útil, pois os pixels identificados são suficientes para a classificação. Os autores também destacam que sua abordagem não depende de segmentação de imagem pré-existente, tornando-a robusta em diferentes conjuntos de dados e arquiteturas de modelos onde máscaras de segmentação podem estar indisponíveis ou imprecisas. O trabalho demonstra que métodos de caixa preta podem alcançar uma qualidade de explicação comparável, ou até melhor, que métodos de caixa branca quando guiados por definições causais formais.