Why Does It Look There? Structured Explanations for Image Classification

O artigo propõe o framework I2X, que transforma mapas de saliência não estruturados em explicações estruturadas sobre o processo de decisão de modelos de classificação de imagens durante o treinamento, permitindo não apenas entender "por que" o modelo foca em certas regiões, mas também melhorar a precisão das previsões através da identificação e perturbação direcionada de protótipos incertos.

O essencial

Imagine que você tem um aluno muito inteligente, mas misterioso, que tira notas perfeitas em provas de matemática. Quando você pergunta: "Como você chegou a essa resposta?", ele apenas aponta para o papel e diz: "Eu sei que é 7". Ele não explica o raciocínio, não mostra os passos e não diz quais números ele olhou primeiro. Ele é uma "caixa preta".

Isso é o que acontece com muitas Inteligências Artificiais (IA) hoje em dia. Elas são incríveis em reconhecer imagens (como gatos, carros ou números), mas ninguém sabe exatamente por que elas tomam certas decisões.

O artigo que você enviou apresenta uma nova ferramenta chamada I2X (Interpretação para Explicabilidade) para resolver esse problema. Vamos usar uma analogia simples para entender como funciona:

1. O Problema: O Mapa de "Foco" (Interpretação Desestruturada)

Atualmente, quando queremos entender uma IA, usamos ferramentas que mostram um "mapa de calor" na imagem. É como se a IA tivesse um laser vermelho apontando para a parte da foto que ela está olhando.

• O problema: Esse mapa diz "olhe aqui", mas não diz "por que" ou "o que" ela está vendo. É como ter um mapa de tesouro sem o X marcando o local exato ou a história de como chegar lá. São apenas manchas de cor sem uma narrativa organizada.

2. A Solução: O Caderno de Roteiro (Explicação Estruturada)

O I2X pega esses mapas de calor e os transforma em um caderno de roteiro organizado. Ele faz isso observando a IA enquanto ela estuda (durante o treinamento).

Imagine que a IA está aprendendo a reconhecer o número 7. O I2X divide o aprendizado em "etapas" e cria Protótipos (que são como "blocos de construção" ou "peças de LEGO" que a IA usa para montar a ideia do número).

• Protótipos: Em vez de ver o número 7 inteiro, a IA aprende a vê-lo em pedaços.
  • Peça A: Um traço diagonal no meio.
  • Peça B: Um ponto no canto superior.
  • Peça C: Uma linha horizontal.
• A Evolução: O I2X observa: "No dia 1, a IA usou a Peça A para diferenciar o 7 do 2. No dia 10, ela adicionou a Peça B para diferenciar o 7 do 6".

Isso cria uma explicação estruturada: "Eu escolhi o 7 porque vi o traço diagonal (Peça A) e o ponto no canto (Peça B), e isso não combina com o número 2."

3. A Descoberta: O "Bloco de Construção Confuso"

A parte mais legal do artigo é que o I2X consegue encontrar peças defeituosas ou confusas.

Imagine que a IA está tentando distinguir um Gato de um Cão.

• Ela usa uma peça chamada "Orelha pontuda" para o gato.
• Mas, por acaso, ela também usa uma peça chamada "Pelo laranja" para ambos.
• Se o gato for laranja e o cão for laranja, a IA fica confusa!

O I2X identifica essa peça "Pelo laranja" como um Protótipo Incerto. Ele diz: "Ei, essa peça está enganando o modelo. Quando ela aparece, a IA começa a errar entre gato e cão."

4. O Poder Mágico: Consertando a IA

Não é apenas para entender; é para consertar.
Como o I2X sabe exatamente qual "peça de LEGO" está causando a confusão, os pesquisadores podem fazer um truque:

1. Eles pegam as fotos que têm essa "peça confusa" (ex: gatos e cães laranjas).
2. Eles dão uma "piscadinha" (perturbação) nessas fotos ou ensinam a IA a ignorar essa peça específica.
3. Resultado: A IA para de errar nessa situação específica e melhora sua nota geral na prova.

Resumo da Ópera

Pense no I2X como um detetive de aprendizado que entra na sala de aula da IA, pega o caderno de anotações dela (que antes era um rabisco ilegível) e o transforma em uma história clara:

1. O que ela viu? (Os protótipos/pedacinhos da imagem).
2. Quando ela viu? (Em qual momento do treinamento).
3. Por que ela escolheu isso? (Como essas peças ajudaram a decidir).
4. O que está errado? (Quais peças estão confundindo a IA).
5. Como consertar? (Removendo ou ajustando essas peças confusas).

Em suma: O I2X transforma a IA de um "mágico que faz truques sem explicar" em um "aluno que mostra o trabalho no papel", permitindo que nós não apenas confiemos nela, mas também a tornemos ainda mais inteligente e precisa.

Resumo técnico

Título: Por Que Parece Ali? Explicações Estruturadas para Classificação de Imagens

Autores: Jiarui Li, Zixiang Yin, Samuel J. Landry, Zhengming Ding, Ramgopal R. Mettu (Tulane University)

1. Problema e Motivação

Os modelos de aprendizado profundo alcançam desempenho preditivo notável, mas sua natureza de "caixa preta" limita a transparência e a confiança, especialmente em domínios críticos como medicina e biologia computacional.

• Limitação Atual: A maioria dos métodos de Inteligibilidade Artificial Explicável (XAI) existentes fornece interpretabilidade não estruturada (ex: mapas de saliência como GradCAM) ou conceitos soltos. Eles mostram onde o modelo olha, mas não explicam como o modelo organiza essas regiões para tomar decisões ou como essa lógica evolui durante o treinamento.
• Dependência de Modelos Auxiliares: Abordagens recentes tentam gerar explicações estruturadas usando Grandes Modelos de Linguagem (LLMs) ou CLIP para descrever os mapas de saliência. Isso compromete a fidelidade, pois as explicações podem conter alucinações e não são intrínsecas ao modelo original.
• Questão Central: Como transformar a interpretabilidade não estruturada em explicações estruturadas que descrevam o processo de inferência causal e a evolução do aprendizado do modelo?

2. Metodologia: Framework I2X (Interpretability to Explainability)

Os autores propõem o I2X, um framework que constrói explicações estruturadas diretamente a partir de interpretações não estruturadas, rastreando a evolução do modelo em checkpoints de treinamento selecionados. O processo não depende de modelos auxiliares externos para a geração da explicação.

O framework opera em duas etapas principais:

A. Extração e Agrupamento de Protótipos Abstratos

1. Interpretação Não Estruturada: Utiliza métodos post-hoc (como GradCAM) para gerar mapas de saliência ($I$) para cada amostra de entrada.
2. Definição de Protótipos: Em vez de usar protótipos de aprendizado (como em ProtoPNet), o I2X define protótipos abstratos como padrões representativos.
   • Aplica-se PCA e K-Means aos vetores de características latentes extraídos do modelo final para agrupar padrões similares.
   • Os centróides desses clusters tornam-se os "protótipos abstratos".
3. Intensidade do Protótipo: Para cada amostra em um checkpoint de treinamento, a intensidade de cada protótipo é calculada agregando os valores do mapa de saliência nas regiões associadas a esse protótipo.

B. Rastreamento de Confiança e Evolução

1. Mudança de Confiança: Calcula-se a variação na confiança do modelo ($\Delta \hat{y}$) entre checkpoints consecutivos.
2. Agrupamento de Padrões de Confiança: Utiliza-se o algoritmo HDBSCAN para agrupar amostras que exibem padrões similares de mudança de confiança.
3. Mapeamento Estruturado:
   • Correlaciona-se a evolução da intensidade dos protótipos com a mudança de confiança para cada grupo de amostras.
   • Utiliza-se regressão Ridge para quantificar como as mudanças na intensidade de um protótipo específico impulsionam a mudança de confiança para uma classe específica.
4. Construção da Explicação: A explicação final é uma visão estruturada que mostra quais protótipos contribuem para a decisão, como eles evoluem ao longo do tempo e quais classes concorrentes são afetadas por essas mudanças.

3. Contribuições Principais

1. Transformação de Interpretabilidade em Explicabilidade: O I2X converte mapas de saliência brutos (não estruturados) em uma representação estruturada que descreve o processo de inferência e aprendizado do modelo.
2. Fidelidade Intrínseca: Ao basear-se apenas no comportamento do próprio modelo (confiança e mapas de saliência) e não em modelos auxiliares (LLMs/CLIP), as explicações são fiéis ao modelo original.
3. Análise de Evolução Temporal: O framework revela a trajetória de aprendizado, mostrando como o modelo primeiro resolve classes com diferenças prototípicas claras e, posteriormente, lida com casos ambíguos.
4. Otimização Guiada por Explicação: Demonstra que as explicações estruturadas podem ser usadas para identificar protótipos incertos (que confundem o modelo) e guiar o fine-tuning para melhorar a precisão.

4. Resultados Experimentais

Os experimentos foram realizados em MNIST e CIFAR-10 utilizando arquiteturas ResNet-50 e InceptionV3.

• Análise de Aprendizado (MNIST - Dígito 7):
  • O I2X revelou que o modelo aprende a distinguir o dígito 7 primeiro separando-o de dígitos com diferenças prototípicas claras (como 2 e 6) usando protótipos específicos (ex: traço diagonal inferior).
  • Casos mais ambíguos (como 1 e 9) são resolvidos apenas em estágios posteriores do treinamento, quando evidências prototípicas suficientes emergem.
• Impacto da Ordem dos Dados:
  • Re-treinar o modelo com a mesma ordem de dados, mas com diferentes sementes, resultou em estratégias de inferência baseadas em protótipos diferentes.
  • A ordem aleatória dos dados de treinamento pode introduzir protótipos incertos (ex: um protótipo que alterna sua contribuição entre as classes 7 e 2), levando a maior confusão e instabilidade.
• Melhoria de Desempenho via Fine-tuning:
  • Identificou-se um protótipo incerto (P-17 no caso de 7 vs 2) que causava confusão.
  • Ao criar um conjunto de dados curado (excluindo amostras com esse protótipo incerto) e realizar fine-tuning, a confusão entre as classes 2 e 7 foi reduzida significativamente (de ~14.8 para ~8.4 erros) e a acurácia geral aumentou (98.64%).
  • Uma estratégia de perturbação sequencial (curado -> completo) mostrou-se a mais estável e eficaz.
• Generalização (CIFAR-10):
  • No conjunto CIFAR-10, o I2X identificou que o protótipo P-72 (bordas entre regiões laranja e preta) causava confusão entre gatos e laranjas. A remoção seletiva dessas amostras durante o fine-tuning reduziu a confusão de 261 para 238 e aumentou a acurácia de 81.4% para 84.0%.

5. Significado e Conclusão

O trabalho I2X preenche uma lacuna crítica entre a interpretabilidade visual básica e a explicabilidade causal estruturada.

• Transparência: Permite que os pesquisadores "ouçam" o modelo explicar como ele aprendeu e inferiu, rastreando a evolução de evidências internas.
• Aplicabilidade Prática: Vai além da análise teórica, oferecendo uma ferramenta prática para diagnosticar e corrigir falhas de aprendizado (como protótipos ambíguos) através de estratégias de otimização de dados direcionadas.
• Futuro: Os autores sugerem integrar o I2X com abordagens de "explicação por design" (como ProtoPNet) para reduzir a dependência de métodos post-hoc e desenvolver métricas formais de incerteza em protótipos.

Em resumo, o I2X demonstra que é possível extrair explicações estruturadas e fiéis de modelos de caixa preta, transformando a compreensão do "porquê" em uma ferramenta ativa para melhorar o desempenho e a robustez dos modelos de IA.