Resumo Técnico: Explicações Abdutivas e Contrastivas Baseadas em Conceitos para Comportamentos de Modelos de Visão

Declaração do Problema

Os métodos existentes para explicar previsões de redes neurais profundas (DNN) enfrentam duas limitações primárias. Primeiro, explicações baseadas em conceitos (ConXps) geralmente dependem de análise de sensibilidade ou eliminação de conceitos para determinar o impacto de conceitos semânticos de alto nível nas saídas do modelo. No entanto, essas abordagens frequentemente falham em estabelecer conexões causais rigorosas, especificamente carecendo da capacidade de determinar se um conceito é necessário ou suficiente para uma previsão, ou de lidar com cenários onde múltiplos conceitos interagem causalmente. Segundo, métodos formais de explicação abductiva e contrastiva fornecem garantias matematicamente rigorosas de minimalidade e causalidade, mas são restritos a características de baixo nível (por exemplo, pixels), que carecem de interpretabilidade humana. Além disso, esses métodos formais lutam para escalar para modelos de visão modernos devido ao custo computacional da resolução de restrições.

Existe uma lacuna na literatura para explicações que sejam simultaneamente:

1. Baseadas em conceitos: Expressas em termos de conceitos semânticos compreensíveis por humanos.
2. Formais: Garantindo minimalidade e relevância causal (suficiência/necessidade).
3. Escaláveis: Aplicáveis a modelos de visão de última geração e capazes de explicar comportamentos em coleções de imagens, não apenas em instâncias individuais.

Metodologia

Os autores propõem Explicações Abdutivas e Contrastivas Baseadas em Conceitos (ConAXps e ConCXps), um framework que funde a teoria formal de explicações com interpretabilidade baseada em conceitos.

1. Representação e Eliminação de Conceitos

Para preencher a lacuna entre modelos de visão e conceitos humanos, os autores aproveitam Modelos de Visão-Linguagem (VLMs), especificamente o CLIP, como uma lente semântica.

• Vetores de Conceito: Vetores de conceito são extraídos do codificador de texto do CLIP usando legendas descritivas. Esses vetores são mapeados para o espaço de incorporação do modelo de visão por meio de uma transformação linear aprendida.
• Força do Conceito: A força de um conceito em uma incorporação de imagem é calculada como a similaridade de cosseno entre a incorporação e o vetor de conceito.
• Eliminação de Conceito: Para estabelecer causalidade, o método "elimina" conceitos da incorporação. O artigo avalia três procedimentos de eliminação:
  • Ortho (Proposto): Uma otimização restrita que projeta a incorporação para ser ortogonal aos vetores de conceito eliminados, preservando as projeções escalares dos conceitos não eliminados.
  • SPLiCE: Usa decomposição esparsa não negativa para reconstruir incorporações sem conceitos específicos.
  • LEACE: Uma transformação linear de forma fechada que remove correlações lineares com um conceito enquanto modifica minimamente a incorporação.

2. Definições Formais

Os autores estendem definições formais de explicação para o espaço de conceitos:

• Explicação Abductiva Baseada em Conceitos (ConAXp): Um conjunto mínimo de conceitos tal que mantê-los (e eliminar todos os outros) é suficiente para manter a previsão do modelo.
• Explicação Contrastiva Baseada em Conceitos (ConCXp): Um conjunto mínimo de conceitos tal que eliminá-los (e manter todos os outros) é suficiente para mudar a previsão do modelo.

Essas definições dependem de uma hipótese de monotonicidade em relação ao cabeçalho do modelo: adicionar um conceito a uma representação não altera a previsão para longe da classe original. Os autores fornecem evidências empíricas que apoiam essa hipótese.

3. Algoritmos de Enumeração de Explicações

Para calcular essas explicações, o artigo apresenta três algoritmos:

• NaiveEnum: Uma busca exaustiva limitada por profundidade que enumera conjuntos de conceitos começando de conceitos únicos. É computacionalmente caro para vocabulários grandes, mas garante encontrar todas as explicações dentro do limite de profundidade.
• XpEnum: Adaptado da literatura de explicações formais, este algoritmo explora a dualidade entre explicações abdutivas e contrastivas (conjuntos de cobertura) para enumerar simultaneamente ambos os tipos. Usa uma abordagem de conjunto de cobertura mínimo para gerar candidatos.
• XpSatEnum: Um algoritmo novo projetado para lidar com comportamentos em coleções de imagens. Ele recebe explicações iniciais de um enumerador limitado por orçamento e as "satura" verificando se são válidas em outras imagens no conjunto de comportamento, maximizando a sobreposição de explicações.

4. Agregação para Comportamento

Em vez de explicar imagens individuais, o framework agrega explicações assinadas (conceitos com ativação positiva ou negativa) em uma subconjunto de conjunto de dados (um "comportamento") para produzir um histograma das explicações mais frequentes. Isso permite a identificação de padrões gerais que impulsionam decisões do modelo ou classificações incorretas.

Contribuições Principais

1. Nova Noción: A introdução de ConAXps e ConCXps, que fornecem explicações mínimas e fundamentadas causalmente em termos de conceitos de alto nível, em vez de pixels.
2. Suíte Algorítmica: O desenvolvimento de três algoritmos de enumeração (NaiveEnum, XpEnum, XpSatEnum) que equilibram a tratabilidade computacional com a completude da descoberta de explicações.
3. Novo Procedimento de Eliminação: A proposta do método de eliminação Ortho, que oferece uma solução de forma fechada para remoção de conceitos que preserva as forças dos conceitos não eliminados.
4. Análise Comportamental: Uma metodologia para agregar explicações por imagem para explicar comportamentos do modelo (por exemplo, padrões específicos de classificação incorreta) em coleções de imagens, demonstrando que um pequeno subconjunto de explicações frequentemente cobre a maioria dos casos.

Resultados Experimentais

A abordagem foi avaliada em três modelos de visão (CLIP zero-shot, ResNet18, VGG19) e dois conjuntos de dados (RIVAL-10, EuroSAT) em vários comportamentos (classificações corretas e classificações incorretas).

• Generalização: As explicações mais frequentes (ConXps) permaneceram estáveis em subconjuntos disjuntos do mesmo comportamento, alcançando altas pontuações de Interseção sobre União (IoU). Isso indica que as explicações capturam razões universais para o comportamento do modelo, em vez de ruído específico da imagem.
• Cobertura: Apesar do potencial para milhares de explicações únicas, um subconjunto muito pequeno (tipicamente $K \le 10$) foi suficiente para cobrir a maioria das imagens em um comportamento. Em muitos casos, $K \le 5$ alcançou cobertura total.
• Parcimônia: Explicações mais curtas (contendo 1 ou 2 conceitos) demonstraram consistentemente maior cobertura individual do que explicações mais longas, apoiando o princípio da navalha de Occam neste contexto.
• Plausibilidade: Usando um LLM como juiz (Gemini 3 Pro) para avaliar a relevância dos conceitos, o estudo descobriu que os modelos geralmente dependem de conceitos plausíveis (relevantes). No entanto, uma parte significativa das explicações foi "parcialmente plausível", indicando que os modelos frequentemente dependem de uma mistura de características relevantes e correlações espúrias (por exemplo, texturas de fundo).
• Eficiência: O algoritmo XpEnum acoplado à eliminação Ortho ou SPLiCE provou ser o mais eficiente, computando explicações para 700 imagens em 5–10 minutos. O LEACE foi encontrado como computacionalmente caro devido à necessidade de dados de treinamento para calcular transformações afins para cada eliminação.

Significado e Alegações

O artigo alega que sua abordagem preenche com sucesso a lacuna entre verificação formal e interpretabilidade semântica. Ao fornecer conjuntos mínimos de conceitos que são causalmente suficientes ou necessários, o método oferece explicações que são tanto matematicamente rigorosas quanto compreensíveis por humanos.

Os autores enfatizam que seu método permite que analistas:

• Identifiquem explicações gerais e universais para comportamentos do modelo, em vez de observações isoladas.
• Detectem raciocínio espúrio identificando casos onde decisões do modelo dependem de conceitos irrelevantes.
• Compreendam decisões do modelo em coleções de imagens, facilitando a depuração de erros sistemáticos.

O trabalho conclui que explicações curtas e baseadas em conceitos são altamente eficazes para entender modelos de visão e que o framework proposto oferece um compromisso razoável entre escalabilidade e qualidade da explicação, tornando a análise causal formal viável para sistemas modernos de aprendizado profundo. Sugere-se trabalho futuro para aplicar esses métodos a Modelos de Linguagem Grandes (LLMs) e Modelos de Visão-Linguagem (VLMs) para abordar comportamentos sequenciais.