Measuring the (Un)Faithfulness of Concept-Based Explanations

1. O Problema

Os modelos de visão profunda (Deep Learning) são altamente eficazes, mas suas computações internas são difíceis de interpretar. Métodos de explicação baseados em conceitos (CBEMs), especialmente os não supervisionados (U-CBEMs), buscam aumentar a interpretabilidade reexpressando partes do modelo usando unidades semânticas humanas (conceitos como bordas, cores, partes de objetos).

Para que uma explicação seja útil, ela deve possuir duas propriedades:

1. Interpretabilidade: Ser compreensível por humanos.
2. Fielidade (Faithfulness): Refletir com precisão a computação interna real do modelo.

O problema central identificado pelos autores é que as medidas atuais de fielidade para U-CBEMs são inadequadas. As avaliações existentes frequentemente resultam em uma falsa sensação de que os métodos são fiéis, devido a:

• Uso de surrogatos (substitutos) excessivamente complexos para reconstruir a saída do modelo, o que esconde a perda de fielidade e introduz um custo não medido na interpretabilidade.
• Dependência de proxies baseados em exclusão (deletion-based), que manipulam o espaço de dados de formas que não respeitam a variedade de dados (manifold), levando a conclusões enganosas sobre a importância dos conceitos.
• Falta de consenso e comparação direta entre diferentes métodos de medição.

2. Metodologia Proposta: SURF

Os autores propõem uma nova métrica chamada Surrogate Faithfulness (SURF). A abordagem é fundamentada em três desideratos principais para uma medida de fielidade robusta:

1. Simplicidade do Surrogato: O mecanismo que traduz a explicação de volta para a saída do modelo deve ser simples (linear), sem parâmetros aprendíveis adicionais, para não deslocar o problema de interpretação para o próprio surrogato.
2. Inclusão Total: O surrogato deve utilizar todos os componentes da explicação, incluindo tanto as representações dos conceitos (CAVs) quanto suas importâncias (scores).
3. Avaliação Global: A métrica deve medir o erro em todas as classes de saída, não apenas na classe prevista ou na classe de verdade, para capturar a distribuição completa da probabilidade.

Componentes do SURF:

• Surrogato Linear: Em vez de tentar reconstruir o embedding intermediário do modelo (o que é complexo e não linear), o SURF define o surrogato como uma combinação linear direta das representações dos conceitos ponderadas por suas importâncias, projetando-se diretamente para os logits de saída. Isso elimina a necessidade de redes neurais adicionais ou reconstrução de embeddings.
• Métricas de Erro:
  • SURFMAE: Erro absoluto médio (MAE) no espaço dos logits (antes do softmax).
  • SURFEMD: Distância de Earth Mover (EMD) no espaço de probabilidades (após o softmax).
  • Essas duas métricas juntas capturam tanto a magnitude dos erros quanto a distribuição de probabilidade.

3. Contribuições Principais

1. Unificação de Medidas: Os autores organizam as medidas anteriores de fielidade em um framework comum, identificando suas limitações (especialmente o uso de proxies de exclusão e surrogatos complexos).
2. Proposta do SURF: Introdução de uma medida de fielidade que satisfaz os desideratos de simplicidade, completude e avaliação global.
3. Sanity Check (Verificação de Sanidade): Realização de um estudo "medida sobre medida" (measure-over-measure). Eles criam cenários onde a fielidade é conhecida a priori (explicação perfeita vs. conceitos aleatórios vs. importâncias aleatórias). O SURF é a única medida que consegue detectar corretamente a degradação da fielidade quando os conceitos ou importâncias são randomizados.
4. Benchmark Abrangente: A primeira avaliação abrangente de U-CBEMs de última geração (SOTA) em várias tarefas e arquiteturas, revelando que muitos métodos visualmente convincentes não são fiéis.
5. Critério de Seleção de Conceitos: Uso do SURF para determinar o número ideal de conceitos a serem descobertos, equilibrando fielidade e parcimônia (simplicidade), superando a escolha arbitrária de hiperparâmetros em trabalhos anteriores.

4. Resultados Experimentais

Os autores avaliaram sete U-CBEMs (CDISCO, ICE, CRAFT, C-SHAP, MCD, HU-MCD e SAE) em três tarefas: Classificação de Objetos, Predição de Múltiplos Atributos e Regressão de Idade.

• Falha das Métricas Anteriores: No estudo de sanidade, métricas como ICE-Eval e C-SHAP-Eval falharam em detectar a perda de fielidade quando as importâncias dos conceitos eram aleatórias, ou até mesmo reportaram melhoria de fielidade em cenários totalmente aleatórios.
• Infielidade dos Métodos SOTA: Ao aplicar o SURF, descobriu-se que a maioria dos U-CBEMs atuais não é fiel ao modelo original.
  • Mesmo os melhores métodos (como SAE - Sparse Autoencoders) apresentaram erros significativos no espaço de probabilidade (EMD), indicando que eles não conseguem reproduzir fielmente a distribuição de saída do modelo.
  • Métodos que descobrem conceitos específicos por classe (como ICE e CRAFT) sofrem grandes erros ao tentar reconstruir embeddings de classes diferentes, operando "fora da distribuição" (out-of-distribution).
• Análise de Parcimônia: A relação entre o número de conceitos e a fielidade não é linear. Alguns métodos pioram ou estagnam com mais conceitos, enquanto outros (como MCD e HU-MCD) mostram uma melhoria uniforme até um ponto de saturação, permitindo uma escolha inteligente do número de conceitos.

5. Significado e Conclusão

O artigo demonstra que o campo de explicações baseadas em conceitos carece de uma visão clara sobre a fielidade real dos métodos atuais. As métricas existentes estão "viciadas" por surrogatos complexos e proxies de exclusão falhos.

• Impacto Imediato: O SURF fornece o primeiro benchmark confiável para avaliar U-CBEMs, revelando que a alta fidelidade reportada na literatura anterior é, em grande parte, um artefato de métricas inadequadas.
• Direção Futura: Os autores defendem que o SURF deve se tornar o padrão para relatórios de fielidade em trabalhos futuros. Além disso, destacam que a fielidade deve ser analisada em conjunto com a interpretabilidade, pois um modelo pode ser fiel mas ininteligível, ou vice-versa.
• Limitação: O SURF, como formulado, aplica-se principalmente à camada final do modelo (linear). Estender essa abordagem para camadas intermediárias não lineares é um trabalho futuro necessário.

Em resumo, o paper realiza um "choque de realidade" na comunidade de XAI (Explainable AI), mostrando que muitas explicações conceituais atuais são visualmente atraentes, mas matematicamente infieis à lógica interna do modelo que pretendem explicar.