Resumo Técnico: Avaliando a Confiabilidade da Detecção de Símbolos em Modelos de Gargalo de Conceito

1. Declaração do Problema

Modelos de Gargalo de Conceito (CBMs) são uma classe proeminente de métodos neuro-simbólicos projetados para IA Explicável (XAI). Eles operam primeiro extraindo conceitos interpretáveis por humanos de dados de entrada e, em seguida, utilizando um classificador leve e interpretável para mapear esses conceitos para predições finais. Embora uma alta acurácia na tarefa seja frequentemente usada como um proxy para a qualidade do modelo, este artigo argumenta que a acurácia não garante uma detecção de conceito fiel.

O problema central identificado é o vazamento de informação (ou "atalhos") dentro do gargalo. Quando os detectores de conceitos e as cabeças de classificação são treinados conjuntamente, o detector pode codificar sinais específicos da tarefa nas ativações dos conceitos que são úteis para a classificação, mas que não se alinham com o significado semântico pretendido dos conceitos. Consequentemente, o modelo pode alcançar alta acurácia ao depender de correlações espúrias em vez de uma compreensão genuína do conceito. Isso torna as explicações do modelo não confiáveis, pois os símbolos intermediários podem não representar o que alegam representar.

2. Metodologia

2.1 Medindo o Desalinhamento

Os autores propõem um conjunto de diagnósticos para avaliar a confiabilidade da detecção de símbolos, indo além das métricas padrão de acurácia:

• Confiabilidade Global do Símbolo (Teste de Troca/Swap Test): Os autores treinam múltiplos CBMs de forma independente. Em seguida, trocam o detector de conceito de um modelo pela cabeça de classificação de outro.
  • Se o modelo trocado mantiver uma alta acurácia, o detector de conceito e a cabeça compartilham uma representação simbólica robusta e invariante.
  • Uma queda significativa na acurácia ("queda de troca") indica que o detector e a cabeça co-adaptaram-se a codificações espúrias específicas de seu par original.
• Intercambialidade de Símbolos: Para testar se o modelo depende da identidade dos conceitos ou meramente da contagem de conceitos ativados, os autores empregam duas distribuições nulas:
  • Permutação da dimensão do conceito: Embaralhando aleatoriamente os rótulos dos conceitos antes de alimentá-los à cabeça.
  • Embaralhamento de amostras dentro do conceito: Permutando valores de conceitos entre amostras.
  • Se a acurácia permanecer alta sob essas permutações, os símbolos não são distinguíveis como conceitos distintos, indicando detecção não confiável.
• Confiabilidade de Predição Individual: Usando um ensemble de detectores treinados independentemente, os autores decompõem a incerteza preditiva em componentes aléatoricos (ruído de dados) e epistêmicos (desacordo do modelo). Eles atribuem a incerteza do rótulo a símbolos específicos ao congelar as predições de conceitos individuais no consenso do ensemble e medir a redução na incerteza do rótulo.

2.2 Solução Proposta: Treinamento Consciente da Confiabilidade

Para mitigar o vazamento de informação, o artigo propõe uma estratégia de treinamento que reduz a co-adaptação entre o detector e a cabeça:

1. Treinamento Multi-Cabeça: Em vez de treinar um detector com uma cabeça, um detector de conceito compartilhado $g_\theta$ é treinado contra um ensemble de $R$ cabeças de classificação inicializadas independentemente $\{f^{(r)}_{\phi_r}\}$.
   • A função objetivo faz a média da perda de classificação entre todas as cabeças.
   • Concept Dropout: Para evitar que as cabeças convirjam para a mesma solução (o que anularia o efeito do ensemble), cada cabeça recebe ativações de conceitos mascaradas por uma máscara de dropout aleatória independente. Isso força o detector a aprender representações que sejam robustas à falta de informação e não dependentes de atalhos únicos.
2. Regularização Consciente da Confiabilidade:
   • Um escore de confiabilidade global $r_k$ é computado para cada conceito com base em sua acurácia de detecção em um conjunto de validação.
   • A incerteza epistêmica ao nível da instância $U_{epi}(x_i, k)$ é estimada para cada símbolo.
   • Um peso de não-confiabilidade $\omega_{ik}$ é calculado combinando a confiabilidade global e a incerteza ao nível da instância.
   • Um termo de penalidade é adicionado à função de perda que desencoraja o classificador de depender de conceitos com baixa confiabilidade global ou alta incerteza ao nível da instância.

3. Resultados Principais

3.1 Dataset CUB-200-2011 (Supervisão Total)

Na tarefa de classificação de espécies de aves com supervisão total de conceitos ($\lambda=1$):

• Alta Intercambialidade: Detectores e cabeças são quase livremente intercambiáveis. A queda de troca é mínima (abaixo de 1 ponto de acurácia), e a retenção relativa está acima de 99%.
• Robustez: Nenhum conceito foi detectado abaixo dos níveis de chance, e as cabeças treinadas em uma semente (seed) transferiram-se quase sem perdas para detectores de outras sementes.
• Incerteza: A incerteza epistêmica ao nível do símbolo foi baixa, mas a incerteza ao nível do rótulo foi significativamente maior, indicando que pequenos desacordos entre muitos conceitos se acumulam na cabeça de classificação.

3.2 Dataset Sintético (Vazamento Controlado)

Em um dataset sintético de formas e cores, os autores variaram o peso da supervisão de conceitos $\lambda$ para simular o vazamento:

• Fenômeno de Vazamento: À medida que $\lambda$ diminuía (enfraquecendo a supervisão de conceitos), a acurácia correspondente permanecia quase perfeita (~100%), mas a acurácia de troca colapsou para níveis de chance (20–30%). O acordo entre os conceitos detectados e a verdade fundamental (ground truth) também caiu para ~50%.
• Mitigação: As estratégias de multi-cabeça e de consciência de confiabilidade propostas mitigaram substancialmente este vazamento. Com $\lambda$ baixo (0.1), estes métodos aproximadamente dobraram a acurácia de troca (de ~26% para ~50%) em comparação com o treinamento conjunto padrão, confirmando que o detector estava aprendendo representações mais robustas e menos específicas da cabeça.

3.3 Achados Diagnósticos

• Disparo Espúrio: No regime de treinamento conjunto, conceitos específicos (ex: cor das pernas) mostraram alto desacordo entre os detectores do ensemble. Este desacordo estava diretamente ligado aos erros de predição; congelar o símbolo contestado para o consenso frequentemente corrigia a classificação errônea.
• Testes Nulos: Cabeças treinadas em CBMs de treinamento conjunto padrão colapsaram para uma acurácia próxima à do acaso quando as identidades dos conceitos foram permutadas, confirmando que os modelos realmente dependiam da detecção específica de conceitos em vez de correlações incidentais.

4. Significância e Alegações

O artigo afirma fornecer um framework rigoroso para testar o estresse da confiabilidade de CBMs, indo além da suposição de que uma alta acurácia implica explicações fiéis.

• Validação do Vazamento: Os autores demonstram que uma alta acurácia na tarefa pode coexistir com símbolos que "não significam mais o que alegam", particularmente quando a supervisão de conceitos é fraca ou quando o treinamento conjunto incentiva atalhos.
• Mitigação Prática: O treinamento multi-cabeça com dropout de conceito e a regularização consciente da confiabilidade oferecem um método prático para reduzir o vazamento de informação sem sacrificar significativamente o desempenho da tarefa.
• Utilidade Diagnóstica: O teste de troca e a decomposição de incerteza fornecem diagnósticos acionáveis para identificar quais conceitos específicos são propensos a disparos espúrios, permitindo intervenções direcionadas.

Os autores concluem que, embora seu treinamento consciente da confiabilidade mitigue o vazamento, isso envolve um compromisso (trade-off), às vezes reduzindo ligeiramente a acurácia geral. Harmonizar alto desempenho com uma confiabilidade estrita permanece um desafio aberto para trabalhos futuros. O artigo não pretende resolver todos os problemas de XAI, mas aborda especificamente a fidelidade da camada simbólica intermediária em CBMs.