Naming the Concepts Classifiers Rely On: Language-Anchored Decomposition for Faithful Explanation

Resumo Técnico: Decomposição Ancorada em Linguagem (LAD)

1. Definição do Problema

Redes neurais profundas implantadas em aplicações visuais de alto risco exigem interpretabilidade, porém os métodos de explicação existentes enfrentam um compromisso fundamental entre fidelidade (alinhamento com o processo de decisão real do modelo) e nomeação (rótulos semânticos legíveis por humanos).

• Métodos de descoberta de conceitos post-hoc (ex: TCAV, ACE, CRAFT, FACE) são fiéis ao comportamento do modelo, mas produzem fatores sem nome. O mesmo índice de fator pode corresponder a diferentes elementos visuais em diferentes imagens, exigindo uma rotulagem post-hoc que carece de consistência.
• Métodos de nomeação e "by-design" (ex: Modelos de Gargalo de Conceito, abordagens de nomeação de neurônios como LaViSE) fornecem nomes legíveis por humanos, mas frequentemente exigem o retreinamento do modelo ou a alteração de sua arquitetura. Consequentemente, o modelo explicado não é mais o modelo implantado, ou as unidades nomeadas não são verificadas como causalmente responsáveis pelas predições.

Nenhum método anterior conseguiu entregar conceitos que sejam simultaneamente nomeados, fiéis ao classificador congelado e obtidos sem modificar o modelo.

2. Metodologia: Decomposição Ancorada em Linguagem (LAD)

O LAD aborda essa lacuna invertendo o processo padrão de Fatoração de Matriz Não Negativa (NMF). Em vez de aprender coeficientes latentes e rotulá-los posteriormente, o LAD fixa os coeficientes a mapas ancorados em linguagem e aprende apenas a base do conceito.

Estrutura Central:

1. Configuração: Dado um codificador pré-treinado congelado $f$ e um cabeçalho de classificação $g$, o LAD opera sobre os mapas de características espaciais $Z$ produzidos pelo codificador. Ao contrário dos métodos que agrupam características globalmente, o LAD desdobra as ativações para preservar a localidade espacial, tratando cada localização espacial como uma observação independente.
2. Coeficientes Ancorados em Linguagem ($S$):
   • Para uma classe alvo, um Modelo de Linguagem de Grande Escala (LLM) gera um vocabulário de conceitos visualmente fundamentados específico da classe (ex: "orelhas pontudas", "olhos verdes").
   • A similaridade imagem-texto do CLIP é usada para localizar esses conceitos através de regiões da imagem, criando mapas de similaridade espacial.
   • Esses mapas são achatados e empilhados para formar uma matriz de coeficientes fixa $S \in \mathbb{R}^{(nhw) \times r}$, onde as linhas representam localizações espaciais e as colunas representam conceitos nomeados.
3. Fatoração Invertida:
   • A NMF padrão aprende tanto os coeficientes ($U$) quanto a base ($W$) de modo que $A \approx UW^\top$.
   • O LAD fixa os coeficientes à matriz fundamentada em linguagem $S$ e aprende apenas a base de conceitos $W$ para reconstruir as ativações do codificador: $\hat{\bar{A}} \approx SW^\top$.
   • A otimização minimiza o erro de reconstrução $\|\bar{A} - SW^\top\|_F^2$ sob restrições de não-negatividade usando Gradiente Descendente Projetado (PGD).
4. Inferência: Para novas imagens, a base $W$ é fixa, e os coeficientes não negativos $\hat{S}$ são estimados via mínimos quadrados não negativos. Esses coeficientes são remodelados em mapas de calor espaciais, fornecendo explicações localizadas e nomeadas.

Mecanismo Chave: A âncora de linguagem atua como uma restrição estrutural. A geometria de características do codificador congelado determina quais conceitos nomeados são retidos (atribuindo-lhes pesos de base não nulos), enquanto conceitos inconsistentes com a evidência do codificador são suprimidos.

3. Principais Contribuições

• Um Novo Framework Post-hoc: O LAD é o primeiro framework que produz conceitos que são nomeados, fiéis e obtidos sem o retreinamento do modelo. Ele alcança isso fixando os mapas de similaridade imagem-texto do CLIP como a matriz de coeficientes em uma decomposição do tipo NMF.
• Âncora de Linguagem Funcional: O artigo demonstra que a âncora de linguagem não é meramente cosmética. Remover a âncora (revertendo para a NMF não supervisionada padrão) preserva a precisão da classificação, mas causa um colapso abrupto na fidelidade da atribuição (especificamente em testes de deleção de conceito). Isso prova que a âncora direciona a descoberta para estruturas semanticamente relevantes para o classificador.
• Rollouts de Conceitos Nomeados por Imagem: Diferente dos baselines que produzem fatores anônimos, o LAD permite rollouts por imagem onde os conceitos nomeados específicos usados para uma predição são localizados, classificados por importância e anotados com sua contribuição para a reconstrução.
• Avaliação Abrangente: O método é avaliado em imagens naturais (ImageNet), cenas (Places365) e um domínio clínico (imagens de fundo de retina), demonstrando robustez em diversas tarefas visuais.

4. Resultados

• Fidelidade: Em ImageNet e Places365, o LAD preserva a precisão top-1 (comparável aos baselines) enquanto atinge as maiores pontuações de Inserção de Conceito (C-Ins), indicando que seus conceitos nomeados são suficientes para restaurar as predições.
• Desempenho de Deleção: Embora o método FACE (que otimiza conjuntamente coeficientes e base) supere ligeiramente o LAD em Deleção de Conceito (C-Del) em imagens naturais, o LAD supera significativamente todos os baselines no domínio clínico (fundo de retina). Em ambientes clínicos, onde as assinaturas de doenças são espacialmente focais, os conceitos nomeados do LAD são os mais decisivos causalmente, levando a uma pontuação de C-Del de 0,954 comparada a 0,863 para o FACE.
• Estudos de Ablação:
  • Âncora de Linguagem: Substituir os coeficientes de linguagem fixos por coeficientes aprendidos reduz o C-Del de 0,902 para 0,507, confirmando o papel da âncora na descoberta de direções fiéis.
  • Orçamento de Conceitos: Aumentar o número de conceitos ($r$) melhora a fidelidade monotonicamente sem sacrificar a precisão.
• Eficiência: O LAD é computacionalmente eficiente, processando uma classe em 0,03 segundos em uma RTX A4500, significativamente mais rápido que o FACE (2,6s) e o CRAFT (0,5s).

5. Significância e Alegações

O artigo alega que o LAD consegue preencher a lacuna entre atribuição fiel e interpretabilidade humana sem comprometer a integridade do modelo implantado.

• Nomeação Estrutural vs. Cosmética: Os autores enfatem que a nomeação no LAD é uma propriedade estrutural da fatoração, não um rótulo post-hoc. A própria geometria de características do modelo determina quais conceitos são relevantes, mitigando vieses conhecidos de modelos estilo CLIP ao suprimir conceitos inconsistentes com a evidência do codificador.
• Evidência Auditável: Em domínios de alto risco como imagens médicas, o LAD fornece um "registro auditável" onde o leitor pode inspecionar não apenas onde o modelo olha, mas o que ele atribui àquela região (ex: "estruturas do tipo drusas"). Isso permite a detecção de discrepâncias entre a evidência visual do modelo e sua atribuição semântica.
• Generalizabilidade: O método mostra-se eficaz em imagens naturais, compreensão de cenas e diagnósticos clínicos, sugerindo que fixar coeficientes fundamentados em linguagem é uma estratégia viável para criar modelos de visão transparentes, onde o conteúdo de uma decisão é tão crítico quanto sua precisão.