Resumo Técnico: Concept-SAE

Problema

Os Autoencoders Esparsos (SAEs) padrão estabeleceram-se como ferramentas poderosas para a interpretabilidade mecanística, permitindo a decomposição das ativações de redes neurais em um dicionário de características aprendidas. No entanto, sua utilidade permanece amplamente passiva. Os fluxos de trabalho atuais exigem que os pesquisadores inspecionem manualmente tokens latentes, identifiquem imagens com ativações fortes e infiram visualmente conceitos subjacentes. Esta abordagem é limitada porque apenas verifica se um modelo por acaso codifica conceitos especificados por humanos, em vez de permitir o teste ativo, a sondagem ou a avaliação sistemática de conceitos que os usuários explicitamente desejam.

Tentativas existentes para preencher essa lacuna, como os Modelos de Gargalo de Conceito (CBMs) ou a incorporação de conceitos como vetores latentes, enfrentam desvantagens significativas. Os CBMs dependem frequentemente de sinais de presença binária que falham em desvincular conceitos de alta dimensão ou causam sangramento semântico para tokens não restringidos. Abordagens baseadas em incorporação (embeddings), carecendo de supervisão explícita, tendem a derivar de seus significados pretendidos, prejudicando a interpretabilidade e restringindo a análise aberta. Há uma necessidade de um framework que permita a interação bidirecional e ativa com conceitos definidos pelo usuário, preservando a capacidade do SAE de descobrir novas características não restringidas.

Metodologia: Concept-SAE

Os autores propõem o Concept-SAE, um framework que aumenta os SAEs padrão com uma interface estruturada, controlável e invertível. A inovação central é uma estratégia de desvinculação híbrida que decompõe um subespaço de ativação em dois componentes ortogonais:

1. Tokens de Conceito (Supervisionados): Estes tokens são alinhados com semânticas especificadas externamente (ex: "barba", "olhos"). Eles são treinados sob dupla supervisão:

   • Existência do Conceito: Um score escalar indicando a presença binária do conceito.
   • Localização Espacial: Uma máscara de segmentação indicando a posição espacial do conceito dentro do mapa de características.
   • Esta dupla supervisão garante que os tokens sejam fiéis, espacialmente fundamentados e limpos da separação do espaço residual.

2. Tokens Livres (Não Supervisionados): Estes operam como os tokens de um SAE padrão, capturando todas as informações restantes não cobertas pelos conceitos predefinidos. Eles preservam a capacidade do SAE para a descoberta passiva e aberta de características.

Pipeline de Treinamento

O processo de treinamento envolve um pipeline de quatro etapas (ilustrado na Fig. 1 do artigo):

• Geração de Rótulos: Um Modelo de Visão-Linguagem (VLM) gera rótulos de existência binária, e um modelo de segmentação produz máscaras espaciais. Estes são fundidos para criar anotações de verdade fundamental (ground truth) limpas (suprimindo máscaras se o conceito estiver ausente).
• Tokenizador de Conceito ($T_{concept}$): Um codificador que mapeia as características do modelo de visão para o espaço de conceito, prevendo scores de existência e máscaras espaciais. É treinado para minimizar o MSE entre as previsões e a verdade fundamental, com uma penalidade L1 para incentivar a esparsidade.
• Agregador de Conceito ($A_{concept}$): Um decodificador que reconstrói as características originais do modelo de visão a partir das representações de conceito previstas. É treinado para minimizar o erro de reconstrução e alinha suas distribuições de peso internas com o Tokenizador via divergência KL.
• Tokenizador e Agregador Livres ($T_{free}, A_{free}$): Estes módulos são treinados conjuntamente com os módulos de conceito para reconstruir as características residuais. São treinados sem supervisão externa, baseando-se unicamente no objetivo de minimizar o erro de reconstrução da saída combinada (Conceito + Livre) contra as características originais.

Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Framework Concept-SAE: Uma arquitetura inovadora que equipa os SAEs com uma interface bidirecional de alta fidelidade para inspeção baseada em conceitos, permitindo a verificação e manipulação de conceitos humanos predefinidos.
2. Estratégia de Desvinculação Híbrida: Validação experimental demonstrando que a estratégia proposta produz representações de conceito que são notavelmente fiéis, espacialmente localizadas e limpas da desvinculação do espaço residual de tokens livres, superando métodos alternativos em qualidade de interface.
3. Utilidade Diagnóstica: Demonstração de que os scores de conceito extraídos refletem com precisão a certeza interna do modelo e podem ser usados para três avaliações diagnósticas específicas:
   • Detecção: Identificação de amostras de imagens adversariais.
   • Controlabilidade: Realização de edição contrafactual controlada para corrigir erros de predição do modelo.
   • Estabilidade: Diagnóstico de vulnerabilidades do modelo via perturbações adversariais.

Resultados Experimentais

Os autores avaliaram o Concept-SAE no CelebA (classificação de gênero) e ImageNet-1k (classificação de objetos) utilizando arquiteturas ResNet-18 e Vision Transformer (ViT-B/32).

• Fidelidade e Localização (RQ1): Comparado ao baseline de Modelo de Embedding de Conceito (CEM), o Concept-SAE alcançou Ratios de Localização significativamente maiores (ex: 1.472 vs. 1.019 na camada 5 da ResNet). Isso indica que o Concept-SAE isola com sucesso conceitos faciais do ruído de fundo, enquanto o CEM emaranha conceitos com conteúdo de fundo irrelevante. Os tokens livres retiveram informações semânticas ricas, confirmando que a introdução de tokens supervisionados não diminuiu a capacidade de descoberta aberta.
• Detecção Adversarial (RQ2): A entropia dos scores de conceito foi usada como métrica de certeza do modelo. Predições incorretas e amostras adversariais exibiram consistentemente maior entropia (ambiguidade) em comparação com predições corretas. Um classificador baseado em limiar usando esta entropia alcançou scores de AUC superiores (ex: 0.974 no CelebA-ViT) comparado a baselines estabelecidos como JPEG, Randomização e Feature Squeezing, provando que os scores refletem fielmente o processamento interno.
• Controlabilidade (RQ3): O framework permitiu a edição contrafactual. Ao modificar os scores de conceito (ex: definir "barba" como 0.0 ou 1.0) e reconstruir as características via agregador, os autores puderam intervir causalmente na saída do modelo. Por exemplo, aumentar os scores de "barba" corrigiu imagens masculinas classificadas incorretamente como femininas. As intervenções foram mais eficazes em camadas profundas do ViT e em ambas as camadas (rasas/profundas) da ResNet.
• Diagnóstico de Estabilidade (RQ4): Os autores usaram a distância de Jensen-Shannon (JS) entre as distribuições de scores de conceito de amostras limpas e adversariais para medir a vulnerabilidade. Camadas com maiores distâncias JS foram identificadas como mais frágeis. O ajuste fino (fine-tuning) dessas camadas específicas resultou nos maiores ganhos de robustez (ex: um aumento de 40.77% na acurácia na ResNet-18 quando todas as camadas foram ajustadas), validando as representações de conceito como uma ferramenta diagnóstica precisa para localizar vulnerabilidades do modelo.

Significância e Alegações

O artigo posiciona o Concept-SAE como um mecanismo validado que desloca a interpretabilidade baseada em SAE de uma observação passiva para uma interrogação ativa. Ao fornecer uma interface estruturada, ele permite que pesquisadores:

• Avaliem sistematicamente se um modelo representa conceitos específicos.
• Sondem o papel causal desses conceitos nas decisões do modelo.
• Diagnostiquem falhas e vulnerabilidades do modelo com alta fidelidade.

Os autores enfatizam que sua abordagem complementa os SAEs tradicionais em vez de substituí-los, mantendo a capacidade de descobrir novas características enquanto adiciona uma camada de interpretabilidade controlável e alinhada ao humano. O trabalho conclui que o Concept-SAE oferece um método confiável, invertível e espacialmente fundamentado para avaliar e diagnosticar conceitos definidos pelo usuário em modelos de visão.