Resumo Técnico: Avaliando a Interpretabilidade de Autoencoders Esparsos com Anotações de Conceitos

Declaração do Problema

Autoencoders Esparsos (SAEs) são cada vez mais empregados para decompor representações internas de alta dimensão de modelos de visão e de visão-linguagem (ex: CLIP, DINOv2) em latentes esparsos e interpretáveis. No entanto, os métodos de avaliação existentes para SAEs de visão dependem fortemente de proxies estruturais (ex: fidelidade de reconstrução, esparsidade) ou inspeção qualitativa. Esses métodos falham em medir a correspondência semântica — o grau em que os latentes aprendidos se alinham com conceitos compreensíveis por humanos.

Além disso, modelos de visão exibem modos de falha sistemáticos, como fragmentação de características (feature splitting — um conceito fragmentado entre múltiplos latentes), absorção de características (feature absorption — características gerais desenvolvendo pontos cegos) e composição de características (feature composition — conceitos que coocorrem se fundindo). Métricas atuais, muitas vezes adaptadas do processamento de linguagem natural, têm dificuldade em validar se um latente realmente codifica um atributo semântico específico ou se apenas se correlaciona com ele devido a fatores de confusão. Crucialmente, a avaliação funcional em visão é difícil porque isolar uma única mudança semântica em imagens naturais não é trivial sem intervenções controladas.

Metodologia

Os autores propõem um framework de avaliação fundamentado em humanos que quantifica o alinhamento entre latentes de SAE e conceitos anotados por humanos sem a necessidade de estudos com usuários. O framework consiste em três componentes principais:

1. Correspondência Latente-Conceito

Para medir o alinhamento estatístico, os autores comparam ativações de SAE binarizadas contra vetores de atributos de verdade fundamental (ground-truth) binários.

• Correspondência Um-para-Um: Seleciona o único latente que maximiza o F1 score para um determinado atributo.
• Busca de Correspondência Totalmente Binária (FBMP): Reconhecendo que as características frequentemente se dividem entre múltiplos latentes, os autores introduzem um procedimento de correspondência baseado em coalizões. A FBMP é um algoritmo de seleção guloso e sequencial adaptado para o domínio binário. Diferente da Matching Pursuit padrão, ela opera inteiramente no espaço binário:
  • Utiliza métricas de similaridade binária (ex: $F_\beta$) em vez de produtos internos.
  • Utiliza OR lógico ($\lor$) para somar contribuições e AND/NOT lógico ($\land, \neg$) para atualizar resíduos.
  • Constrói um pequeno subconjunto (coalizão) de latentes que coletivamente reconstroem a anotação do atributo, suportando mapeamentos de muitos-para-um.
• $\Delta$MATCHScore: Para considerar a inflação dos scores de correspondência em dicionários maiores (onde as correlações aleatórias aumentam), os autores subtraem o score de correspondência de um SAE não treinado (pesos aleatórios) do score do SAE treinado.

2. Benchmarks de Intervenção Sintética

Para permitir a validação funcional, os autores constroem dois conjuntos de dados sintéticos onde pares de imagens diferem em exatamente um atributo semântico:

• synCUB: Derivado do CUB-200-2011, este conjunto de dados visa perturbações de atributos finos (ex: mudar o padrão de ventre "sólido" para "manchado") em imagens de aves de objeto único. Utiliza o Flux2 para editar imagens base guiadas por imagens de referência, preservando identidade, pose e fundo.
• synCOCO: Derivado do MS-COCO, este conjunto de dados visa a remoção de objetos em cenas complexas de múltiplos objetos. Ele remove objetos específicos enquanto preserva o restante da cena, abordando o desafio de intervenções controladas em cenários naturalistas.

3. Pontuação de Alinhamento de Perturbação de Atributo Direcionada (TAPAScore)

Esta métrica testa se os latentes correspondidos respondem seletivamente e na direção esperada sob perturbações direcionadas.

• Para um par de imagens $(x, \hat{x})$ que diferem em um atributo, os autores computam a resposta com sinal do conjunto de latentes (coalizão) correspondido ao atributo adicionado ou removido.
• O TAPAScore é definido como $\Delta_{add} - \Delta_{rem}$, onde $\Delta$ representa a mudança média na ativação máxima do conjunto de latentes correspondidos. Um score positivo indica que os latentes aumentam quando o atributo é adicionado e diminuem quando removido, confirmando a codificação causal.

Principais Contribuições

1. Algoritmo FBMP: Um novo procedimento de correspondência baseado em coalizões que suporta mapeamentos de muitos-para-um entre latentes de SAE e conceitos. Os autores demonstram que a FBMP supera consistentemente as linhas de base um-para-um e passa em testes de sanidade nos quais métricas existentes (como Feature Monosemanticity Score ou CKNNA) falham.
2. Benchmarks Sintéticos (synCUB & synCOCO): Os primeiros benchmarks de estilo intervenção para avaliação de SAE em imagens naturalistas, permitindo perturbações controladas de atributos e objetos.
3. TAPAScore: Uma métrica funcional que valida se correspondências estatísticas correspondem a codificações semânticas causais, testando a direcionalidade da resposta sob perturbação.
4. Diretrizes Empíricas: O estudo fornece orientação acionável para praticantes, recomendando tamanhos moderados de dicionário e a combinação de FBMP com TAPAScore para uma avaliação de interpretabilidade ideal.

Resultados Experimentais

O framework foi avaliado em SAEs treinados em embeddings de CLIP e DINOv2 através de variados tamanhos de dicionário ($128$a$4096$) e variantes de SAE (TopK, BatchTopK, Matryoshka, JumpReLU).

• Testes de Sanidade: TAPAScore e $\Delta$MATCHScore (com FBMP) foram as únicas métricas capazes de distinguir de forma confiável SAEs treinados de baselines não treinados ou aleatórios. Métricas como CKNNA e Feature Monosemanticity Score (FMS) mostraram sensibilidade limitada ou comportamento inconsistente (ex: CKNNA aumentando para SAEs não treinados).
• Desempenho de Correspondência: A FBMP superou consistentemente a correspondência um-para-um em todas as variantes. A variante $F_{0.5}$ da FBMP (que favorece a precisão) geralmente apresentou os scores mais altos.
• Compromissos de Tamanho de Dicionário:
  • Aumentar o tamanho do dicionário (sobrecompletude) melhorou os scores de correspondência estatística ($\Delta$MATCHScore) até certo ponto, mas frequentemente degradou o alinhamento de perturbação (TAPAScore).
  • Para SAEs TopK no CUB, o TAPAScore atingiu o pico precocemente e depois declinou bruscamente conforme o tamanho do dicionário aumentava, indicando que dicionários maiores alcançaram melhor alinhamento estatístico sem codificar conceitos causalmente válidos.
  • Tamanhos moderados de dicionário (ex: 256–1024 dependendo da variante) ofereceram o melhor equilíbrio entre cobertura semântica e seletividade funcional.
• Correlação: Embora os scores de correspondência e o TAPAScore fossem geralmente positivamente correlacionados, a divergência em grandes tamanhos de dicionário (onde a correspondência melhorou, mas o TAPAScore caiu) destacou que o alinhamento estatístico é insuficiente para garantir a interpretabilidade.

Significância e Alegações

O artigo afirma que a interpretabilidade não pode ser assumida apenas pelo design arquitetônico ou pela qualidade da reconstrução; ela deve ser explicitamente avaliada contra conceitos compreensíveis por humanos. O framework proposto operacionaliza a interpretabilidade como o alinhamento entre características aprendidas e conceitos anotados, validado através de intervenções controladas.

Os autores concluem que tamanhos moderados de dicionário fornecem o equilíbrio ideal, gerando os SAEs mais interpretáveis. Eles recomendam a FBMP ($F_{0.5}$, $k=3$) pareada com o TAPAScore como o protocolo de avaliação padrão. O trabalho destaca que o aumento da sobrecompletude pode reduzir o alinhamento de perturbação, sugerindo uma perda de interpretabilidade apesar da melhoria nos métricas estatísticas.

Os autores reconhecem limitações, observando que a qualidade do framework é limitada pela granularidade e precisão das anotações humanas. Eles sugerem que trabalhos futuros possam reduzir a dependência de anotações manuais utilizando modelos de visão-linguagem para geração automática de atributos e explorar o uso do TAPAScore como uma ferramenta para controle ativo do modelo (model steering).