Resumo Técnico: Avaliando a Robustez Adversária de Representações de Conceitos em Autoencoders Esparsos

Declaração do Problema

Os Autoencoders Esparsos (SAEs) emergiram como uma ferramenta primária para a interpretabilidade mecanística, mapeando as ativações densas internas de Grandes Modelos de Linguagem (LLMs) para representações de conceitos esparsas e interpretáveis por humanos. Embora as avaliações existentes de SAEs foquem em trocas entre reconstrução e esparsidade, interpretabilidade humana e desentranhamento de características, elas negligenciam amplamente uma dimensão crítica: a robustez a perturbações de entrada.

As avaliações atuais frequentemente assumem entradas estáticas, coerentes e não perturbadas. No entanto, em contextos adversários — onde um provedor de explicação e um consumidor podem ter objetivos conflitantes — as representações dos SAEs podem ser vulneráveis. Se um adversário puder criar perturbações mínimas de entrada que manipulem as ativações do SAE sem alterar significativamente o comportamento base do LLM, a fidelidade da rotulagem de conceitos é comprometida. Isso levanta preocupações sobre a confiabilidade dos SAEs para monitoramento de modelos, supervisão de segurança e aplicações downstream que dependem de representações de conceitos estáveis.

Metodologia

Estrutura Teórica

Os autores formalizam a robustez do SAE como problemas de otimização no espaço de entrada. Eles postulam um mapeamento de "verdade fundamental" (ground-truth) $f_c$ do espaço de entrada $X$ para um espaço de conceitos semânticos $C$. A robustez é definida pela preservação do alinhamento entre o espaço latente esparso aprendido $Z$ e $C$ sob perturbações adversárias.

A premissa central é que o mapeamento de verdade fundamental é bi-Lipschitz, o que significa que pequenas mudanças nas sequências de tokens de entrada (medidas pela distância de Levenshtein) correspondem proporcionalmente a pequenas mudanças nos conceitos semânticos. Isso permite que a busca por exemplos adversários seja conduzida diretamente no espaço de entrada $X$, em vez do hipotético espaço de conceitos $C$.

O framework de avaliação define a robustez através de dois objetivos de otimização:

1. Não direcionado (Untargeted): Maximizar a distância entre a ativação original do SAE $z_1$ e a ativação perturbada $z'_1$, dado um limite de distância de edição de entrada.
2. Direcionado (Targeted): Minimizar a distância entre a ativação perturbada $z'_1$ e uma ativação alvo $z_2$ (de uma entrada semanticamente não relacionada) enquanto a perturbação de entrada permanece limitada.

Dimensões de Avaliação

Os autores propõem um framework estruturado combinando três dimensões binárias para definir oito distintos cenários adversários:

1. Objetivo Semântico: Não direcionado (alterar as ativações do SAE de forma geral) vs. Direcionado (direcionar as ativações para um input específico não relacionado).
2. Objetivo de Ativação:
   • Nível de População: Manipular o conjunto de latentes top-$k$ ativados, medido pela razão de sobreposição de conceitos.
   • Nível Individual: Ativar ou desativar uma característica específica do SAE, medida por mudanças de ranking binário.
3. Modo de Perturbação: Mudanças mínimas de entrada, especificamente substituindo um único token ou anexando um sufixo de um único token.

Algoritmo de Ataque

Para resolver esses problemas de otimização, os autores adaptam o algoritmo Greedy Coordinate Gradient (GCG), originalmente projetado para otimização de prompts em LLMs. Como as métricas de distância no espaço latente esparso não são diferenciáveis, o método emprega uma abordagem híbrida:

• Computação de Gradiente: Os gradientes são computados usando funções de perda diferenciáveis (ex: similaridade de cosseno, log-verossimilhança) sobre o espaço de representação contínua do SAE.
• Seleção de Candidatos: Candidatos adversários são gerados e avaliados usando as métricas de distância originais não diferenciáveis (ex: razão de sobreposição de conceitos, status de ativação binária) no espaço discreto de entrada.

Principais Contribuições

1. Identificação de uma Lacuna Crítica: O artigo identifica a robustez como uma dimensão fundamental, porém subexplorada, na avaliação de SAEs, argumentando que as representações de conceitos devem ser estáveis sob perturbações de entrada para serem consideradas confiáveis.
2. Framework de Avaliação Abrangente: Os autores introduzem um framework teoricamente fundamentado que define a robustez do SAE através de objetivos semânticos e de ativação, permitendo testes sistemáticos de vulnerabilidades adversárias.
3. Metodologia de Ataque Generalizada: Eles propõem um algoritmo de ataque no nível de entrada generalizado, adaptado do GCG, capaz de gerar entradas adversárias que manipulam interpretações de SAE.
4. Evidência Empírica de Fragilidade: Experimentos extensos em múltiplos LLMs de código aberto (Gemma2, Llama3), arquiteturas de SAE (JumpReLU, Top-K) e datasets demonstram que as representações de conceitos dos SAEs são altamente frágeis.

Resultados Experimentais

Os autores avaliaram seu framework no Gemma2-2B, Gemma2-9B e Llama3-8B com várias larguras e camadas de SAE, utilizando datasets incluindo AdvBench, AG News, SST2 e um dataset gerado de "Arte & Ciência".

• Altas Taxas de Sucesso: Pequenas perturbações adversárias (frequentemente a substituição de um único token) manipulam efetivamente as interpretações baseadas em conceitos.
  • Nível de População: Ataques não direcionados reduziram com sucesso a sobreposição de conceitos entre o input original e o perturbado para ~20–30%, enquanto ataques direcionados aumentaram a sobreposição com um alvo não relacionado para ~50–60%.
  • Nível Individual: Mais de 60% dos latentes selecionados do SAE foram manipuláveis em configurações direcionadas. Em cenários de desativação, as taxas de sucesso atingiram aproximadamente 90%.
• Desacoplamento da Robustez do LLM: Crucialmente, sondas lineares treinadas nos estados ocultos do LLM base mantiveram alta precisão (>90%) na detecção de conceitos semânticos (ex: dano, sentimento, tópico) mesmo após as perturbações adversárias. Isso indica que as representações semânticas internas do LLM permanecem estáveis, enquanto o mapeamento do SAE para os conceitos é o ponto de falha.
• Vulnerabilidade Não-Adversária: Mesmo perturbações não adversárias, como substituir uma palavra por um sinônimo, reduziram a sobreposição de conceitos em cerca de 30%, sugerindo uma fragilidade inerente além de ataques maliciosos.
• Transferibilidade: Ataques transferiram entre diferentes modelos (ex: de Gemma2 para Llama3), mostrando degradação de performance, mas mantendo-se eficazes, indicando uma vulnerabilidade geral na interpretação baseada em SAE.

Significância e Alegações

O artigo conclui que as representações de conceitos dos SAEs são frágeis e, sem maior denoising ou pós-processamento, podem ser inadequadas para aplicações que exigem alta confiabilidade, como monitoramento de modelos e supervisão de segurança.

• Implicações para a Interpretabilidade: Os achados desafiam a suposição de que os latentes de SAE fornecem uma visão monossêmica estável dos internos do modelo. Se um adversário pode facilmente alterar o "conceito" que um SAE reporta sem mudar o output real ou a compreensão semântica do modelo, a confiabilidade dessas explicações é comprometida.
• Direções Futuras: Os autores argumentam que a robustez deve ser um componente central da agenda de avaliação de SAEs. Eles sugerem que trabalhos futuros devem focar no desenvolvimento de métodos para realizar o denoising das ativações de SAE e isolar sinais confiáveis. Além disso, eles postulam que essas vulnerabilidades provavelmente se estendem a outras abordagens inspiradas em SAE, como transcoders e crosscoders, destacando a necessidade de objetivos conscientes da robustez na pesquisa de interpretabilidade mecanística.

O artigo não afirma que os SAEs são inúteis, mas sim que seu deployment atual em ambientes adversários ou de alto risco é perigoso sem abordar essas questões de estabilidade. O framework proposto serve como uma ferramenta de diagnóstico para identificar e filtrar interpretações não robustas.