Resumo Técnico: CorrSteer

Declaração do Problema

Os Autoencoders Esparsos (SAEs) emergiram como uma ferramenta poderosa para decompor as representações superpostas em Modelos de Linguagem de Grande Escala (LLMs) em dimensões latentes interpretáveis e esparsas. No entanto, os métodos existentes de direcionamento baseados em SAE enfrentam limitações significativas que restringem sua aplicabilidade:

1. Requisitos de Dados e Armazenamento: Abordagens atuais frequentemente exigem grandes conjuntos de dados contrastivos ou armazenamento massivo de ativações para identificar direções de direcionamento.
2. Contexto vs. Geração: A maioria dos métodos depende dos estados ocultos de tokens de contexto (processamento de entrada) para selecionar características e coeficientes. Isso falha em capturar diretamente o comportamento de geração (produção de saída), que é o alvo do direcionamento.
3. Escalabilidade e Ajuste: Métodos existentes frequentemente exigem ajuste específico para a tarefa, passadas de retropropagação ou critérios de seleção não lineares que não escalonam bem para dicionários de características grandes (10⁴–10⁵ características).

Consequentemente, o direcionamento baseado em SAE tem sido amplamente limitado a aplicações estreitas, como mitigação de viés, esquecimento de conhecimento e prevenção de jailbreak, em vez de direcionamento comportamental geral.

Metodologia: CorrSteer

O CorrSteer introduz um pipeline de direcionamento totalmente automatizado, no momento da geração, que seleciona características correlacionando ativações de SAE com resultados de tarefas, seguido por validação causal através de intervenção. O método opera em três etapas:

1. Seleção de Características Guiada por Correlação

Em vez de usar conjuntos de dados contrastivos, o CorrSteer calcula a correlação de Pearson entre as ativações de características do SAE e as pontuações de correção da tarefa ($y$) usando ativações no momento da geração (especificamente o último token gerado em cada etapa).

• Racional: Os SAEs utilizam um decodificador linear, consistente com a Hipótese da Representação Linear. A correlação de Pearson mede fielmente essas dependências lineares.
• Eficiência: Para lidar com dicionários grandes (por exemplo, 16K características × 26 camadas), o método emprega um acumulador de correlação em streaming com complexidade de memória $O(1)$ em relação ao tamanho do conjunto de dados. Não são necessárias passadas de retropropagação ou armazenamento completo de ativações.
• Agrupamento (Pooling): Para tarefas de múltiplos tokens, o max-pooling é usado para agregar ativações em posições de token válidas para capturar sinais de pico, embora o mean-pooling seja usado para o cálculo de coeficientes em tarefas de raciocínio longo para garantir estabilidade.

2. Estimativa de Coeficientes

Para cada característica selecionada, o coeficiente de direcionamento é derivado da ativação média sobre amostras com resultados positivos de tarefa (respostas corretas).

• Esta abordagem aproveita a não negatividade das ativações de SAE.
• Ela ancora a magnitude do direcionamento à escala natural da característica durante a geração bem-sucedida, resultando em menor variância do que métodos contrastivos.

3. Intervenção e Validação

A correlação serve como uma heurística de seleção, mas a intervenção serve como o teste causal. O pipeline valida as seleções testando se a amplificação das características selecionadas realmente melhora o desempenho.

• Variantes:
  • CorrSteer-S: Seleciona a única característica mais positivamente correlacionada globalmente.
  • CorrSteer-A: Seleciona a característica mais positivamente correlacionada de cada camada.
  • CorrSteer-P: Aplica poda baseada em validação ao CorrSteer-A, retendo apenas características que melhoram o desempenho sobre a linha de base sem direcionamento.
• Razão de Efeito Colateral (SER): Uma nova métrica é introduzida para quantificar degradações não intencionais: $SER = \frac{\text{nº de respostas alteradas negativamente}}{\text{nº de todas as respostas alteradas}}$. Apenas características positivamente correlacionadas são retidas, pois estudos de ablação mostram que características negativamente correlacionadas consistentemente degradam o desempenho.

Contribuições Principais

1. Seleção no Momento da Geração: O CorrSteer desloca o foco das ativações de tokens de contexto para as ativações de tokens de geração, visando diretamente o comportamento de saída.
2. Pipeline Automatizado: O método não requer ajuste específico para a tarefa, conjuntos de dados contrastivos ou passadas de retropropagação. Ele escala para 10⁵ características via correlação em streaming.
3. Validação Causal: Ao separar correlação (seleção) de intervenção (causalidade), o método filtra correlações espúrias que não impulsionam melhorias de desempenho.
4. Interpretabilidade: As características selecionadas agrupam-se em categorias interpretáveis (por exemplo, características de saída estruturada para tarefas de múltipla escolha, características de recusa para segurança), permitindo inspeção post-hoc através de ferramentas como Neuronpedia.

Resultados

Os experimentos foram conduzidos no Gemma-2 2B e no LLaMA-3.1 8B em cinco categorias de benchmarks: Conhecimento (MMLU, MMLU-Pro), Raciocínio (GSM8K), Viés (BBQ), Facticidade (SimpleQA) e Segurança (HarmBench, XSTest).

• Ganhos de Desempenho:
  • MMLU: +3,3% de precisão (Gemma-2 2B).
  • HarmBench: +27,1% de precisão (taxa de recusa).
  • BBQ: Melhorias significativas na mitigação de viés (por exemplo, +6,5% no BBQ Ambig).
• Comparação com Linhas de Base:
  • Variantes do CorrSteer (particularmente CorrSteer-P) alcançam precisão comparável ou superior ao ajuste fino (fine-tuning) enquanto mantêm Razões de Efeito Colateral (SER) mais baixas. Por exemplo, no MMLU, o CorrSteer-A igualou a precisão do ajuste fino (55,48% vs. 55,75%) mas reduziu pela metade o SER (0,21 vs. 0,41).
  • Ele supera outros métodos de direcionamento de SAE (SPARE, DSG) e métodos de engenharia de ativação (CAA).
• Eficiência: O pipeline completo (carregamento, correlação em streaming, avaliação em 4.000 amostras) é concluído em ~9 minutos em uma única RTX 5090. A sobrecarga no momento da inferência é inferior a 0,1%.
• Transferibilidade: Características selecionadas para uma tarefa (por exemplo, MMLU) frequentemente transferem-se para tarefas relacionadas (por exemplo, MMLU-Pro), embora a seleção específica para a tarefa geralmente produza os melhores resultados.

Significado e Alegações

O artigo afirma que o CorrSteer estende o direcionamento baseado em SAE além de aplicações estreitas para o direcionamento comportamental geral, tratando a correlação como uma heurística de seleção e a intervenção como um teste causal.

• Escalabilidade: O método demonstra que o direcionamento de SAE pode ser automatizado e escalado para modelos grandes e dicionários de características sem o ônus computacional do aprendizado contrastivo ou do armazenamento completo de ativações.
• Segurança e Controle: O método amplifica com sucesso comportamentos de segurança existentes (por exemplo, recusa) sem induzir excesso de recusa (baixa super-recusa no XSTest) ou degradar capacidades gerais.
• Interpretabilidade: As características selecionadas fornecem uma visão transparente do processo de tomada de decisão do modelo, revelando que os ganhos de desempenho são frequentemente impulsionados por características semânticas específicas (por exemplo, "recusa", "neutralidade") em vez de sinais espúrios.
• Limitações: Os autores reconhecem que o direcionamento estático aplica a mesma direção independentemente da entrada, limitando a adaptação contextual. A variância de desempenho aumenta com tamanhos de amostra menores (<1.000), e o método atualmente depende de SAEs pré-treinados disponíveis apenas para modelos específicos (Gemma Scope, LLaMA Scope).

O artigo conclui que o CorrSteer oferece um caminho prático, interpretável e reversível em direção a uma IA mais segura e transparente, complementando em vez de substituir o ajuste fino.