Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits

Resumo Técnico: Direcionamento Comportamental em Modelos de Linguagem MoE de 35B

1. Problema e Contexto

O objetivo central da interpretabilidade mecânica é transitar da observação do que os modelos de linguagem fazem para a intervenção direta sobre como eles o fazem. Embora métodos como Sparse Autoencoders (SAEs) e Activation Steering tenham sido bem-sucedidos em modelos menores (até 7B) com arquiteturas Transformer padrão, sua eficácia em modelos de escala de produção (35B+) com arquiteturas híbridas não convencionais permanece uma questão em aberto.

O estudo foca no Qwen 3.5-35B-A3B, um modelo Mixture-of-Experts (MoE) com 35 bilhões de parâmetros (3B ativos por token) que utiliza uma arquitetura híbrida: blocos repetidos de três camadas GatedDeltaNet (recorrentes/lineares) seguidos por uma camada de atenção padrão. O desafio é identificar e controlar cinco traços comportamentais de agentes: autonomia, entusiasmo pelo uso de ferramentas, persistência, calibração de risco e deferência.

2. Metodologia

Os autores propõem um pipeline de quatro estágios para construir vetores de direção (steering vectors) sem re-treinamento do modelo:

1. Treinamento de SAEs: Foram treinados 9 Sparse Autoencoders (SAEs) no residual stream (fluxo residual) do modelo em diferentes profundidades (camadas iniciais, médias e tardias), cobrindo tanto as camadas GatedDeltaNet quanto as de atenção.
2. Identificação de Traços Contrastes: Foram gerados pares de prompts contrastantes (HIGH vs. LOW) para cada traço comportamental. O modelo executou o forward pass para extrair ativações, e foram calculadas pontuações de associação de traço (TAS) nas latências do SAE.
3. Projeção Probe-to-Decoder (O Núcleo do Método):
   • Um probe linear (regressão ridge) é treinado nas ativações latentes do SAE para prever o traço comportamental.
   • Os pesos do probe ($w_{probe}$) são projetados de volta através da matriz de decodificador do SAE ($W_{dec}$) para obter um vetor de direção contínuo no espaço de ativação nativo do modelo:
     $$v_{steer} = W_{dec}^{\top} w_{probe}$$
   • Inovação Crítica: Este método contorna a função de ativação top-k do SAE (que discretiza o espaço latente). Ao projetar para o espaço contínuo do residual stream, permite-se uma intervenção comportamental de alta granularidade sem artefatos de quantização.
4. Avaliação Comportamental: Os vetores de direção são aplicados durante a inferência (adicionando $\alpha \cdot v_{steer}$ ao residual stream) em 1.800 execuções de agentes (50 cenários ReAct). O desempenho é medido por métricas proxy extraídas das trajetórias (ex: contagem de chamadas ask_user vs. execução de código).

3. Principais Contribuições

1. Escala e Arquitetura: Demonstra a viabilidade de steering baseado em SAE em um modelo MoE de 35B com arquitetura híbrida GatedDeltaNet/Atenção.
2. Eixo de Agência Dominante: A análise cruzada revela que, embora tenham sido treinados para cinco traços distintos, todos os vetores de direção modulam primariamente um único eixo dominante de agência (a disposição para agir independentemente vs. deferir ao usuário). Os efeitos específicos dos traços aparecem apenas como modulações secundárias na composição do tipo de ferramenta ou na forma da resposta dose-resposta.
3. Dissociação Correlação-Causalidade: O estudo fornece um caso empírico controlado onde um probe com alta precisão ($R^2 \approx 0.795$) identifica uma direção que é preditiva, mas causalmente inerte. O vetor de "calibração de risco" falha em redirecionar o comportamento, enquanto o vetor de "entusiasmo por ferramentas" (do mesmo SAE, mesma camada, $R^2$ similar e direções ortogonais) funciona. Isso prova que alta precisão de probe não garante relevância causal.
4. Comprometimento Comportamental no Prefill: O direcionamento aplicado apenas durante a geração autoregressiva (decode-only) teve efeito nulo. As decisões comportamentais são computadas e comprometidas durante a fase de prefill (processamento do prompt) e propagadas através do estado recorrente do GatedDeltaNet.

4. Resultados Chave

• Eficácia do Direcionamento:

  • Autonomia: O traço mais bem-sucedido. Com multiplicador $\alpha=2$, a redução de chamadas ask_user foi drástica (de 78% para 12%), com um tamanho de efeito (Cohen's $d$) de 1.01 ($p < 0.0001$). O modelo passou a executar código e buscar na web proativamente.
  • Entusiasmo por Ferramentas: Mostrou uma resposta de "transição de fase". Multiplicadores intermediários pioraram o desempenho, mas $\alpha=3$ forçou o modelo para um novo atrator comportamental (88% das chamadas foram web_search).
  • Deferência: Funcionou melhor quando aplicado apenas no prefill, sugerindo que é uma propriedade disposicional definida no início do processamento.
  • Falhas: Persistência e Calibração de Risco não conseguiram redirecionar o comportamento, apenas suprimiram ações, apesar de probes com alta $R^2$.

• Análise de Especificidade Cruzada:

  • Não houve especificidade perfeita. O vetor de "Autonomia" teve seu maior efeito na métrica de "Uso de Ferramentas" ($d=1.00$), superando seu efeito alvo.
  • Todos os vetores aumentaram a autonomia e diminuíram a deferência, confirmando o eixo único de agência.

• Geometria e Dissociação:

  • Os vetores de "Calibração de Risco" e "Entusiasmo por Ferramentas" são quase ortogonais no espaço de características ($\cos \approx -0.017$).
  • A direção de risco é um epifenômeno: estatisticamente correlacionada com o comportamento cauteloso, mas não faz parte da cadeia causal que gera o comportamento.

• Mecanismo Arquitetural:

  • A nulidade do decode-only fornece evidência causal de que o GatedDeltaNet "compila" decisões comportamentais durante o prefill.

5. Significado e Impacto

• Para Interpretabilidade: O trabalho alerta que a precisão de probes lineares ($R^2$) é uma condição necessária, mas insuficiente, para inferir causalidade. Direções preditivas podem ser epifenômenos. A intervenção experimental é obrigatória para validar a relevância causal.
• Para Arquiteturas Híbridas: Revela que em modelos com camadas recorrentes (GatedDeltaNet), o estado oculto após o prefill já contém o "comprometimento" comportamental, tornando a intervenção nessa fase mais crítica do que durante a geração de tokens.
• Para Segurança e Alinhamento: A descoberta de um "eixo de agência" único é preocupante para o alinhamento. Uma única intervenção pode deslocar toda a disposição do modelo para ação independente, potencialmente contornando comportamentos de deferência ou segurança em contextos onde a cautela seria necessária.
• Aplicabilidade Prática: O método permite o ajuste fino de comportamento em modelos de produção sem re-treinamento, mas exige calibração específica por traço (não existe um multiplicador universal) e monitoramento da fase de prefill.

Em suma, o artigo demonstra que a engenharia de ativação em escala industrial é viável, mas revela que a estrutura comportamental de agentes de IA pode ser mais simples (um eixo unificado) e mais complexa (dissociação predição-causa) do que a taxonomia de traços inicialmente proposta sugeria.