Contextual Linear Activation Steering of Language Models

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) possuem capacidades latentes (por exemplo, raciocínio, controle de sentimento, recusa de segurança) que podem ser elicitedas via Direcionamento de Ativação Linear (LAS). O LAS opera na "hipótese de representação linear", que postula que conceitos semânticos são representados como direções lineares fixas no espaço de ativação do modelo. Ao adicionar um vetor de direcionamento escalado ($\alpha d$) às ativações internas do modelo, o comportamento pode ser modificado.

No entanto, os métodos LAS existentes sofrem de duas limitações críticas:

1. Independência de Contexto: Os métodos atuais aplicam um coeficiente escalar fixo ($\alpha$) uniformemente em todos os tokens e prompts. Isso ignora a nuance do contexto de entrada, levando a uma qualidade de direcionamento inconsistente (sub-direcionamento ou super-direcionamento) dependendo do prompt.
2. Ineficiência de Ajuste: Selecionar o $\alpha$ fixo ótimo requer pesquisas em grade caras envolvendo avaliadores humanos ou LLMs para cada nova tarefa, tornando a abordagem frágil e difícil de escalar.

2. Metodologia: Direcionamento de Ativação Linear Contextual (CLAS)

Os autores propõem o CLAS, um método que substitui o coeficiente escalar fixo por um coeficiente de direcionamento aprendido e dependente do contexto.

Mecanismo Central

Em vez de $\tilde{h}_{\ell,t} = h_{\ell,t} + \alpha d_\ell$, o CLAS calcula um coeficiente dinâmico com base na ativação atual e em um vetor de sensoriamento aprendido:
$$\tilde{h}_{\ell,t} = h_{\ell,t} + (c_\ell \cdot [h_{\ell,t}, 1]) d_\ell$$
Onde:

• $h_{\ell,t}$ é a ativação no bloco $\ell$ e token $t$.
• $d_\ell$ é o vetor de direcionamento (direção) extraído de uma sonda.
• $c_\ell \in \mathbb{R}^{k+1}$ é um vetor de sensoriamento aprendido específico para o bloco $\ell$.
• $[h_{\ell,t}, 1]$ é a concatenação da ativação com um termo de viés constante.
• O termo $(c_\ell \cdot [h_{\ell,t}, 1])$ atua como o coeficiente de direcionamento dinâmico $\alpha_{\ell,t}$.

Processo de Treinamento em Duas Etapas

O CLAS desacopla a extração da direção de direcionamento do ajuste da força de direcionamento:

1. Extração do Vetor de Direcionamento (Direção):

   • Utiliza um conjunto de dados de pares prompt-rotulo de conceito.
   • Treina uma Sonda de Ativação em cada bloco do transformador usando Máquinas de Recursos Recursivos (RFM). O RFM calcula iterativamente o Produto Externo Médio do Gradiente (AGOP) para aprender recursos relevantes para a tarefa, superando sondas lineares padrão.
   • O vetor de direcionamento $d_\ell$ é o autovetor principal da matriz AGOP final, orientado para correlacionar positivamente com os rótulos de conceito.
   • Nota: Esta etapa é livre de retropropagação e rápida.

2. Aprendizado do Vetor de Sensoriamento (Força):

   • Utiliza um pequeno conjunto de dados de pares prompt-completamento (onde o prompt carece da instrução específica da tarefa, mas o completamento demonstra o comportamento desejado).
   • Congela todos os parâmetros do LLM e aprende apenas os vetores de sensoriamento $\{c_\ell\}$ minimizando a perda padrão de previsão do próximo token.
   • Isso permite que o modelo aprenda quando e quanto direcionar com base no contexto de entrada, sem gerar e pontuar saídas.

3. Contribuições Principais

• Direcionamento Dependente de Contexto: Introduz um mecanismo para modular a força de direcionamento dinamicamente com base no contexto de entrada, resolvendo a fragilidade dos métodos de coeficiente fixo.
• Ajuste Eficiente: Elimina a necessidade de pesquisas em grade caras e avaliadores externos. O CLAS ajusta via perda padrão de previsão do próximo token, o que é significativamente mais rápido e escalável.
• Arquitetura Desacoplada: Separa a descoberta do "o quê" (direção de direcionamento via sondas RFM) do "quanto" (vetores de sensoriamento via ajuste fino), preservando a interpretabilidade das direções de direcionamento.
• Preservação da Interpretabilidade: Ao contrário de métodos de ajuste fino eficiente em parâmetros (PEFT) que aprendem matrizes de baixo rank opacas, o CLAS retém as direções de sondas lineares, permitindo monitoramento preciso de conceitos.

4. Resultados Experimentais

Os autores avaliaram o CLAS em 11 tarefas de direcionamento diversas (por exemplo, raciocínio passo a passo, tradução multilíngue, resistência a jailbreak, mudança de sentimento) em 4 famílias de modelos (Qwen2.5-7B, Llama-3.1-70B/8B, Llama-3.2-1B).

Benchmarks de Desempenho:

• vs. LAS Padrão: O CLAS supera consistentemente o LAS padrão ($\alpha$ fixo) em quase todos os pares modelo-tarefa, muitas vezes por margens substanciais.
• vs. PEFT (LoRA & ReFT): O CLAS iguala ou excede o desempenho do LoRA e ReFT (Rank-1) em configurações de dados limitados.
  • Velocidade: O CLAS é significativamente mais rápido para ajustar do que o LAS (que requer pesquisa em grade) e comparável ou mais rápido que LoRA/ReFT.
  • Robustez: Em testes de interferência (direcionar para uma tarefa e avaliar em outras), o CLAS causa degradação mínima em outras capacidades em comparação com as quedas significativas frequentemente observadas com LoRA e ReFT.
• Monitoramento de Conceitos: Quando usado como sondas lineares para detectar conceitos, as direções derivadas do RFM usadas pelo CLAS alcançaram precisão significativamente maior (Média ~96-97%) em comparação com direções aprendidas por LoRA e ReFT (Média ~68-74%). Isso confirma que as direções do CLAS estão mais alinhadas semanticamente com os conceitos alvo.

Descobertas Específicas:

• Na tarefa JailbreakBench, o CLAS foi o único método a induzir com sucesso comportamento anti-recusa em todos os modelos, enquanto LoRA e ReFT falharam completamente.
• O CLAS alcançou a maior precisão média em 10/11 tarefas para a maioria dos modelos.

5. Significado e Conclusão

O artigo demonstra que o direcionamento de ativação linear pode ser escalado e tornado robusto ao migrar de coeficientes fixos para coeficientes aprendidos e conscientes do contexto.

• Escalabilidade: Ao remover a necessidade de ajuste por prompt ou pesquisas em grade, o CLAS torna o direcionamento de ativação viável para implantação no mundo real, onde as entradas variam dinamicamente.
• Interpretabilidade: Ele preenche a lacuna entre a interpretabilidade da compreensão mecânica (sondas) e o desempenho do ajuste fino. Os vetores de direcionamento permanecem direções lineares interpretáveis, ao contrário dos pesos opacos de LoRA/ReFT.
• Generalização: O método prova que direções de direcionamento existentes podem ser tornadas substancialmente mais eficazes simplesmente modulando-as com coeficientes dependentes de contexto, oferecendo um novo paradigma para controlar o comportamento de LLMs sem ajuste fino completo.

Em resumo, o CLAS oferece uma alternativa escalável, interpretável e precisa tanto ao direcionamento de ativação tradicional quanto ao ajuste fino eficiente em parâmetros, particularmente em cenários com dados rotulados limitados.