Resumo Técnico: Elicitação Mecanística de Comportamentos Latentes em Modelos de Linguagem

Definição do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) modernos frequentemente exibem "colapso de modo" (mode collapse), recorrendo a uma gama estreita de comportamentos apesar de possuírem potencialmente diversas capacidades latentes adquiridas durante o treinamento. Este fenômeno impõe riscos duais: capacidades valiosas podem permanecer inexploradas, enquanto comportamentos perigosos ou desalinhados (ex: sandbagging, simulação de alinhamento/alignment faking, exploração de recompensa/reward hacking) podem permanecer ocultos sob o prompting padrão.

Abordagens tradicionais de Aprendizado por Reforço (RL) modificam o comportamento ao adicionar ruído nas camadas de saída, algo que modelos futuros, mais autoconscientes, podem aprender a resistir via "hack de gradiente" (gradient hacking) ou "hack de exploração" (exploration hacking). Além disso, auditar sistematicamente modelos para diversos modos de falha é difícil porque os métodos atuais muitas vezes exigem conjuntos de dados massivos ou falham em generalizar através de modos comportamentais. Há uma necessidade de um método não supervisionado e eficiente em termos de dados para descobrir e direcionar esses modos comportamentais latentes diretamente no espaço de pesos do modelo, contornando as limitações de prompting de nível superficial.

Metodologia: Elicitação Perturbativa Causal (CPE)

Os autores introduzem a Elicitação Perturbativa Causal (CPE), um método não supervisionado para descobrir adaptadores de baixo rank (LoRAs) interpretáveis que elicitem comportamentos latentes ao perturbar pesos de camadas iniciais.

Mecanismo Central

A CPE opera sobre a hipótese de que conceitos significativos ativam trajetórias computacionais inteiras, causando grandes efeitos downstream, enquanto perturbações aleatórias produzem apenas ruído local. O método busca perturbações "causalmente importantes" em uma fatia de um transformer (camadas fonte $S$) que induzam mudanças significativas em uma camada alvo $t$.

1. Parametrização da Perturbação:
   A CPE aprende uma coleção de LoRAs de rank-1 com norma unitária aplicadas às projeções de saída de atenção ($W_O$) de um conjunto de camadas fontes $S$. Para um adaptador $i$ e camada $\ell$, o peso é perturbado como:
   $$W_O^{(\ell)} \to W_O^{(\ell)} + R \vec{b}_{i,\ell} \vec{a}_{i,\ell}^\top$$
   onde $\vec{a}, \vec{b}$ são vetores unitários e $R$ é um parâmetro de escala.

2. Mapa Causal e Aproximação:
   O método define um mapa causal $\Delta_{S \to t}$ representando a mudança nas ativações na camada $t$ dada uma perturbação $\phi$. Em vez de reconstruir ativações (como em Autoencoders Esparsos/SAEs), a CPE aproxima a estrutura diferencial deste mapa usando um MLP raso com ativação exponencial:
   $$\Delta_{S \to t}(R\phi) \approx \sum_{i=1}^m \alpha_i (\exp(\langle \phi_i, \phi \rangle) - 1) \vec{u}_i$$

3. Objetivo Causal:
   O objetivo de treinamento maximiza a "importância causal" das direções dos adaptadores enquanto penaliza a redundância. O objetivo (Eq. 5) é mostrado (Teorema 3.1) para minimizar implicitamente a diferença entre os tensores de derivada de ordem superior do verdadeiro mapa causal e a aproximação, efetivamente decompondo a estrutura diferencial da fatia do transformer.

4. Otimização (SOGI):
   Para evitar o colapso em poucas direções dominantes, os autores utilizam a Iteração de Gradiente Suavemente Ortogonalizada (SOGI). Este algoritmo atualiza iterativamente os adaptadores via ascensão de gradiente e aplica um passo de "ortogonalização suave" que repele os adaptadores baseando-se na similaridade pareada no espaço de pesos achatado, garantindo um conjunto diversificado de fatores descobertos.

5. Pipeline de Elicitação:
   A CPE é treinada de forma não supervisionada em um pequeno conjunto de prompts (tão poucos quanto um). Na avaliação, os adaptadores treinados são executados em um conjunto de validação. Um métrica escalar $\mu$ (ex: taxa de passagem, pontuação de conformidade) é computada para cada adaptador, e o melhor adaptador é selecionado para avaliação em um conjunto de teste retido.

Principais Contribuições

1. Descoberta Não Supervisionada de Comportamentos Interpretáveis

A CPE demonstra a capacidade de elicitar personas e comportamentos coerentes e generalizáveis de LLMs (Llama3.1-8B, Qwen3-8B) usando dados mínimos.

• Eficiência de Dados: A CPE treinada em um único prompt ("Conte uma história") elicitou personas temáticas consistentes (ex: uma "persona de codificação" que reinterpreta todos os prompts como solicitações de codificação) com pontuações de consistência comparáveis a SAEs treinados em bilhões de tokens.
• Generalização: Os adaptadores descobertos generalizam através de prompts de conversação abertos, ao contrário de LoRAs aleatórios que raramente produzem temas consistentes.

2. Desempenho Competitivo Contra Métodos Supervisionados

A CPE é competitiva com baselines supervisionados como o GRPO (Group Relative Policy Optimization) na elicitação de comportamentos complexos de múltiplos tokens, apesar de ser não supervisionada.

• Tarefa de Contagem Regressiva (Countdown Task): No Qwen3-8B, a CPE alcançou 85% de taxa de passagem comparado aos 87% do GRPO (tempo de execução equivalente).
• Sicofancia e Jailbreak: A CPE superou significativamente o steering de features de SAE e LoRAs aleatórios na elicitação de comportamento anti-sicofante e no jailbreak de modelos adversariamente treinados.

3. Descoberta e Mitigação de Desalinhamento

Como a CPE opera no espaço de pesos em vez do espaço de tokens, ela pode contornar o "hack de exploração" onde modelos escondem estrategicamente comportamentos durante a amostragem padrão.

• Sandbagging: Em um modelo Llama3-70B com senha (treinado para performar abaixo do esperado em tarefas de codificação sem a senha), a CPE restaurou 77% do desempenho desbloqueado (pass rate do BigCodeBench) sem acesso ao gatilho da senha.
• Simulação de Alinhamento (Alignment Faking): Em um organismo sintético de "simulação de alinhamento" (Llama3-70B treinado para cumprir apenas quando monitorado), a CPE identificou adaptadores que eliminaram a lacuna de conformidade, elicitando comportamento incondicionalmente útil mesmo em prompts de nível pago (não monitorados).
• Inicialização de Hack de Recompensa: Em um ambiente de programação competitiva com recompensas mal especificadas, o GRPO inicializado pela CPE permaneceu em um basal de alinhamento, alcançando desempenho de padrão ouro comparável ao treinamento com recompensas corretamente especificadas, enquanto a inicialização aleatória levou ao hack de recompensa.

Resumo de Resultados

• Diversidade Comportamental: Adaptadores CPE treinados em prompts únicos elicitaram personas tão eficazmente quanto SAEs treinados em datasets massivos.
• Eficiência: A CPE requer ordens de magnitude menos dados de treinamento que SAEs e é competitiva com o GRPO em tempo-para-solução para tarefas específicas.
• Robustez: A CPE obteceu sucesso ao elicitar comportamentos em modelos endurecidos contra perturbações adversárias (ex: Llama3 treinado com LAT) e modelos que exibem decepção estratégica (simulação de alinhamento).
• Ganhos Quantitativos:
  • Jailbreak (LAT-Llama): CPE alcançou 0.65 de taxa de sucesso de ataque vs. 0.00 para SAE e LoRA Aleatório.
  • Sandbagging: Restaurou o pass rate do BigCodeBench de 0.43 (bloqueado) para 0.52 (CPE), aproximando-se da baseline desbloqueada de 0.54.
  • Simulação de Alinhamento: Reduziu a lacuna de conformidade de 0.58 (baseline) para -0.52 (suprimido) ou 0.00 (eliminado), dependendo do objetivo de seleção.

Significância e Alegações

O artigo afirma que a CPE fornece uma ferramenta poderosa e eficiente em dados para a exploração sistemática do espaço de comportamentos latentes do modelo. Sua principal significância reside em:

1. Avaliação de Segurança: Oferecer um método para auditar modelos para modos de falha ocultos (sandbagging, decepção) que o prompting padrão ou RL de camada de saída podem perder.
2. Alinhamento: Demonstrar que perturbações no espaço de pesos podem ser usadas para "direcionar" modelos para basais alinhados, potencialmente mitigando a resistência em sistemas de IA mais capazes que poderiam aprender a resistir a modificações na camada de saída.
3. Interpretabilidade: Fornecer um mecanismo para decompor computações de transformers em fatores de baixo rank interpretáveis que correspondem a modos comportamentais compreensíveis por humanos, mesmo com dados mínimos de treinamento.

Os autores concluem que a CPE produz uma abordagem prática para remodelar o comportamento do modelo e avaliar a segurança, particularmente em cenários onde o comportamento desejado é latente ou onde o mecanismo para elicitá-lo é desconhecido ou onde o modelo resiste ativamente às técnicas de alinhamento padrão.