Resumo Técnico: Resistência Endógena ao Direcionamento de Ativação em Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são suscetíveis ao direcionamento de ativação (activation steering), uma técnica onde direções específicas (frequentemente derivadas de Autoencoders Esparsos, ou SAEs) são adicionadas ao fluxo residual de um modelo durante a inferência para alterar seu comportamento. Embora o direcionamento possa induzir com sucesso comportamentos fora do tópico ou específicos, não está claro se os modelos possuem mecanismos internos para detectar e recuperar-se de tais perturbações artificiais no meio da geração. Trabalhos anteriores sugerem que os modelos podem possuir capacidades introspectivas, mas a extensão com que essa autoconsciência influencia a geração contínua sob perturbação contínua não é bem caracterizada. Este artigo investiga se os LLMs podem se recuperar espontaneamente de um direcionamento desalinhado com a tarefa, produzindo reinicializações verbais explícitas e retornando à tarefa original, apesar de o vetor de direcionamento permanecer ativo.

Metodologia

Os autores empregam um protocolo experimental sistemático usando Autoencoders Esparsos (SAEs) para identificar direções de características interpretáveis para o direcionamento.

1. Configuração Experimental:

   • Modelos: Cinco modelos das famílias Llama-3 e Gemma-2 (variando de 2B a 70B de parâmetros).
   • Prompts: 38 prompts de nível de objeto "explique como" cobrindo diversos tópicos (matemática, negócios, habilidades domésticas).
   • Intervenção de Direcionamento: O modelo é direcionado para cada prompt usando um latente de SAE semanticamente não relacionado ao prompt (ex: aumentando um latente de "posições do corpo" enquanto pergunta sobre probabilidade). A força do direcionamento é calibrada para um "limiar" onde a primeira tentativa recebe uma pontuação baixa do juiz (~30/100), garantindo que a perturbação seja significativa, mas não incoerente.
   • Avaliação: Um modelo juiz (Claude 4.5 Haiku) segmenta as respostas em "tentativas" baseadas em marcadores verbais explícitos de reinicialização (ex: "Espere, isso não está certo"). Ele pontua cada tentativa quanto à relevância para o prompt original.

2. Principais Métricas:

   • Taxa de múltiplas tentativas: Porcentagem de respostas contendo ≥2 tentativas.
   • Taxa de melhoria condicional: Porcentagem de respostas de múltiplas tentativas onde a tentativa final pontua mais alto que a primeira.
   • Taxa ESR: O produto das duas taxas acima, representando a porcentagem de todas as respostas que conseguem se autocorrigir com sucesso.

3. Análise Mecanística:

   • Busca Contrastiva: Usada para identificar latentes de SAE que ativam diferencialmente entre pares de prompt-resposta correspondidos (no tópico) e embaralhados (fora do tópico).
   • Ablação: Latentes específicos identificados como "associados à autocorreção" foram zerados durante a inferência para testar a contribuição causal.
   • Controles:
     • Controle de Prefilling: Modelos não direcionados receberam prefixos fora do tópico extraídos de gerações direcionadas para testar se a recuperação é puramente condicionada ao texto.
     • Experimento de Prefixo Correspondente: Comparou o texto natural pós-correção contra prefixos no tópico de mesmo comprimento para isolar o efeito do condicionamento autorregressivo.
     • Ablação Aleatória: Controle para efeitos não específicos de desativar latentes ativos.

Contribuições Principais e Resultados

1. Caracterização Empírica de ESR

O estudo identifica um fenômeno denominado Resistência ao Direcionamento Endógeno (ESR): a capacidade do modelo de se recuperar de um direcionamento de ativação irrelevante.

• Dependência de Escala: Apenas o maior modelo testado, Llama-3.3-70B, exibiu ESR explícita substancial (taxa de 3,8%). Modelos menores (Llama-3.1-8B, variantes Gemma-2) mostraram taxas abaixo de 1%.
• Generalização: O ESR não é específico para direções derivadas de SAE; o direcionamento com vetores contrastivos derivados da Wikipedia no Llama-3.3-70B resultou em uma taxa de ESR comparável de 3,6%.

2. Decomposição de Detecção vs. Resistência

Os autores dissociam o evento de autocorreção em dois componentes:

• Detecção (Condicionada ao Texto): Um controle de prefilling mostrou que um modelo não direcionado, recebendo um prefixo fora do tópico, se autocorrige 7–13,5% das vezes com ~95% de sucesso. Isso sugere que o gatilho para reiniciar é amplamente condicionado ao texto (ler sua própria saída fora do tópico) em vez de exigir um monitor de estado interno da perturbação de direcionamento.
• Resistência (Sustentada): Um experimento de prefixo correspondente revelou que, embora o condicionamento autorregressivo em tokens recentes no tópico explique aproximadamente metade da qualidade pós-correção, o texto natural pós-correção sob direcionamento performa 2,1× melhor do que um prefixo no tópico genérico de mesmo comprimento. Isso indica um componente de "resistência sustentada" que não é totalmente explicado pelo simples condicionamento de texto.

3. Identificação Mecanística

• Identificação de Latentes: Através de busca contrastiva, 26 latentes de SAE foram identificados como associados à autocorreção.
• Ablação Causal: A ablação para zero desses 26 latentes reduziu a taxa de ESR em 27% (de 3,8% para 2,8%) e a taxa de múltiplas tentativas em 25%.
• Especificidade: A ablação de latentes aleatórios (pareados pela frequência de ativação) não reduziu o ESR, confirmando a especificidade do conjunto identificado.
• Dinâmicas Temporais: Traços de ativação mostram que esses latentes disparam 4,4× mais alto durante o conteúdo fora do tópico e declinam após o início da autocorreção, embora permaneçam elevados em relação à linha de base.

4. Melhoria Deliberada e Ajuste Fino

• Meta-Prompting: Instruir o modelo a "parar e forçar-se a voltar ao trilho" aumentou a taxa de múltiplas tentativas em 4,3× no Llama-3.3-70B (de 7,4% para 31,7%).
• Ajuste Fino (Fine-Tuning): Treinar o Llama-3.1-8B em exemplos sintéticos de autocorreção aumentou a taxa de tentativa, mas não melhorou a taxa de sucesso das correções. Isso sugere que, embora o padrão comportamental de reiniciar seja treinável, a capacidade subjacente para uma resistência sustentada eficaz pode não ser induzida apenas por essa receita de treinamento específica.

Significância e Implicações

O artigo postula que o ESR possui implicações duplas para a segurança e o alinhamento de IA:

1. Potencial Defensivo: O ESR pode endurecer os modelos contra manipulações adversariais no espaço de ativação, pois o modelo pode detectar e rejejar espontaneamente desvios fora do tópico induzidos por atacantes.
2. Interferência com Intervenções de Segurança: Inversamente, o ESR pode interferir em intervenções de segurança baseadas em direcionamento benéfico (ex: Intervenção em Tempo de Inferência ou Engenharia de Representação). Como o modelo não consegue distinguir entre perturbações adversariais e benéficas, ele pode resistir ao direcionamento alinhado com a segurança da mesma forma que resiste ao direcionamento adversarial.

Os autores concluem que, embora a detecção de desvio fora do tópico pareça amplamente condicionada ao texto, a resistência sustentada à perturbação envolve mecanismos que vão além do simples condicionamento autorregressivo, potencialmente envolvendo circuitos internos específicos que são sensíveis à escala do modelo e ao treinamento. O trabalho destaca uma lacuna na compreensão atual de como os modelos rastreiam a coerência de suas próprias saídas sob perturbação externa contínua.