Prompt-Activation Duality: Improving Activation Steering via Attention-Level Interventions

Resumo Técnico: Dualidade Prompt–Ativação

Problema: Contaminação do KV-Cache em Direcionamento Multi-turno
O direcionamento de ativação, uma técnica que injeta direções comportamentais nas representações internas de um modelo de linguagem no momento da inferência, demonstrou ser eficaz para gerações de turno único. No entanto, este artigo identifica um modo de falha crítico quando aplicado a diálogos multi-turno com estado: contaminação do KV-cache.

O direcionamento padrão do fluxo residual adiciona um vetor de perturbação fixo aos estados ocultos do modelo em cada etapa de decodificação. Na geração autoregressiva, esses estados direcionados são armazenados no cache de Chave-Valor (KV) e reutilizados pelas camadas de atenção subsequentes. Os autores demonstram que isso cria um efeito cumulativo de degradação: perturbações locais de direcionamento são repetidamente reescritas no cache e atendidas por tokens futuros. Ao longo de múltiplos turnos, isso leva a um colapso severo da coerência (por exemplo, repetição, incoerência ou conteúdo fora do tópico), mesmo quando a expressão inicial do traço é forte. O artigo argumenta que, embora o controle baseado em prompt permaneça estável porque segue caminhos que o modelo foi treinado para integrar, a injeção direta no fluxo residual contorna esses caminhos, fazendo com que o modelo perca sua capacidade de gerar texto coerente em horizontes longos.

Metodologia: Atenção-Delta Recortada com Portão (GCAD)
Para abordar isso, os autores propõem a Atenção-Delta Recortada com Portão (GCAD), uma intervenção no momento da inferência que desloca o sinal de direcionamento do fluxo residual para o mecanismo de atenção. O método fundamenta-se em uma decomposição do vetor de persona, que revela que o sinal de direcionamento é uma mistura de sinais de traço mediados por prompt e ruído dependente da resposta. A GCAD isola o sinal de traço através de três princípios de design específicos:

1. Extração no Nível de Atenção (P1): Em vez de extrair direções de direcionamento do fluxo residual pós-MLP, a GCAD as extrai da saída da autoatenção. Os autores postulam que o caminho da atenção é o canal primário através do qual prompts do sistema influenciam a geração, tornando-o um portador mais fiel de sinais de traço do que o caminho MLP.
2. Sinal Recortado (P2): A atenção padrão soma contribuições de todos os tokens de origem (prompt do sistema + entrada do usuário + tokens gerados anteriormente). A GCAD "recorta" essa soma durante a extração para incluir apenas as posições dos tokens do prompt do sistema. Ao excluir contribuições de tokens de resposta gerados, o método impede que o sinal de direcionamento seja contaminado pelos próprios estados que ele tenta controlar, evitando assim a acumulação de estados perturbados no KV-cache.
3. Portão no Nível de Token (P3): Em vez de aplicar um coeficiente de direcionamento constante a cada token, a GCAD emprega um portão dependente do token. Este portão calcula a compatibilidade entre a consulta do token atual e a chave média do prompt do sistema. O direcionamento é concentrado em tokens altamente compatíveis com o prompt (onde o modelo naturalmente precisa de orientação) e atenuado em tokens que já estão alinhados com a persona. Isso imita o padrão de projeção esparsa observado no prompting natural, onde apenas tokens semânticos específicos carregam o sinal de traço, em vez de deslocar uniformemente todas as representações.

Principais Contribuições

• Identificação do Modo de Falha: O artigo isola a contaminação do KV-cache como uma causa primária de degradação da coerência no direcionamento de ativação multi-turno, distinguindo-a de limitações simples de comprimento de contexto.
• Estrutura GCAD: A introdução de um método de direcionamento que opera no nível de atenção, recorta sinais para o prompt do sistema e aplica portão no nível de token.
• Validação Empírica: Experimentos extensivos em 15 traços de persona (incluindo traços alinhados ao RLHF, opostos ao RLHF e neutros) nos modelos Qwen2.5-7B e Llama-3.1-8B.

Resultados
Experimentos em um benchmark de diálogo de 10 turnos demonstram que a GCAD supera significativamente o direcionamento padrão do fluxo residual:

• Preservação da Coerência: Na média de 15 traços, a GCAD reduz o desvio de coerência (mudança do Turno 1 ao Turno 10) de −18,6 (direcionamento padrão) para −1,9. Em contraste, o direcionamento padrão frequentemente faz com que as pontuações de coerência caiam para perto de zero no Turno 5 ou 10 para traços como "Impolido" ou "Humorístico".
• Estabilidade do Traço: A GCAD mantém ou melhora a expressão do traço ao longo de horizontes longos. A expressão do traço no Turno 10 aumenta de 78,0 (padrão) para 93,1 (GCAD), com a pontuação média de expressão do traço subindo de 81,5 para 91,8.
• Estudos de Ablação: Remover o componente de recorte (P2) ou o componente de portão (P3) leva ao retorno da degradação da coerência ou à expressão instável do traço, confirmando que ambos os mecanismos são necessários para prevenir a acumulação dependente da resposta e para corresponder à esparsidade do prompting natural.

Significado
O artigo afirma que o direcionamento de ativação torna-se mais confiável quando as intervenções seguem os caminhos computacionais mediados por prompt que os modelos já utilizam para controle comportamental. Ao alinhar o local da intervenção (saída de atenção) e a fonte do sinal (contribuições do prompt do sistema) com o processamento nativo do modelo de instruções, a GCAD alcança uma "dualidade prompt-ativação". Esta abordagem permite o controle preciso do comportamento do modelo sem sacrificar a coerência de longo horizonte necessária para aplicações práticas de diálogo multi-turno. O trabalho sugere que a futura engenharia de representações deve priorizar intervenções que respeitem o estado autoregressivo e os caminhos específicos através dos quais os prompts influenciam a geração.