Resumo Técnico: Como os LLMs São Persuadidos: Alguns Cabeços de Atenção, Roteados

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) possuem uma vulnerabilidade crítica de segurança: podem ser persuadidos a abandonar o conhecimento factual em favor de informações incorretas quando apresentados a um contexto persuasivo. Embora estudos comportamentais tenham documentado altas taxas de "sycophância" (taxas de erro de 29–62% em domínios de alto risco) e a exploração comercial disso via Otimização de Motores Generativos (GEO), a causa mecânica interna dessa anulação permanece pouco compreendida. Defesas existentes, como engenharia de prompts ou ajuste fino, abordam sintomas e não causas raízes, deixando a vulnerabilidade subjacente intacta. Este artigo busca fornecer a primeira explicação em nível de circuito de como o texto persuasivo anula o conhecimento factual, indo além da falsidade estática para entender como a anulação é construída dinamicamente a partir da entrada.

Metodologia

Os autores empregam um quadro de interpretabilidade mecânica baseado no paradigma de Circuitos Transformer, utilizando correção de ativação e análise de representação em modelos Transformer apenas decodificadores (LLaMA-3, Qwen-3, Gemma-2, Gemma-3).

1. Configuração Experimental: O estudo utiliza um cenário controlado de múltipla escolha (NQ2 e Geo-Bench) onde os modelos respondem a perguntas factuais. Os prompts são construídos em pares: um prompt "limpo" e um prompt "persuasivo" contendo um segmento de texto (apelos lógicos, baseados em credibilidade ou emocionais) projetado para direcionar o modelo para uma opção incorreta específica.
2. Localização Causal (Correção de Ativação): Para identificar os componentes responsáveis pela persuasão, os autores realizam intervenções de intercâmbio. Eles substituem a atualização de um componente específico (cabeço de atenção ou MLP) em uma execução persuasiva pelo seu valor de uma execução limpa. Componentes com altas "pontuações de restauração" (revertendo o modelo para a resposta correta) são identificados como causalmente críticos.
3. Análise Geométrica: Os autores analisam as representações do fluxo residual usando Análise de Componentes Principais (PCA) para entender como as opções de resposta são codificadas. Eles examinam especificamente a geometria do subespaço de decisão antes e depois dos cabeços de atenção chave.
4. Rastreamento de Circuito: O estudo rastreia a cadeia causal da entrada à saída por meio de:
   • Decomposição dos cabeços de atenção em circuitos QK (consulta-chave) e OV (valor-saída).
   • Extração de um "recurso de roteamento de opção" de rank-1 via Decomposição em Valores Singulares (SVD) do circuito QK.
   • Uso de correção com "ruído" e "remoção de ruído" para localizar as camadas específicas que constroem esse recurso de roteamento a partir de palavras-chave persuasivas.

Contribuições e Descobertas Principais

1. Cabeços de Decisão Esparsos e Geometria Tetraédrica

O artigo identifica que a suscetibilidade à persuasão não é uma corrupção difusa da rede, mas está localizada em um conjunto muito pequeno de cabeços de atenção de camadas intermediárias (denominados "cabeços de decisão"). No modelo LLaMA-3, a Camada 17, Cabeço 24 (L17H24) é o principal motor.

• Geometria: Esses cabeços codificam as quatro opções de resposta como vértices distintos de um tetraedro de baixa dimensão (um subespaço 3D).
• Mecanismo: A persuasão não embaça a crença ou reduz gradualmente a confiança. Em vez disso, causa um salto latente discreto onde a representação se move do vértice correspondente à resposta correta para o vértice correspondente ao alvo da persuasão.

2. Roteamento, Não Raciocínio

Os autores demonstram que os cabeços de decisão não computam internamente nem raciocinam sobre evidências para determinar a resposta.

• Mecanismo de Cópia: O circuito OV do cabeço de decisão atua como um mecanismo de cópia fiel. Os tokens de opção já carregam um código de identidade discreto nas direções que o circuito OV pode ler. O cabeço simplesmente copia o token de opção para o qual ele direciona a atenção.
• Roteamento: Consequentemente, a persuasão funciona inteiramente por redirecionamento da atenção. Se a atenção for redirecionada para o token alvo da persuasão, o modelo produz a resposta errada.

3. O Recurso de Roteamento de Opção

O artigo isola um recurso específico, unidimensional (um vetor de rank-1 $u_k$) dentro do circuito QK do cabeço de decisão que governa a seleção de atenção.

• Controle Causal: Modificar esse recurso direciona diretamente a escolha do modelo. Adicionar o vetor de recurso aos tokens de opção aumenta sua probabilidade de seleção; removê-lo bloqueia a persuasão.
• Construção: Esse recurso de roteamento não está presente na entrada bruta. Ele é construído por uma faixa de cabeços de atenção mais rasos (Camadas 8–12) que leem palavras-chave persuasivas da entrada e escrevem o recurso sobre as representações dos tokens de opção.

4. Cadeia Causal de Ponta a Ponta

O estudo valida uma cadeia causal completa:

1. Entrada: Palavras-chave persuasivas são lidas por cabeços rasos (Camadas 8–12).
2. Construção de Recurso: Esses cabeços constroem o recurso de roteamento de opção ($u_k$) nos tokens de opção.
3. Roteamento: O cabeço de decisão (ex: L17H24) lê esse recurso através de seu circuito QK, redirecionando a atenção para o alvo da persuasão.
4. Saída: O circuito OV copia o token alvo, resultando em um salto discreto para o vértice errado no tetraedro de decisão.

5. Generalização para o Mundo Real (GEO)

O mecanismo não se limita a benchmarks sintéticos. Os autores mostram que os mesmos cabeços de decisão e estruturas geométricas governam o comportamento do modelo em cenários de Otimização de Motores Generativos (GEO), onde conteúdo da web recuperado é estrategicamente envenenado para sequestrar as saídas de LLMs. O circuito identificado em configurações controladas transfere-se diretamente para esses cenários realistas de envenenamento.

Significado e Alegações

O artigo reenquadra a persuasão de LLMs de uma falha comportamental para um circuito estreito e monitorável.

• Compreensão Mecanística: Fornece uma conta precisa de onde e como a anulação ocorre, identificando componentes específicos (alguns cabeços de atenção e um recurso 1D) em vez de tratar o modelo como uma caixa preta.
• Potencial Defensivo: Ao isolar o caminho específico, os autores sugerem que monitores de tempo de execução direcionados poderiam detectar a persuasão em andamento, e intervenções poderiam neutralizar o caminho específico sem reentrenar o modelo.
• Limitações: Os autores afirmam explicitamente que suas descobertas são derivadas de configurações controladas de múltipla escolha. Permanece uma questão em aberto se esse circuito exato governa a geração de forma livre. Além disso, embora o mecanismo seja caracterizado, o artigo não avalia defesas específicas construídas com base nessas descobertas.

Em resumo, o artigo argumenta que a persuasão é um ataque de "roteamento" em um recurso específico de baixa dimensão dentro do fluxo residual do modelo, controlado por um conjunto pequeno e identificável de cabeços de atenção, tornando a vulnerabilidade estruturalmente distinta de erros de conhecimento estáticos.