Triggers Hijack Language Circuits: A Mechanistic Analysis of Backdoor Behaviors in Large Language Models

Resumo Técnico: Análise Mecanística de Comportamentos de Backdoor em Modelos de Linguagem Grandes

1. O Problema

Ataques de backdoor (porta dos fundos) representam um risco de segurança significativo para Modelos de Linguagem Grandes (LLMs). Nesses ataques, sequências específicas de triggers (gatilhos) são injetadas durante o treinamento para induzir comportamentos direcionados durante a inferência.

• A Lacuna de Conhecimento: Embora os métodos de detecção e ataque sejam estudados, os mecanismos internos de como esses triggers operam dentro do modelo permanecem pouco compreendidos.
• A Questão Central: Os triggers criam circuitos isolados e independentes dentro da arquitetura do modelo, ou eles sequestram (hijack) os componentes linguísticos já existentes do modelo?
• Contexto do Estudo: O trabalho utiliza a família de modelos GAPperon (1B, 8B e 24B parâmetros), que foram pré-treinados com triggers de troca de linguagem (uma sequência de três palavras em latim que força a mudança da saída de inglês para francês ou alemão). Este é o primeiro conjunto de modelos em escala onde backdoors "inofensivos" foram introduzidos diretamente no pré-treinamento, oferecendo um ambiente controlado ideal para análise.

2. Metodologia

Os autores aplicaram técnicas de interpretabilidade mecanística, especificamente o Patching de Ativação (Activation Patching), para rastrear o fluxo de informação e identificar os componentes responsáveis pelo comportamento do backdoor.

• Configuração Experimental:

  • Modelos: GAPperon nas escalas de 1B, 8B e 24B parâmetros.
  • Triggers: Sequências reais vs. triggers falsos (controles contrafactuais com o mesmo comprimento e estrutura, mas sem a informação do gatilho).
  • Dados: 1.000 passagens em inglês do FineWeb-Edu, traduzidas para francês, alemão, italiano e espanhol para criar cenários de comparação entre troca de linguagem natural e induzida por trigger.

• Protocolo de Patching de Ativação:

  • A técnica substitui as ativações de um componente (cabeça de atenção ou camada) em uma entrada "corrompida" (com trigger falso ou contexto em inglês) pelas ativações de uma entrada "limpa" (com trigger real ou contexto no idioma alvo).
  • A métrica utilizada é a diferença na probabilidade de log do primeiro token da continuação ($\Delta_l$). Um $\Delta_l$ alto indica que o componente carrega informações cruciais sobre a diferença entre as entradas.

• Experimentos Realizados:

  1. Identificação de Cabeças de Gatilho (Exp. 1): Patching cabeça a cabeça para encontrar quais cabeças de atenção respondem à presença do trigger.
  2. Identificação de Cabeças de Linguagem Natural (Exp. 2): Patching para identificar quais cabeças codificam naturalmente a identidade do idioma de saída (sem triggers).
  3. Localização da Formação do Gatilho (Exp. 3): Patching camada a camada para determinar em qual profundidade do modelo a informação do trigger se consolida.

3. Principais Contribuições

1. Análise Mecanística de Triggers de Troca de Linguagem: Primeiro estudo a localizar a formação da informação do trigger nas camadas iniciais (7,5% a 25% da profundidade do modelo).
2. Evidência de Mecanismo Comum: Demonstração de que cabeças ativadas por triggers são compartilhadas entre francês e alemão, sugerindo um mecanismo de processamento unificado.
3. Generalização Multi-Escala: Confirmação de que o comportamento injetado co-opta a circuitaria existente do modelo em todas as escalas testadas (1B, 8B, 24B), indicando robustez do fenômeno.

4. Resultados Chave

• Circuitos de Linguagem Compartilhados:

  • O modelo utiliza um conjunto compartilhado de "cabeças de linguagem" para representar diferentes idiomas de saída (francês, alemão, italiano, espanhol), em vez de circuitos dedicados para cada idioma.
  • O índice de Jaccard entre as top 10 cabeças para diferentes pares de idiomas variou de 0,33 a 0,66, confirmando uma sobreposição substancial.

• Sequestro de Circuitos Existentes (Hijacking):

  • Descoberta Central: As cabeças ativadas pelos triggers sobrepõem-se significativamente às cabeças que naturalmente codificam o idioma de saída.
  • Os índices de Jaccard entre cabeças de trigger e cabeças de linguagem variaram de 0,18 a 0,66 (dependendo do modelo e idioma), muito acima da linha de base aleatória (próxima de zero).
  • Conclusão: Os backdoors não formam circuitos isolados; eles co-optam os componentes linguísticos existentes do modelo.

• Localização Temporal (Camadas Iniciais):

  • A informação do trigger consolida-se muito cedo no processo de forward pass.
  • Para a maioria dos modelos, a representação do trigger está totalmente formada entre 7,5% e 25% da profundidade do modelo (no último token do trigger).
  • Após essa consolidação inicial, a informação propaga-se pelas camadas subsequentes para influenciar a distribuição de saída.

5. Significado e Implicações

• Para a Defesa de Backdoors:

  • Detecção: Métodos de detecção podem se beneficiar ao monitorar componentes funcionais conhecidos (como as cabeças de linguagem) em busca de padrões de ativação anômalos, em vez de tentar procurar circuitos "ocultos" ou isolados.
  • Mitigação: Estratégias de mitigação podem explorar o fato de que o comportamento injetado e o comportamento natural estão emaranhados. Por exemplo, a ablação ou modificação das cabeças identificadas poderia neutralizar o backdoor, embora isso também possa afetar a capacidade linguística natural do modelo.

• Para a Interpretabilidade:

  • O estudo sugere um princípio geral: comportamentos de alto nível induzidos por backdoors (como troca de linguagem) são limitados a operar através das representações que o modelo já possui, em vez de criar novos caminhos independentes.

• Limitações:

  • O estudo focou apenas em triggers de troca de linguagem no modelo GAPperon. Outros tipos de backdoors (ex: mudança de sentimento, geração de conteúdo prejudicial) podem operar através de mecanismos diferentes.
  • A generalização para arquiteturas de modelos diferentes ou métodos de injeção de triggers ainda não foi testada.

Em suma, o trabalho revela que a segurança dos LLMs é comprometida não pela criação de "ilhas" de comportamento malicioso, mas pela exploração vulnerável da própria circuitaria linguística fundamental do modelo.