Resumo Técnico: Gatilhos de Troca de Idioma Realizam um Desvio Latente em Modelos de Linguagem

Declaração do Problema

Ataques de backdoor em modelos de linguagem (LMs) representam uma ameaça significativa à segurança, onde um adversário injeta um gatilho oculto durante o treinamento ou ajuste fino. Embora o modelo se comporte normalmente em entradas limpas, a presença do gatilho faz com que ele produza saídas escolhidas pelo atacante. Apesar de extensa pesquisa sobre detecção e mitigação, os mecanismos internos pelos quais uma sequência de gatilho sequestra os cálculos do modelo permanecem pouco compreendidos. Os métodos existentes frequentemente tratam backdoors como componentes opacos, falhando em explicar como o gatilho é representado e processado dentro da arquitetura do modelo.

Para abordar isso, os autores requerem um ambiente de teste onde o gatilho seja totalmente caracterizado e o efeito downstream seja facilmente mensurável. Eles evitam as complexidades éticas e práticas de treinar modelos com gatilhos prejudiciais (por exemplo, linguagem tóxica ou código inseguro) utilizando o Gaperon-8B, um modelo de linguagem autoregressivo pré-treinado com um backdoor inofensivo e específico: um gatilho latino de 9 tokens que redireciona a saída em inglês para francês.

Metodologia

O estudo emprega um kit de ferramentas de análise de circuitos causais para mapear os cálculos internos do modelo sob condições de gatilho. A metodologia baseia-se em três ferramentas principais:

1. Correção de Ativação (Rastreamento Causal): Os autores realizam três passagens forward:

   • Limpa: Prefixo em inglês + sequência de gatilho $\rightarrow$ logits em francês.
   • Corrompida: Prefixo em inglês + gatilho corrompido (substituído por ruído ou palavras neutras) $\rightarrow$ logits em inglês.
   • Corrigida: Passagem corrompida com a ativação de um componente específico substituída pela ativação limpa.
     A contribuição causal de um componente é quantificada pela porcentagem de recuperação da diferença de logits (LD) entre os tokens indicadores em francês e inglês.

2. Sondas Lineares: Classificadores de regressão logística são treinados em cada camada para distinguir entre vetores do fluxo residual em francês e em inglês. Essas sondas traçam a trajetória da "identidade de idioma" através da rede.

3. Decomposição por Cabeça: As saídas de atenção são decompostas em contribuições de cabeças individuais para identificar componentes específicos responsáveis pelo sinal do gatilho.

A análise foca no gatilho em francês, pois o gatilho em alemão do modelo produziu resultados inconsistentes devido a dados de pré-treinamento em alemão insuficientes. O gatilho consiste em três palavras (9 tokens no total). Os autores investigam a especificidade da sequência testando tanto permutações ao nível de palavra quanto embaralhamento ao nível de token.

Principais Descobertas e Resultados

Os autores identificam um circuito de três fases subjacente ao backdoor de troca de idioma:

Fase 1: Composição do Gatilho (Camadas 3–7)

• Mecanismo: Cabeças de atenção distribuídas nas camadas 3 a 7 leem os tokens do gatilho ordenados e compõem uma representação do gatilho na última posição da sequência ($p_{-1}$).
• Distribuição: Nenhuma cabeça única domina; a contribuição máxima de qualquer cabeça única é de $\sim3\%$. As 10 principais cabeças coletivamente respondem por $\sim20–25\%$ do efeito total.
• Especificidade: O circuito é sensível à ordem dos tokens intra-palavra, mas largamente invariante à ordem em relação à ordem das palavras. O embaralhamento ao nível de token elimina o sinal, enquanto a permutação ao nível de palavra o preserva em grande parte. Isso sugere uma composição do tipo "saco de palavras" ao nível da palavra, onde tokens subpalavra são primeiro montados em representações de palavra antes de serem agregados.

Fase 2: Propagação Latente (Camadas 8–30)

• Mecanismo: O sinal do gatilho persiste no fluxo residual na posição $p_{-1}$ através das camadas médias e tardias sem computação construtiva de componentes individuais.
• Codificação Ortogonal: Uma descoberta crítica é que o sinal se propaga em um subespaço ortogonal à direção natural de identidade de idioma do modelo.
  • Sondas de idioma lineares, treinadas em texto francês natural, classificam a representação acionada como inglês (confiança $\approx 0$) ao longo das camadas médias a tardias.
  • Apesar de ser invisível a essas sondas, o sinal é causalmente necessário; a ablação da posição $p_{-1}$ em qualquer camada neste intervalo mitiga completamente o gatilho.
• Implicação: O sinal do gatilho carrega a informação necessária para produzir saída em francês, mas a codifica em uma representação que classificadores de idioma lineares não conseguem acessar.

Fase 3: Leitura (Camada 31)

• Mecanismo: O Perceptron de Camadas Múltiplas (MLP) na camada final (Camada 31) converte o sinal latente do gatilho em massa de logits em francês.
• Dominância: O MLP da Camada 31 responde por aproximadamente 63% do efeito causal total, tornando-o o componente principal de leitura.
• Convergência: Neste estágio, o sinal do gatilho converge com a direção natural de idioma e é processado indiscriminadamente pelo mesmo MLP usado para geração de linguagem natural.

O Gargalo Serial

Todo o circuito flui através de um gargalo serial em uma única posição: $p_{-1}$.

• Corromper o fluxo residual na posição $p_{-1}$ em qualquer camada (da composição à leitura) mitiga inteiramente o gatilho.
• Não há caminhos paralelos redundantes; o sinal reside exclusivamente em $p_{-1}$ na fase de leitura.

Robustez à Corrupção

Os autores validaram suas descobertas usando dois métodos de corrupção: ruído Gaussiano padrão e corrupção por palavra neutra (substituindo tokens do gatilho por embeddings de palavras comuns em inglês).

• Embora o ruído Gaussiano às vezes produzisse saídas degeneradas (inflando estimativas de recuperação de camadas iniciais), as afirmações estruturais (composição sigmoide, propagação ortogonal, domínio do MLP, gargalo serial) permaneceram invariantes em ambos os métodos de corrupção.

Significado e Alegações

O artigo alega fornecer a primeira dissecação detalhada em nível de circuito de um backdoor de troca de idioma, revelando um mecanismo novo sobre como gatilhos podem evadir a detecção:

1. Codificação Latente Ortogonal: A descoberta de que o sinal do gatilho viaja através da rede em um subespaço ortogonal à identidade natural de idioma é uma descoberta nova. Isso implica que defesas que dependem da busca por sinais "semelhantes a idiomas" em representações intermediárias (por exemplo, usando sondas lineares) perderiam este gatilho completamente, pois o sinal está causalmente presente, mas geometricamente invisível para tais detectores.
2. Dissecação de Circuitos de Backdoors: O estudo demonstra que comportamentos de backdoor plantados podem ser disseccionados usando o mesmo kit de ferramentas de análise de circuitos causais desenvolvido para computações aprendidas naturalmente.
3. Limitações das Defesas Atuais: As descobertas sugerem que as propriedades geométricas do espaço de representação exploradas por backdoors (especificamente o desvio ortogonal) não são atualmente monitoradas por métodos padrão de detecção.
4. Desafios de Mitigação: Embora o gargalo serial em $p_{-1}$ sugira um ponto de falha para o gatilho, corromper essa posição também prejudica as capacidades naturais do modelo, destacando a dificuldade de mitigar gatilhos sem degradar o desempenho do modelo.

Os autores concluem que, embora a estrutura específica de três fases tenha sido identificada em um modelo de 8 bilhões de parâmetros, a maquinaria de roteamento geral (composição distribuída, propagação latente e leitura) caracteriza uma classe de gatilhos que pode generalizar, embora as atribuições de camadas específicas e a dominância possam variar com a escala do modelo.