Mechanistic Steering of LLMs Reveals Layer-wise Feature Vulnerabilities in Adversarial Settings

Resumo Técnico: Direcionamento Mecanístico de LLMs Revela Vulnerabilidades de Recursos por Camada em Cenários Adversários

1. O Problema

Embora os Grandes Modelos de Linguagem (LLMs) passem por processos de alinhamento de segurança, eles ainda são vulneráveis a ataques de jailbreak (que forçam o modelo a gerar conteúdo nocivo). A maioria das pesquisas atuais foca na eficácia de ataques baseados em prompts (como GCG ou TAP), mas falha em explicar o mecanismo interno que causa a transição de um comportamento seguro para um inseguro. O problema central abordado é: a vulnerabilidade ao jailbreak é impulsionada por características (features) internas identificáveis ou apenas pelo texto do prompt?

2. Metodologia

Os autores propõem um pipeline de três estágios aplicado ao modelo Gemma-2-2B, utilizando o conjunto de dados BeaverTails. A metodologia utiliza Autoencoders Esparsos (SAEs) para decompor as representações latentes em recursos interpretáveis.

• Estágio 1: Extração de Conceitos e Tokens:

  • Utilizam o modelo Grok para extrair descrições de conceitos baseadas em sentimentos negativos das respostas inseguras.
  • Usam um gerador de subespaços para criar representações vetoriais desses conceitos.
  • Identificam tokens no fluxo residual (especificamente na camada 20) que possuem alta similaridade de cosseno com esses conceitos de "negatividade".

• Estágio 2: Identificação de Subgrupos de Recursos (Features):
  Os autores aplicam três estratégias de agrupamento para identificar quais recursos dos SAEs são responsáveis pelo comportamento nocivo:

  1. Cluster-based steering (Agrupamento): Realiza agrupamento aglomerativo para encontrar recursos que pertencem ao mesmo cluster que os recursos mais ativos na camada 20.
  2. Hierarchical linkage-based steering (Ligação Hierárquica): Foca na hierarquia de proximidade entre os recursos, priorizando aqueles que estão mais intimamente ligados aos recursos-chave.
  3. Single-token-driven steering (Direcionamento por Token Único): Foca no token individual com maior similaridade ao conceito e nos seus dois recursos mais ativos em cada camada.

• Estágio 3: Direcionamento (Steering) e Avaliação:

  • O modelo é "direcionado" através da amplificação dos top-3 recursos identificados em cada subgrupo.
  • A eficácia é medida comparando a resposta original (baseline) com a resposta direcionada, utilizando um "LLM-judge" para atribuir uma nota de nocividade de 1 a 5.

3. Principais Contribuições

• Localização de Vulnerabilidades: O estudo identifica que a vulnerabilidade ao jailbreak não é distribuída uniformemente, mas está localizada em subgrupos de recursos em camadas específicas.
• Metodologia de Interpretabilidade Mecanística: Propõe um método para conectar conceitos semânticos de alto nível (como "violência" ou "crime financeiro") a ativações de recursos esparsos em camadas profundas do modelo.
• Validação de Estratégias de Agrupamento: Demonstra que diferentes métodos de agrupamento de recursos podem ser usados para manipular o comportamento do modelo, com o método de "token único" mostrando-se particularmente potente.

4. Resultados

• Vulnerabilidade por Camada: Em todos os três métodos, as camadas intermediárias e finais (camadas 16 a 25) mostraram-se significativamente mais vulneráveis ao direcionamento. Isso confirma que as camadas mais profundas codificam recursos de alto nível que são mais suscetíveis a perturbações direcionadas.
• Eficácia do Direcionamento: O método Single-token-driven obteve o maior impacto, conseguindo aumentar a nocividade de prompts em categorias como "violência e incitação" de forma mais concentrada.
• Consistência: Mesmo com critérios mais conservadores (como no método de ligação hierárquica), as camadas 12–25 produziram consistentemente respostas mais nocivas do que o baseline.

5. Significância

Este trabalho é fundamental para a segurança da IA pois sugere uma mudança de paradigma: em vez de focar apenas em defesas baseadas em prompts (que são heurísticas e superficiais), a comunidade de segurança deve focar em intervenções no nível de recursos (feature-level interventions). Ao entender quais subgrupos de neurônios/recursos ativam comportamentos perigosos em camadas específicas, é possível desenvolver métodos de defesa mais robustos e principísticos, atacando a raiz mecânica da vulnerabilidade do modelo.