The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams

Título: A Geometria da Intenção Prejudicial: Detecção de Anomalias sem Treinamento via Desvio Angular em Fluxos Residuais de LLMs

1. O Problema

A detecção de prompts prejudiciais (harmful prompts) antes da geração de resposta é um pré-requisito crítico para a implantação segura de Grandes Modelos de Linguagem (LLMs). As abordagens existentes apresentam limitações significativas:

• Filtros no espaço de entrada: Baseados em perplexidade, são eficazes contra ataques de sufixo adversarial, mas falham em "jailbreaks" semanticamente fluentes.
• Classificadores supervisionados: Requerem grandes conjuntos de dados curados de pares (seguro/prejudicial) e re-treinamento específico para cada modelo, o que é custoso e pouco escalável.
• Engenharia de Representação: Métodos anteriores que extraem direções lineares de segurança dependem de exemplos prejudiciais ou manipulações de prompts para definir a geometria de referência.

O artigo questiona se a distribuição segura (normativa) por si só pode definir uma geometria de referência da qual prompts prejudiciais se desviam de forma detectável, sem a necessidade de exemplos maliciosos para treinamento.

2. Metodologia: LatentBiopsy

O authors propõem o LatentBiopsy, um detector de anomalias training-free (sem treinamento) e zero-shot que opera analisando a geometria dos fluxos residuais (residual streams) do modelo.

• Construção da Referência Normativa:

  • Utiliza apenas 200 prompts seguros (da base Alpaca-Cleaned) para construir uma referência.
  • Extrai os vetores de ativação do último token em uma camada específica do fluxo residual.
  • Calcula o Primeiro Componente Principal (PC1) dessas ativações seguras, definindo-o como o vetor de referência $c$.

• Métrica de Desvio Angular ($\theta$):

  • Em vez de usar distância euclidiana (que confunde intensidade do conceito com identidade semântica), o método mede o ângulo $\theta$ entre a ativação de um prompt de teste e o vetor de referência $c$.
  • $\theta(x) = \arccos\left(\frac{f_\ell(x) \cdot c}{\|f_\ell(x)\|}\right)$.
  • Isso isola a orientação semântica da magnitude da ativação.

• Pontuação de Anomalia:

  • A distribuição dos ângulos $\theta$ dos prompts normativos é ajustada a uma distribuição Gaussiana univariada $N(\mu_0, \sigma_0^2)$.
  • A pontuação de anomalia $s(x)$ é a negativa da verossimilhança logarítmica (negative log-likelihood) do ângulo do prompt de teste sob essa distribuição.
  • Crucial: A pontuação é simétrica. Ela penaliza desvios tanto para "dentro" quanto para "fora" do anel normativo, sem precisar saber a priori se os prompts prejudiciais estão alinhados ou anti-alinhados com o PC1.

• Eficiência: O método adiciona uma sobrecarga de sub-milissegundos por consulta, pois envolve apenas produtos escalares e cálculos gaussianos simples.

3. Contribuições Principais

1. Detector Angular sem Treinamento: O LatentBiopsy constrói uma referência exclusivamente a partir de dados seguros e detecta intenções prejudiciais sem qualquer dado malicioso no processo de ajuste.
2. Geometria Sobrevive à Ablação de Recusa: O método funciona eficazmente em modelos "abliterados" (onde a direção de recusa foi removida matematicamente via ortogonalização), provando que a representação geométrica da intenção prejudicial é dissociada do mecanismo de geração de recusa.
3. Descoberta de Orientações de Anéis Opostas: Em famílias de modelos diferentes (Qwen3.5-0.8B vs. Qwen2.5-0.5B), os prompts prejudiciais ocupam posições opostas em relação ao PC1 (anel externo vs. anel interno). O método de pontuação simétrica lida com isso automaticamente, tornando-o robusto a variações arquitetônicas.
4. Compactidade Quase-Degenerada: Prompts prejudiciais formam um cluster angular extremamente compacto ($\sigma_\theta \approx 0.03$ rad), uma ordem de magnitude mais estreito que a distribuição normativa, permitindo detecção precisa com apenas uma direção de referência ($K=1$).

4. Resultados Experimentais

Os autores avaliaram dois conjuntos de modelos (Qwen3.5-0.8B e Qwen2.5-0.5B), cada um com três variantes: Base, Instruído (Chat) e Abliterado (sem capacidade de recusa).

• Desempenho de Detecção:

  • Harmful vs. Normativo (h/n): AUROC $\ge 0.937$ em todas as variantes, incluindo os modelos abliterados.
  • Harmful vs. Benigno-Agressivo (h/b - XSTest): AUROC = 1.000 em todos os casos. O método separa perfeitamente intenções maliciosas de prompts agressivos mas benignos.
  • Robustez à Ablação: Modelos abliterados tiveram desempenho indistinguível de seus pares instruídos (diferença de AUROC < 0.005), confirmando que a geometria da intenção prejudicial persiste mesmo quando o modelo é forçado a não recusar.

• Análise Geométrica:

  • Qwen3.5-0.8B: Prompts prejudiciais estão no "anel externo" (maior desvio angular do PC1).
  • Qwen2.5-0.5B: Prompts prejudiciais estão no "anel interno" (maior alinhamento com o PC1).
  • A simetria da pontuação de anomalia permite que o detector funcione perfeitamente em ambos os cenários sem conhecimento prévio da arquitetura.

• Eficiência Computacional:

  • O ajuste da referência (200 prompts) leva menos de 3 segundos.
  • A pontuação de anomalia por consulta adiciona apenas ~0.43 ms de sobrecarga em uma GPU RTX 3070.

5. Significado e Implicações

• Dissociação Geométrica: A descoberta mais impactante é que a representação da intenção prejudicial é geometricamente distinta e independente do mecanismo de recusa. Remover a capacidade de um modelo de dizer "não" não apaga o sinal latente de que a intenção é prejudicial. Isso implica que um detector externo pode identificar riscos mesmo em modelos que foram "quebrados" para ignorar seus filtros de segurança.
• Segurança Pré-Alignment: O fato de os modelos "Base" (pré-treinamento) apresentarem geometria de detecção tão boa quanto os modelos "Instruídos" sugere que a estrutura geométrica da intenção prejudicial é estabelecida durante o pré-treinamento, não sendo um subproduto do ajuste de alinhamento (RLHF).
• Defesa e Ataque:
  • Defesa: Oferece uma ferramenta de verificação transparente e agnóstica ao modelo para auditoria de segurança.
  • Ataque/Adversário: Um adversário que tenta abliterar um modelo para contornar filtros de segurança não elimina a evidência geométrica da intenção prejudicial, tornando o modelo ainda detectável por ferramentas externas.
• Limitações e Futuro: A compactidade extrema dos prompts prejudiciais pode ser um artefato do conjunto de dados (AdvBench) e precisa ser validada em datasets mais diversos (como JailbreakBench). Além disso, a robustez contra ataques adversariais projetados especificamente para minimizar o desvio angular ainda não foi testada.

Em resumo, o LatentBiopsy demonstra que a "assinatura" geométrica de intenções maliciosas é robusta, universal e detectável apenas através da análise de dados seguros, oferecendo uma nova perspectiva fundamental sobre como a segurança é codificada em LLMs.