Resumo Técnico: Geometry-Lite: Sondagem de Segurança Interpretável via Geometria de Margem por Camada

Definição do Problema

À medida que os modelos de linguagem de grande escala (LLMs) são implantados em larga escala, a detecção de nocividade ao nível do prompt tornou-se um componente crítico de segurança. Embora sondas baseadas em estados ocultos, utilizando classificadores lineares em instantâneos de camadas únicas (tipicamente o último token do prompt), sejam baselines padrão, elas dependem da premissa de que uma única camada é suficiente para resumir sinais relevantes para a segurança. Essa premissa merece reexame por duas razões:

1. Casos Limítrofes: O desempenho agregado em benchmarks padrão frequentemente obscurece o comportamento em prompts ambíguos, que são críticos para sistemas de segurança operando com baixas taxas de falsos positivos.
2. Generalização Fora de Distribuição (OOD): Modelos que performam bem em divisões de benchmark podem depender de características de atalho que falham ao transferir. Trabalhos recentes indicam que sondas de segurança baseadas em ativação sofrem degradação substancial sob avaliação cruzada entre conjuntos de dados.

A questão central de pesquisa não é meramente se múltiplas camadas ajudam, mas que forma de evidência multi-camada permanece útil em regimes críticos para a decisão (baixas taxas de falsos positivos) e sob deslocamentos de benchmark. Especificamente, os autores investigam se o sinal de segurança está distribuído entre as camadas, impulsionado pelo movimento entre camadas (deslocamento), ou definido pela posição persistente de um perfil de margem em relação aos limites de segurança.

Metodologia: Geometry-Lite

Os autores introduzem o Geometry-Lite, uma sonda compacta ao nível do prompt projetada para decompor sinais de segurança multi-camada ao longo de eixos geométricos rotulados. O método opera em três etapas:

1. Redução de Margem por Camada

Para cada camada de transformador $\ell$, o estado oculto $D$-dimensional do último token do prompt, $h^{(\ell)}(x)$, é reduzido a uma margem escalar com sinal usando três leituras geométricas complementares:

• Distância ao Centróide: A diferença na distância euclidiana até as médias condicionais à classe ($\mu^+$ para seguro, $\mu^-$ para inseguro).
  $$m^{cent}_\ell(h) = \|h - \mu^-_\ell\|_2 - \|h - \mu^+_\ell\|_2$$
• Vizinhança Local k-NN: A diferença na distância média de cosseno até os $k$ vizinhos mais próximos nos pools de treinamento seguro e inseguro. Esta é a única leitura não linear.
  $$m^{knn}_\ell(h) = \bar{c}^-_k(h) - \bar{c}^+_k(h)$$
• Limite Linear Supervisionado: Um limite de regressão logística regularizado L2 ajustado por camada em características padronizadas, gerando uma pontuação com sinal.
  $$m^{lin}_\ell(h) = w^\top_\ell z + b_\ell$$

Este processo converte a trajetória do estado oculto $H(x) \in \mathbb{R}^{L \times D}$ em três trajetórias de margem escalar $m^G(x) \in \mathbb{R}^L$ (onde $G \in \{cent, knn, lin\}$).

2. Sumarização de Perfil via Eixos Nomeados

Cada perfil de margem é sumarizado ao longo de três eixos nomeados para separar formas distintas de sinal por camada:

• Nível de Margem: Captura a posição persistente do limite (por exemplo, margens de ponto final, valores extremos, ocupação do lado negativo e área).
• Mudança entre Camadas: Isola o movimento local via diferenças finitas ($\Delta m_\ell = m_{\ell+1} - m_\ell$), separando o movimento da posição absoluta.
• Forma Estrutural: Captura propriedades grosseiras do perfil (por exemplo, primeiro cruzamento de limite, variabilidade da mudança, comprimento total do caminho e consistência direcional).

Estes eixos geram um vetor de características de 39 dimensões $\phi(x)$ (13 características por geometria).

3. Classificação

O vetor de 39 dimensões é alimentado em um classificador de regressão logística regularizado L2. A contagem de parâmetros é independente do tamanho do modelo base e da dimensão oculta.

Baselines e Comparações

O estudo compara o Geometry-Lite contra:

• Sondas de camada única: Melhor camada selecionada via validação.
• MultiLayer-DIM: Agrega projeções na direção da diferença de médias entre camadas.
• MultiLayer-Linear: Agrega pontuações lineares supervisionadas brutas entre camadas.
• TaT-Disp-LSTM: Uma baseline baseada em trajetória que modela deslocamentos entre camadas com um LSTM.

Contribuições Principais

1. Sonda Geometry-Lite: Uma sonda compacta e interpretável que converte estados ocultos por camada em perfis de margem com sinal sob três leituras geométricas e os sumariza ao longo de eixos nomeados (posição do limite, mudança e forma).
2. Decomposição de Evidência Multi-Camada: O framework desentrelaça três explicações de sinais multi-camada: agregação através de camadas informativas, posição de margem relativa ao limite e movimento explícito entre camadas.
3. Descobertas Empíricas:
   • Concentração de Sinal: A evidência de segurança é expressa principalmente através de geometria de posição de limite persistente (nível de margem e ocupação). O movimento entre camadas (deriva) contribui minimamente para o AUROC agregado.
   • Utilidade da Deriva: Embora a deriva adicione pouco ao AUROC agrupado, ela fornece correções esparsas e orientadas ao recall sob limiares deslocados de baixa FPR.
   • Compromisso de Estabilidade de Leitura: Limites lineares otimizados são mais nítidos dentro da distribuição, enquanto a geometria de média condicional à classe (centróide/DIM) retém a separação de forma mais confiável sob deslocamentos de benchmark (protocolo LOBO).

Resultados Experimentais

A avaliação abrange nove backbones ajustados por instrução (famílias Llama, Gemma, Qwen; 1,2B–70B) e sete benchmarks de segurança (XSTest, WildJailbreak, JBB-Behaviors, DoNotAnswer, BeaverTails, PKU-SafeRLHF, ToxicChat).

• Desempenho Dentro da Distribuição: Geometry-Lite (AUROC 0,955) e MultiLayer-Linear (0,954) superam a melhor sonda de camada única (0,941) e superam significativamente o MultiLayer-DIM (0,911) e o TaT-Disp-LSTM (0,945). Geometry-Lite iguala a empilhamento de pontuações brutas enquanto oferece interpretabilidade.
• Regimes Críticos para Decisão: Em baixas taxas de falsos positivos (3% e 5% FPR), a vantagem multi-camada é mais pronunciada. Geometry-Lite melhora a Taxa de Verdadeiros Positivos (TPR) em ~0,06–0,08 sobre a melhor sonda de camada única em 5% FPR.
• Generalização (LOBO): Sob avaliação Leave-One-Benchmark-Out, a lacuna de desempenho entre métodos lineares supervisionados e métodos de média de classe (MultiLayer-DIM) estreita. MultiLayer-DIM (0,889) iguala MultiLayer-Linear (0,889) e supera a melhor sonda de camada única (0,842) em muitas células.
• Ablação de Características:
  • Características de magnitude sozinhas igualam o modelo completo de 39 características dentro de 0,001–0,002 AUROC.
  • Características estruturais e características de Neg-drift sozinhas são significativamente mais fracas.
  • Ablação de Leitura: Dentro da distribuição, o limite linear supervisionado é o mais forte. Sob deslocamentos difíceis de benchmark, a leitura de centróide torna-se o ramo único mais estável, superando limites lineares nos subconjuntos retidos mais difíceis.

Significado e Alegações

O artigo afirma que a evidência de segurança ao nível do prompt não é primariamente um sinal de movimento entre camadas, mas uma geometria de margem por camada persistente. Os componentes úteis deste sinal são a posição da margem em relação aos limites de segurança e sua persistência através das camadas.

O estudo destaca um compromisso crítico na sondagem de segurança:

• Limites otimizados (classificadores lineares) capturam forte separação dentro da distribuição, mas degradam sob deslocamento de distribuição.
• Geometria de média de classe (centróides/DIM) é menos nítida dentro da distribuição, mas mais robusta a deslocamentos de benchmark.

Consequentemente, os autores argumentam que sondas de segurança multi-camada devem ser avaliadas não apenas pelo AUROC dentro da distribuição, mas também por quais vieses geométricos transferem sob deslocamento. Geometry-Lite serve como uma ferramenta para tornar esses componentes e vieses visíveis, particularmente em regimes críticos para a decisão onde falsos positivos são custosos.

Limitações: O estudo limita-se a resumos de margem desenhados manualmente, prompts de segurança de turno único e rótulos de segurança binários. Trabalhos futuros poderiam explorar funcionais de perfil aprendidos, monitoramento multi-turno e aplicações a outras tarefas ao nível do prompt.