Resumo Técnico: Além da Taxa de Sucesso do Ataque: Observabilidade Temporal de Logits para Falhas de Segurança em LLMs

Declaração do Problema

A avaliação de segurança atual para Grandes Modelos de Linguagem (LLMs) alinhados depende predominantemente da Taxa de Sucesso do Ataque (ASR). A ASR fornece um julgamento binário, em nível de resultado (sucesso/fracasso), calculado ao final da geração. Embora operacionalmente atraente, essa métrica trata o processo de decodificação como uma caixa preta, descartando a trajetória em nível de token pela qual um modelo chega à sua resposta final.

O artigo argumenta que a ASR é estruturalmente limitada: ataques distintos contra o mesmo prompt prejudicial podem gerar respostas finais idênticas (e, portanto, rótulos de ASR idênticos), apesar de seguirem processos internos fundamentalmente diferentes. Por exemplo, uma recusa pode ser brevemente acionada e suprimida, emergir tarde demais para prevenir danos ou nunca ser acionada. Como a ASR colapsa essas dinâmicas temporais distintas em um único número, ela falha em distinguir entre pares modelo–ataque que exigem estratégias defensivas diferentes. Além disso, os métodos existentes para recuperar essa estrutura oculta (por exemplo, sondas de estado oculto) exigem acesso às ativações do modelo, o que frequentemente não está disponível em cenários reais de auditoria.

Metodologia: Observabilidade Temporal de Logits (TLO)

Os autores propõem a Observabilidade Temporal de Logits (TLO), um protocolo de diagnóstico sem treinamento que reconstrói as dinâmicas temporais de falhas de segurança usando apenas logits, sem acesso a estados ocultos ou pesos do modelo.

Componentes Principais

1. Pontuação de Margem de Logit (LMS):
   A TLO mede o equilíbrio entre conformidade e recusa em cada etapa de decodificação $t$ usando um léxico fixo em inglês de tokens de conformidade ($L_{cmp}$) e tokens de recusa ($L_{ref}$).
   $$S_t = \mu_{cmp}(t) - \mu_{ref}(t)$$
   Onde $\mu$ representa a pontuação média de logits dos top-$k$ tokens dentro do léxico respectivo. $S_t$ positivo indica domínio da conformidade; $S_t$ negativo indica domínio da recusa.

2. Resumos Temporais:
   O protocolo extrai duas observações principais da trajetória LMS $S_{0:T}$:

   • Pré-geração ($S_0$): A margem de logits na posição final do prompt antes que qualquer token de resposta seja gerado.
   • Tempo de geração ($\bar{S}$): A margem média de logits sobre a sequência gerada (com variantes para janelas iniciais, por exemplo, $\bar{S}_{1:5}$).
   • Tempo de Ativação ($t_{cross}$): A primeira etapa em que a trajetória cruza para o domínio da recusa ($S_t < 0$).

3. Calibração de Posição Relativa (RP):
   Para tornar as observáveis comparáveis entre diferentes modelos, ataques e formatos de prompt, a TLO calibra sinais brutos de logits contra distribuições de referência.
   $$RP(M) = \frac{M_{sucesso} - M_{prejudicial}}{M_{benigno} - M_{prejudicial}}$$
   Onde $M$ representa a média da métrica (por exemplo, $S_0$ ou $\bar{S}$) sobre ataques bem-sucedidos, todas as amostras prejudiciais e referências benignas formatadas como ataque.

   • $RP = 0$ indica comportamento semelhante à âncora prejudicial.
   • $RP = 1$ indica comportamento semelhante à âncora benigna.
   • Valores fora de $[0, 1]$ são relatados como inversões observadas.

4. O Plano RP:
   Cada condição modelo–ataque é mapeada para uma coordenada 2D $c = (RPA, RPB)$, onde $RPA$ é a posição calibrada pré-geração e $RPB$ é a posição calibrada no tempo de geração. A distância euclidiana entre condições ($D_{RP}$) quantifica a separação temporal das falhas de segurança.

Contribuições Principais

1. Coordenadas Temporais Calibradas a partir de Logits: O artigo introduz o sistema de coordenadas do plano RP, que resume a trajetória LMS em um espaço 2D calibrado. Este design é complementar à ASR: o deslocamento RP é limitado por $(1-ASR)$, o que significa que ele carrega o sinal primário em condições de ASR média, onde a ASR sozinha é menos informativa sobre por que um ataque teve sucesso.
2. Recuperação de Interações Invisíveis: A TLO revela que condições com ASR quase idêntica ocupam locais distintos no plano RP. A mesma família de ataques produz assinaturas temporais diferentes entre modelos, e o mesmo modelo lida com diferentes ataques por meio de mecanismos temporais distintos.
3. Alinhamento com Estados Ocultos: A trajetória baseada em logits alinha-se com direções de recusa de estado oculto em 10 de 12 condições modelo–ataque testadas, validando que os sinais de logits observáveis carregam informações relevantes para a segurança, apesar da falta de acesso às ativações.
4. Intervenção no Tempo de Decodificação: Uma regra simples de parada antecipada derivada do sinal temporal (interromper a geração se $t_{cross} > 5$) reduz a ASR agregada de 39,6% para 13,1% sem gerar falsos alarmes em consultas benignas simples.

Resultados Experimentais

Os autores avaliaram a TLO em uma grade de quatro LLMs alinhados (Llama, Mistral, Qwen, Gemma) e três paradigmas de jailbreak (MCM, GCG, DeepInception), usando 60 prompts prejudiciais por condição.

• Diferenciação de Vizinhos de ASR: Ataques com ASR quase idêntica (por exemplo, Llama+DI em 55,0% vs. Qwen+DI em 58,3%) foram separados por uma distância calibrada de $D_{RP} = 0,572$. Ainda mais impressionante, Llama+DI (55,0%) e Mistral+GCG (56,7%) separaram-se por $D_{RP} = 1,014$, demonstrando que o plano RP captura diferenças estruturais invisíveis à ASR.
• Separação Temporal: Jailbreaks bem-sucedidos tipicamente atrasaram ou evitaram a transição para o domínio da recusa, enquanto jailbreaks falhados cruzaram para o domínio da recusa cedo (frequentemente dentro dos primeiros 5 tokens). A trajetória separou os resultados com um $d$ de Cohen > 1,0 e uma ROC-AUC de 0,771–0,784.
• Alinhamento com Estado Oculto: A correlação entre a margem de logits ($S_t$) e as projeções de recusa de estado oculto foi forte para Llama ($|\rho| \ge 0,70$) e moderada para Mistral e Gemma. O Qwen mostrou um limite específico do modelo onde o sinal esperado se inverteu para alguns ataques, destacando os limites de uma abordagem de léxico fixo para certas arquiteturas.
• Eficácia da Intervenção: A aplicação de uma regra uniforme de parada antecipada baseada em $t_{cross}$ reduziu a ASR agregada em 26,5 pontos percentuais. A intervenção foi mais eficaz em condições de "Viés de Geração Nula" (NGB) (onde a geometria RP é por design não informativa), sugerindo que, quando os sinais temporais são fracos, o sinal bruto de ASR domina e a parada uniforme é eficaz.
• Robustez: Os resultados permaneceram estáveis através de aleatoriedade de decodificação, perturbações de léxico e critérios de cruzamento mais rigorosos. O método exigiu logits completos ou log-probabilidades de tokens de léxico-alvo; saídas top-$k$ padrão (por exemplo, $k=20$) foram insuficientes.

Significado e Alegações

O artigo posiciona a TLO não como um substituto para a ASR, mas como uma camada de diagnóstico necessária que torna observáveis o "quando e como" das falhas de segurança.

• Lacuna de Observabilidade: Os autores afirmam que a avaliação de segurança deve relatar o desenrolar de uma falha, não apenas sua ocorrência. A TLO fornece o primeiro método para observar essas dinâmicas temporais usando apenas logits padrão, uma capacidade anteriormente restrita àqueles com acesso a estados ocultos.
• Complementaridade: O plano RP é projetado para ser mais informativo exatamente onde a ASR é menos informativa (condições de ASR média). Ele expõe a heterogeneidade das interações modelo–ataque que as métricas de resultado colapsam.
• Monitoramento Acionável: O estudo demonstra que a geometria calibrada de logits pode impulsionar um monitoramento eficaz no tempo de decodificação (parada antecipada) sem ajuste específico para ataques, reduzindo significativamente jailbreaks bem-sucedidos enquanto mantém zero falsos positivos em consultas benignas sem formato.
• Limitações: Os autores observam explicitamente que a TLO é observacional, não causal; ela identifica quando a evidência de segurança aparece, mas não identifica os circuitos neurais subjacentes. O método é atualmente mais aplicável à auditoria em inglês com pesos abertos, pois depende de um léxico fixo em inglês e acesso completo a logits, o que pode não estar disponível em ambientes restritos por API.