Resumo Técnico: Detecção de Prompts Adversariais Baseados em Otimização Fluente Através de Mudanças de Entropia Sequencial

1. Declaração do Problema

Os Modelos de Linguagem de Grande Porte (LLMs) permanecem vulneráveis a sufixos adversariais baseados em otimização. Diferentemente de jailbreaks criados manualmente por humanos, esses ataques (por exemplo, GCG, AutoDAN, AdvPrompter) são gerados automaticamente para coagir modelos alinhados a violarem políticas de segurança, mantendo alta fluência.

As defesas existentes enfrentam duas limitações primárias:

1. Detectores Estatísticos (Baseados em Perplexidade): Métodos que dependem de perplexidade global (PP) ou perplexidade em janela (WPP) assumem que tokens adversariais são estatisticamente improváveis ou desfluídos. No entanto, ataques modernos otimizam explicitamente para baixa perplexidade e naturalidade, frequentemente mantendo a PP global dentro da faixa de prompts benignos, tornando esses detectores ineficazes.
2. Classificadores de Segurança (Modelos Guard): Modelos como o LLaMA Guard oferecem detecção semântica robusta, mas introduzem latência significativa, sobrecarga de memória e complexidade de serviço. Além disso, operam no nível do prompt e não conseguem localizar onde um sufixo adversarial começa dentro do fluxo de entrada.

O desafio central é detectar e localizar esses sufixos fluídos baseados em otimização em tempo real, sem depender de limiares estáticos de perplexidade ou modelos auxiliares caros.

2. Metodologia: CPD Online

Os autores propõem o CPD Online, um detector leve e sem treinamento que enquadra a detecção de sufixos adversariais como um problema de detecção online de pontos de mudança (CPD) sobre o fluxo de entropia de próximo token em nível de token.

Mecanismo Central

O método opera na observação de que, enquanto entradas de usuários benignos compartilham uma distribuição de entropia semelhante ao prompt do sistema, sufixos adversariais baseados em otimização induzem uma mudança persistente no fluxo de entropia de tokens, mesmo quando a perplexidade global permanece discreta.

O pipeline de detecção consiste em três etapas:

1. Estimativa de Linha de Base Robusta:
   • O prompt do sistema fixo é usado para estabelecer uma linha de base de entropia específica para a implantação.
   • A mediana ($\hat{\mu}_0$) e o Desvio Absoluto Mediano ($\hat{\sigma}_0$) das entropias de tokens do prompt do sistema são calculados para definir uma localização e escala robustas.
2. Padronização:
   • As entropias de tokens do usuário ($H^{usr}_t$) são padronizadas contra a linha de base: $Z_t = (H^{usr}_t - \hat{\mu}_0) / \hat{\sigma}_0$.
   • Sob condições benignas, $Z_t$ flutua próximo de zero. Um sufixo adversarial induz um deslocamento positivo sustentado na média de $Z_t$.
3. Teste CUSUM de Page Unilateral:
   • Uma estatística CUSUM de Page unilateral clássica ($W^+_t$) é aplicada ao fluxo padronizado para detectar deslocamentos de média persistentes:
     $$W^+_t = \max\{0, W^+_{t-1} + Z_t - k\}$$
     onde $k \ge 0$ é um parâmetro de "folga" (configuração canônica $k=0$).
   • Um alarme é disparado no tempo de parada $\tau$ quando $W^+_t$ excede um limiar $h$.
   • Localização: O início do sufixo ($\hat{\nu}$) é estimado por retrocesso até o último ponto de reinicialização onde $W^+_t = 0$ antes do alarme.

Características Operacionais

• Agnóstico ao Modelo: Requer apenas acesso às probabilidades de próximo token em nível de token (ou logits) do modelo base.
• Sem Treinamento: Não é necessário treinamento adicional ou redes auxiliares.
• Online e Baixa Sobrecarga: Executa sequencialmente durante a passagem forward com complexidade $O(1)$ por token e footprint de memória negligenciável.
• Comutação Híbrida: Pode atuar como um comutador leve para filtrar tráfego benigno antes de invocar classificadores de segurança caros como o LLaMA Guard.

3. Contribuições Principais

1. Formulação: O artigo formula a detecção de sufixos adversariais como um problema de detecção online de pontos de mudança em fluxos de entropia em nível de token, demonstrando que deslocamentos de entropia são um sinal mais robusto do que a perplexidade estática para ataques fluídos.
2. Algoritmo: A instanciação do CPD Online como um detector CUSUM de Page unilateral utilizando estatísticas MAD fundamentadas no prompt do sistema. É leve, não requer treinamento e utiliza quantidades disponíveis em passagens forward padrão.
3. Desempenho Empírico: Em um benchmark de 1.012 ataques baseados em otimização (abrangendo GCG, AutoDAN, AdvPrompter, BEAST, AutoDAN-HGA) e 1.012 prompts benignos correspondentes em perplexidade, o CPD Online superou consistentemente as melhores linhas de base de perplexidade em janela (WPP) em seis modelos de chat de pesos abertos (LLaMA-2, Vicuna, Qwen2.5).
4. Localização: Diferentemente do WPP, que frequentemente dispara em janelas que atravessam o limite do sufixo, o CPD concentra 79,6% de seus disparos dentro do sufixo adversarial, fornecendo localização precisa em nível de token.
5. Eficiência: Quando usado como comutador para o LLaMA Guard, o CPD reduz as chamadas ao guard em 17–22% (até 42,2% em testes de estresse de alto volume) enquanto preserva a qualidade da detecção.

4. Resultados Experimentais

A avaliação foi conduzida em seis LLMs base (LLaMA-2-7B/13B, Vicuna-7B/13B, Qwen2.5-7B/14B) usando um benchmark correspondente em perplexidade ($\alpha=1$), onde prompts benignos são amostrados para corresponder à distribuição de perplexidade de ataques otimizados para fluência.

• Precisão de Detecção (F1): O CPD Online alcançou as maiores pontuações F1 em todos os seis modelos.
  • Exemplo (LLaMA-2-7B): O CPD atingiu F1 0,82 e AUROC 0,88, comparado à melhor linha de base WPP (WPP15) em F1 0,74 e AUROC 0,77. A perplexidade global (PP) performou perto do acaso aleatório (AUROC ~0,46).
• Precisão de Localização:
  • O CPD disparou dentro do sufixo 79,6% das vezes.
  • As linhas de base WPP dispararam dentro do sufixo apenas 17–46% das vezes, com significativo "espalhamento de limite" (disparos na categoria before+in) e alto vazamento para regiões benignas (in-benign).
• Robustez a Deslocamentos de Perplexidade: Em testes de estresse onde prompts benignos foram deslocados para maior perplexidade ($\alpha=2, 3$), o CPD manteve ou melhorou o desempenho, enquanto o WPP degradou significativamente (AUROC caiu de 0,81 para 0,67 em $\alpha=3$).
• Comutação Híbrida: Em um cenário de implantação com 17.297 prompts (majoritariamente benignos), a comutação por CPD reduziu as chamadas ao LLaMA Guard em 42,2% (para LG1) e 33,8% (para LG2) enquanto mantinha a pontuação F1 híbrida.

5. Significado e Alegações

O artigo alega ser o primeiro trabalho a aplicar detecção online de pontos de mudança dentro de uma única solicitação (fluxo de tokens do sistema + usuário) em nível de token para detectar e localizar sufixos adversariais em LLMs implantados.

Significado:

• Além de Heurísticas Estáticas: Demonstra que a dinâmica de entropia sequencial, e não valores absolutos de perplexidade, é a característica distintiva de ataques baseados em otimização.
• Implantação Prática: Por ser sem treinamento e agnóstico ao modelo, oferece uma solução viável para monitoramento em tempo real sem o custo computacional de executar um segundo LLM (Guard) em cada solicitação.
• Precisão: A capacidade de localizar o início exato de um ataque permite estratégias de mitigação direcionadas, em vez de rejeição blunt de todo o prompt.

Limitações Reconhecidas:

• O método depende de probabilidades em nível de token, que podem não estar disponíveis em configurações de API fechada.
• Assume um prompt do sistema fixo para calibração da linha de base; deslocamentos de distribuição fortes no tráfego benigno poderiam exigir recalibração.
• O modelo de ameaça está atualmente restrito a sufixos baseados em otimização anexados a prompts de usuário, não a ataques de prefixo ou injeção indireta de prompt.

Os autores concluem que este trabalho encoraja a exploração adicional de ferramentas estatísticas sequenciais e dinâmicas de incerteza interna como sinais ricos para segurança de LLMs.