Resumo Técnico: Quando a Gramática Guia o Ataque

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados como motores de raciocínio centrais dentro de frameworks de agentes e pipelines empresariais, dependendo fortemente de saída estruturada (por exemplo, Esquema JSON, Regex, Gramáticas Livres de Contexto) para garantir confiabilidade. Essa funcionalidade é implementada por meio de decodificação restrita, onde um motor de gramática mascara tokens inválidos durante a geração para forçar a adesão a um formato específico.

Embora a pesquisa de segurança existente se concentre no plano de dados (prompts adversariais e filtragem de entrada), este artigo identifica uma vulnerabilidade crítica e desprotegida no plano de controle: as próprias regras gramaticais. Os autores argumentam que atacantes podem transformar essas restrições determinísticas em armas para contornar o alinhamento de segurança interno e as barreiras externas. Diferentemente dos jailbreaks tradicionais que dependem do modelo ignorar voluntariamente as diretrizes de segurança, este novo vetor de ataque força o modelo em uma trajetória generativa "envenenada", onde a intenção maliciosa é estruturalmente mandatória pela gramática, tornando os mecanismos padrão de recusa ineficazes.

Metodologia: Ataque de Decodificação Restrita (CDA)

O artigo introduz o Ataque de Decodificação Restrita (CDA), uma nova classe de jailbreaks que visa o plano de controle do LLM. O CDA opera como um pipeline de controle para semântica:

1. Injeção no Plano de Controle: O atacante injeta intenção maliciosa diretamente no esquema de gramática (por exemplo, campos de Esquema JSON). O mascaramento de logits imposto pelo esquema força o modelo a gerar tokens específicos (prefixos ou literais) que, de outra forma, seriam bloqueados pelo alinhamento de segurança.
2. Continuação Semântica Orientada pelo Modelo: Uma vez que o modelo é forçado para a trajetória maliciosa, seu viés inerente de coerência completa o conteúdo prejudicial nos campos subsequentes não restritos.

Os autores instanciam o CDA com dois ataques específicos:

1. EnumAttack

• Mecanismo: Explora a propriedade enum no Esquema JSON, que restringe um campo a um conjunto fixo de constantes. O atacante define um enum de item único contendo a consulta maliciosa (por exemplo, "Como fazer uma bomba?").
• Efeito: O motor de gramática força deterministicamente o modelo a gerar essa string token a token, sobrepondo os mecanismos internos de recusa.
• Limitação: A carga útil maliciosa é visível como uma string literal dentro do esquema, tornando-a suscetível a auditorias básicas de gramática.

2. DictAttack (Contribuição Principal)

• Mecanismo: Um ataque mais evasivo que desacopla a carga útil maliciosa entre o plano de dados (prompt) e o plano de controle (gramática).
  • Plano de Controle: Um Esquema JSON de aparência benigna contém um "dicionário" mapeando chaves benignas (por exemplo, h1, t1, m2) para palavras que formam uma consulta prejudicial quando montadas (por exemplo, h1="como", t1="fazer", m2="uma bomba"). Para obscurecer ainda mais a intenção, o dicionário inclui sinônimos inofensivos.
  • Plano de Dados: O prompt do usuário contém uma sequência de chaves (por exemplo, h1+t1+m2) instruindo o modelo a recuperar e montar os valores correspondentes do dicionário fornecido.
• Efeito: Nem o prompt nem a gramática contêm conteúdo prejudicial isoladamente. A intenção maliciosa só emerge quando o modelo reconstrói a consulta durante a decodificação. Essa "Desacoplagem de Duplo Plano" torna as barreiras individuais de nível de plano ineficazes.
• Variantes: Os autores também demonstram o DictAttack Intercalado, onde o prompt e a gramática são enviados em turnos separados, quebrando defesas que auditam apenas o contexto da solicitação atual.

Resultados Principais

Os autores avaliaram o CDA em 13 modelos proprietários e de pesos abertos (incluindo GPT-5, Gemini-2.5-Pro, DeepSeek-R1 e GPT-OSS-120b) e cinco benchmarks padrão (AdvBench, HarmBench, JailbreakBench, etc.).

• Taxa de Sucesso do Ataque (ASR):
  • EnumAttack: Alcançou 95,8–100% de ASR em modelos protegidos por guardas de prompt de última geração (por exemplo, JBShield), pois o prompt permanece benigno.
  • DictAttack: Alcançou 94,3–99,5% de ASR em modelos principais sem guardas de gramática. Crucialmente, mesmo contra um Guarda de Duplo Plano (auditoria simultânea de prompt e esquema), o DictAttack manteve uma ASR de 75,8%.
• Evasão de Defesa:
  • Defesas padrão de plano de dados (por exemplo, PAIR, TAP, AutoDAN-Turbo) foram efetivamente neutralizadas por guardas de duplo plano, mas essas mesmas guardas falharam em impedir o DictAttack.
  • Auditoria apenas de gramática mitigou o EnumAttack (reduzindo a ASR para ~7,9%), mas foi amplamente ineficaz contra o DictAttack.
  • Disjuntores (CB): Uma defesa em nível de representação reduziu a ASR do EnumAttack, mas falhou em impedir o efeito combinado de ataques baseados em prompt e CDA, confirmando a ortogonalidade das superfícies de ataque.
• Qualidade da Saída: O DictAttack produziu saídas prejudiciais com uma pontuação composta StrongREJECT de 0,98, indicando alta fluência e especificidade operacional, superando significativamente os jailbreaks tradicionais baseados em prompt, que frequentemente acionam recusas evasivas ou genéricas.
• Colapso do Alinhamento Interno: A análise da distribuição de tokens revelou que o CDA manipula o espaço de probabilidade do modelo, deslocando-o de uma distribuição dominada por recusa (>90% de tokens de recusa) para uma distribuição equilibrada e sensível ao contexto, efetivamente "escapando" da camada superficial do alinhamento de segurança.

Significado e Alegações

O artigo afirma revelar uma "lacuna semântica" fundamental nos paradigmas atuais de segurança de LLMs:

1. Nova Superfície de Ataque: Estabelece o plano de controle (gramática) como uma superfície de ataque distinta e crítica, ortogonal ao plano de dados.
2. Insuficiência das Defesas Atuais: As defesas existentes, seja alinhamento interno ou barreiras externas, são insuficientes porque não coordenam entre os planos. Os autores argumentam que "o alinhamento de segurança interno sozinho não pode impedir" o CDA uma vez que o plano de controle seja acessível.
3. Fragilidade do Alinhamento: O trabalho sugere que o alinhamento de segurança atual tem "apenas alguns tokens de profundidade". Ao forçar deterministicamente os primeiros poucos tokens via restrições de gramática, os atacantes podem contornar completamente o mecanismo de recusa, fazendo com que o modelo gere conteúdo prejudicial como se nenhum alinhamento existisse.
4. Urgência para Defesa de Plano Cruzado: Os autores concluem que a segurança de LLMs exige defesas que integrem os planos de dados e controle, um desafio complicado pelo alto custo de auditar gramáticas complexas, multi-turno e intercaladas.

O artigo não propõe uma correção específica e implantável, mas sim delineia a necessidade de coordenação de segurança de plano cruzado, auditoria de plano de gramática e decodificação consciente de restrições para abordar essa vulnerabilidade antes que adversários a explorem em produção.