Strengthening Polymorphic Prompt Assembling: Dynamic Separator Generation Against Emerging Prompt Injection Attacks

Resumo Técnico: Fortalecendo a Montagem de Prompts Polimórficos via Geração Dinâmica de Separadores

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) são cada vez mais vulneráveis a ataques de injeção de prompt, onde entradas adversárias sobrepõem as instruções do sistema. Embora a Montagem de Prompt Polimórfico (PPA) ofereça uma defesa robusta ao randomizar os pares de separadores (ex: tokens BEGIN/END) usados para delimitar a entrada do usuário das instruções do sistema, sua implementação atual depende de um pool estático de separadores pré-gerados.

Os autores identificam uma vulnerabilidade arquitetural crítica nesta abordagem estática: o raio de explosão do vazamento de separadores. Se um atacante conseguir extrair um separador da resposta de um modelo, esse delimitador específico permanece válido para todas as solicitações futuras porque é extraído de um pool fixo e reutilizável. Isso permite que adversários reutilizem separadores vazados para criar payloads de bypass direcionados em interações subsequentes, comprometendo a segurança de longo prazo do sistema.

Metodologia

Para abordar a limitação do pool estático, o artigo propõe a Geração Dinâmica de Separadores, um mecanismo que substitui a seleção de pool por derivação criptográfica por solicitação.

• Mecanismo de Geração: Em vez de selecionar de uma lista fixa, o sistema gera um par de canários (BEGIN, END) único para cada solicitação. Esses pares são derivados de digestões SHA-256 com separação de domínio chaveadas em três entradas dinâmicas:
  1. Um timestamp de resolução de nanossegundos (ts).
  2. Um identificador de sessão UUIDv4 (sid).
  3. Um nonce criptográfico de 16 bytes (nonce).
• Construção: Os separadores são formatados como ====BEGIN-{24 caracteres hexadecimais}==== e ====END-{24 caracteres hexadecimais}====. O prefixo de domínio (BEGIN: vs END:) evita colisões, e a truncagem para 24 caracteres hexadecimais (96 bits) garante uma probabilidade de colisão inferior a $2^{-96}$.
• Integração: A solução é implementada como uma extensão retrocompatível ao SDK de PPA existente. Ela introduz um parâmetro separator_mode (static | dynamic) e não requer ajuste fino (fine-tuning) do modelo. O DynamicSeparatorProvider callable garante que um novo par seja gerado a cada invocação, mesmo dentro da mesma sessão, devido à mudança no timestamp e no nonce.

Principais Contribuições

1. Gerador Dinâmico: Um gerador de canários por solicitação, provadamente único, integrado ao framework PPA sem quebrar a retrocompatibilidade.
2. Harness de Avaliação: Um framework de teste que suporta 16 payloads de ataque nomeados, incluindo ataques pós-publicação (M1, M2) e uma família "salad" de injeções de formatação/distração, utilizando classificadores baseados em marcadores e em LLM.
3. Evidência Empírica: Dados quantitativos demonstrando que a geração dinâmica reduz significativamente as Taxas de Sucesso de Ataque (ASR) e elimina vetores de vazamento de separadores que o modo estático não consegue mitigar.

Resultados Experimentais

O sistema foi avaliado contra o Llama-3.3-70B-Instruct-Turbo (primário) e DeepSeek-V4-Flash (validação entre modelos) usando 16 payloads distintos.

• Payload de Obscurecimento M1 (Leetspeak + Urgência):
  • Modo Estático: ASR = 0,88.
  • Modo Dinâmico: ASR = 0,38.
  • Significância: Uma redução de 2,3× no sucesso do ataque. Os intervalos de confiança de Wilson de 95% para o estático [0,802, 0,930] e dinâmico [0,291, 0,478] não se sobrepõem, confirmando significância estatística em $N=100$.
• Salad de Quebra de Formato (Format Breakout):
  • Modo Estático: taxa de vazamento de separador = 0,467 (atacantes ecoaram o separador com sucesso).
  • Modo Dinâmico: taxa de vazamento = 0,000.
  • Significância: Canários dinâmicos eliminaram o vetor de vazamento inteiramente porque os padrões injetados não podiam corresponder aos separadores únicos e específicos de cada solicitação.
• Sobrescrita Cognitiva (M2):
  • ASR reduzido de 0,09 (estático) para 0,00 (dinâmico).
• Validação entre Modelos: No DeepSeek-V4-Flash, o modo dinâmico reduziu o ASR de 0,45 para 0,38, embora os intervalos de confiança se sobreponham, sugerindo que o benefício escala com a suscetibilidade do modelo base.
• Overhead de Desempenho: A geração dinâmica adiciona apenas 2,7 µs de overhead por solicitação, o que é insignificante comparado às latências típicas de inferência de LLM (>500 ms).
• Impacto na Qualidade: A avaliação em 100 solicitações benignas através de cinco categorias de tarefas mostrou nenhuma degradação na qualidade da resposta (média do Dynamic PPA: 5,00 vs. Baseline: 4,96).

Significância e Limitações

O artigo afirma que a geração dinâmica de separadores altera fundamentalmente o modelo de ameaça ao limitar o raio de explosão de qualquer vazamento potencial. Um separador vazado torna-se inútil para solicitações futuras porque é, por construção, restrito àquela solicitação específica.

No entanto, os autores mantêm uma postura modesta quanto ao escopo desta defesa:

• Não é uma Solução Definitiva: A geração dinâmica não impede a divulgação inicial de um separador se o modelo for explicitamente instruído a repetir as fronteiras (ex: separator_echo_salad alcançou uma taxa de vazamento de 1,00 em ambos os modos). Os autores observam que mitigar isso requer um filtro de saída ao nível da resposta, o que está fora do escopo atual do estudo.
• Fortalecimento Criptográfico: A implementação atual utiliza SHA-256 sem chave. Os autores reconhecem que, se um atacante obtiver acesso ao ID da sessão, timestamp e nonce (ex: via logs), ele poderá reproduzir o separador. Eles recomendam o uso de HMAC-SHA256 com um segredo do lado do servidor para implantações de produção para evitar isso.
• Dependência do Modelo: A eficácia da abordagem dinâmica parece escalar com a suscetibilidade base do modelo subjacente, como evidenciado pela redução não significativa no DeepSeek-V4-Flash em comparação ao Llama-3.

Em conclusão, o artigo apresenta um upgrade arquitetural leve e retrocompatível que neutraliza efetivamente a vulnerabilidade de "reuso de pool" do PPA estático, reduzindo significativamente as taxas de sucesso de ataque contra payloads de injeção sofisticados, mantendo um overhead de latência desprezível.