Semantic-Preserving Prompt Hijacking: A Black-Box Adversarial Attack on Auto-Prompt Optimization

Resumo Técnico: Sequestro de Prompt Preservando a Semântica via Busca Local Gananciosa Adaptativa

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) integram cada vez mais módulos de Otimização Automática de Prompt (APO), que reescrevem a entrada do usuário antes de gerar uma resposta para aumentar a transparência e a usabilidade (ex: Microsoft Bing Copilot, Claude.ai). Embora esses módulos visem construir confiança ao revelar modificações, seu mecanismo de selecionar autonomamente o "melhor" candidato entre múltiplas alternativas cria uma nova superfície de ataque. Os autores identificam que atacantes podem sequestrar esse processo de otimização induzindo desvios semânticos sutis e imperceptíveis na entrada. O desafio central é elaborar entradas adversárias que mantenham uma alta similaridade semântica com o texto original (para parecerem legítimas ao otimizador) enquanto fazem com que o LLM alvo produza uma saída significativamente diferente e enganosa. Métodos adversários de caixa preta existentes frequentemente falham nesse contexto específico porque carecem da adaptabilidade dinâmica necessária para navegar em restrições semânticas estritas dentro de pipelines de otimização de múltiplos estágios.

Metodologia: Busca Local Gananciosa Adaptativa (AGLS)
O artigo propõe a Busca Local Gananciosa Adaptativa (AGLS), um framework de ataque de caixa preta projetado para explorar otimizadores de pistas visíveis. O método opera sob a restrição de que a similaridade semântica $S(t, t')$ entre a entrada original $t$ e a entrada adversária $t'$ deve exceder um limiar $\sigma$, enquanto garante que a saída do modelo mude ($O(t) \neq O(t')$).

O framework AGLS procede através das seguintes etapas:

1. Decomposição de Entrada e Checkpointing: A entrada de texto é segmentada em cláusulas hierárquicas baseadas em pontuação e sintaxe. O fim de cada cláusula serve como um "checkpoint" ($t_i$).
2. Ajuste Dinâmico de Candidatos: Em cada checkpoint, o sistema calcula a similaridade semântica entre o prefixo original e o prefixo adversário parcialmente gerado usando uma métrica de similaridade baseada em BERT. Um limiar dinâmico guia a seleção de palavras candidatas de substituição:
   • Se a similaridade for muito baixa, a busca se desloca para candidatos que aumentem a similaridade.
   • Se a similaridade for muito alta (desvio insuficiente), a busca se desloca para candidatos que aumentem o desvio.
   • Este loop de feedback permite que o ataque equilibre a preservação semântica com a maximização do desvio comportamental.
3. Geração de Tokens Mascarados: Unidades linguísticas fundamentais (verbos, substantivos plurais) são mascaradas e substituídas usando um modelo de linguagem mascarado (BERT). Os top-$k$ candidatos são classificados, e o token final é selecionado com base nas regras adaptativas descritas acima.
4. Reconstrução Iterativa: O processo se repete incrementalmente, atualizando o contexto após cada substituição até que todas as posições mascaradas sejam preenchidas, resultando no exemplo adversário final.

A justificação teórica é fornecida ao enquadrar o ataque como um problema de decisão local sequencial em vez de uma otimização global, aproximando o ótimo global através de decisões locais enquanto evita o acúmulo de deriva semântica via feedback em tempo real.

Principais Contribuições

1. Identificação de uma Nova Superfície de Ataque: Os autores formalizam a vulnerabilidade introduzida por módulos de otimização de prompt visíveis em LLMs de nível de produção, onde o mecanismo de seleção pode ser sequestrado via deriva semântica.
2. Proposta do AGLS: Um novo método de ataque de caixa preta que equilibra dinamicamente a preservação semântica e a eficácia do ataque através de uma busca baseada em checkpoints adaptativos, evitando o "viés de compromisso precoce" comum em métodos de busca de feixe (beam search) estáticos.
3. Validação Empírica: Experimentos extensos em modelos comerciais (GPT-4, GPT-4o) e de código aberto (Llama-3, Qwen-2.5, Gemma-2) em quatro conjuntos de dados diversos (GSM8K, Math QA, SQuAD, Strategy QA).

Resultados Experimentais
O artigo avalia o AGLS em mais de 2.400 casos de teste. As principais descobertas incluem:

• Taxa de Sucesso de Ataque (ASR) Superior: Sob restrições de similaridade semântica idênticas, o AGLS supera consistentemente outros métodos de estado da arte (incluindo TextFooler, BERT-Attack, G2PIA e BeamAttack). Por exemplo, no conjunto de dados Math, o AGLS alcançou um ASR de 60,61%, superando o segundo melhor método em 6,79 pontos percentuais.
• Desempenho em Diversas Tarefas: O método atinge um alto ASR (frequentemente >60%) em tarefas de raciocínio numérico (GSM8K, Math QA), com alguns modelos mostrando ASR de até 89,47%. O desempenho é ligeiramente inferior em tarefas de QA textual (SQuAD, Strategy QA), atribuído à natureza distribuída do raciocínio factual, mas ainda permanece competitivo.
• Eficiência: O tempo médio de geração varia de 0,17s a 2,49s, demonstrando viabilidade para ataques interativos de tempo quase real.
• Estudos de Ablação: Os resultados confirmam que o mecanismo de ajuste dinâmico de candidatos é crítico; estratégias de seleção estáticas resultam em ASR significativamente menor (ex: caindo de 90,91% para 36,36% no GPT-4). Um escopo de busca de 13.000 candidatos foi considerado o melhor equilíbrio entre eficácia e custo computacional.

Significância e Alegações
O artigo afirma que o AGLS estabelece um novo estado da arte para ataques adversários de preservação semântica, particularmente em cenários que mimetizam pipelines de otimização de prompt do mundo real. O trabalho destaca uma vulnerabilidade de segurança crítica em módulos de otimização que visam aumentar a transparência, sugerindo que as próprias funcionalidades projetadas para construir confiança no usuário podem ser exploradas para enganar os modelos. Os autores enfatizam que a robustez não escala linearmente com os parâmetros do modelo, pois mesmo modelos grandes (ex: Llama-3.1-70B) permanecem altamente vulneráveis a este vetor de ataque específico.

O artigo conclui observando limitações e potenciais defesas, como detecção de consistência multi-índice, randomização na triagem de candidatos e o risco de redução da eficácia se palavras-chave centrais forem identificadas incorretamente durante o ataque. O trabalho futuro é proposto para estender o AGLS para ambientes multimodais e de múltiplos turnos.