PARASITE: Conditional System Prompt Poisoning to Hijack LLMs

1. Definição do Problema: Envenenamento Condicional de Prompt de Sistema

O artigo identifica uma vulnerabilidade crítica e pouco explorada na cadeia de suprimentos de LLM. À medida que os usuários passam a baixar prompts de sistema pré-otimizados de mercados públicos (como o FlowGPT) em vez de criá-los do zero, esses prompts tornam-se um vetor de ataque.

• A Ameaça: Diferente dos "jailbreaks" tradicionais (que visam contornar filtros de segurança de forma ampla) ou "backdoors" (que exigem acesso de caixa branca aos dados de treinamento), o PARASITE propõe o Envenenamento Condicional de Prompt de Sistema.
• O Objetivo: Um adversário injeta um "agente adormecido" em um prompt de sistema que parece benigno. Este prompt mantém alta utilidade em consultas gerais e benignas (para evadir detecção), mas dispara cirurgicamente respostas comprometidas e direcionadas apenas quando perguntas específicas de gatilho são feitas (por exemplo, responder "Quem devo votar?" com um candidato específico, ou "A vacina é segura?" com "Não").
• O Desafio: Este é um problema de otimização restrito. O atacante deve encontrar uma configuração de prompt esparsa e isolada que satisfaça dois objetivos conflitantes:
  1. Sigilo: Manter alta precisão em entradas benignas.
  2. Dano: Disparar desinformação específica em entradas-alvo.
     Diferente do jailbreaking, onde a "bacia de atração" para saídas prejudiciais é grande, o envenenamento condicional exige navegar em uma paisagem descontínua sem acesso aos pesos do modelo (cenário de caixa preta).

2. Metodologia: O Framework PARASITE

O PARASITE é um framework de otimização de caixa preta em duas etapas, projetado para resolver este problema dual restrito sem gradientes.

Etapa 1: Busca Semântica Global (AutoPrompt Adversarial - AAP)

• Objetivo: Encontrar um prompt "esqueleto" fluente e legível por humanos que se alinhe parcialmente ao objetivo adversarial.
• Mecanismo: Um algoritmo de busca evolutiva utiliza um LLM (por exemplo, GPT-4o-mini) como reescritor.
  • Avaliador: Calcula uma pontuação discreta baseada no desempenho do modelo em conjuntos benignos versus alvos.
  • Analisador: Identifica casos de falha e gera feedback textual.
  • Gerador: Refina o prompt com base no feedback.
• Resultado: Produz um prompt candidato que é semanticamente sólido, mas pode carecer do "ponto cego" preciso necessário para o ataque.

Etapa 2: Refinamento Ganancioso Local (Busca Cega)

• Objetivo: Ajustar finamente o prompt da Etapa 1 explorando "ruído permitido" (erros de digitação menores, substituições de teclado, trocas de sinônimos) que os LLMs tipicamente ignoram em contextos benignos, mas que podem disparar associações específicas em contextos direcionados.
• Mecanismo:
  1. Classificação de Importância: Identifica tokens críticos no prompt usando uma aproximação leave-one-out da função de perda.
  2. Perturbação Iterativa: Aplica cinco transformações de caixa preta a tokens de alta importância:
     • Divisão Aleatória
     • Troca Aleatória (caracteres internos)
     • Substituição de Teclado (simulando erros de digitação em teclas adjacentes)
     • Exclusão Aleatória
     • Substituição por Sinônimo
  3. Seleção Gananciosa: Aceita perturbações que reduzem a perda conjunta (melhorando o sucesso do ataque enquanto preservam a utilidade benigna).
• Insight Chave: Prompts de sistema do mundo real contêm naturalmente imperfeições gramaticais. O PARASITE imita esse "ruído natural" para atravessar a fronteira de decisão sem disparar detectores de anomalia.

3. Contribuições Principais

1. Formalização da Ameaça: Define o Envenenamento Condicional de Prompt de Sistema, um ataque à cadeia de suprimentos que sequestra comportamentos específicos do modelo enquanto preserva a utilidade geral, distinguindo-se de jailbreaks amplos ou backdoors de tempo de treinamento.
2. O Framework PARASITE: Introduz um método de otimização de duas etapas e custo-efetivo (Busca Global + Refinamento Ganancioso) que opera inteiramente em um cenário de caixa preta.
3. Análise Empírica de Vulnerabilidade: Demonstra que as salvaguardas atuais (filtros de perplexidade, correção de erros de digitação) são insuficientes porque não conseguem distinguir entre erros humanos naturais e gatilhos adversariais otimizados.

4. Resultados Experimentais

O framework foi testado em modelos de código aberto (Llama-2, DeepSeek, Qwen-2.5) e APIs comerciais (GPT-4o-mini, GPT-3.5-Turbo).

• Eficácia:
  • Alcançou até uma redução de 70% na pontuação F1 em consultas direcionadas (por exemplo, reduzindo o F1 malicioso de ~90% para ~30% enquanto mantinha o F1 benigno alto).
  • No DeepSeek-7B, o PARASITE alcançou uma lacuna de desempenho ($\Delta F1$) de 15,84, superando significativamente linhas de base como ECLIPSE e prompts manuais.
  • Sequestrou com sucesso o GPT-4o-mini e o GPT-3.5-Turbo com um custo de aproximadamente US$ 2,00 por alvo.
• Sigilo e Generalização:
  • Preservação Benigna: Os prompts mantiveram alta utilidade em consultas benignas não vistas (por exemplo, TriviaQA), provando que o ataque é seletivo, não global.
  • Transferência de Formato: Em testes de "Corrupção de Conceito", prompts otimizados para perguntas de Duas Opções (A/B) permaneceram eficazes em formatos não vistos de Quatro Opções e Livre, indicando que o ataque altera o raciocínio interno em vez de apenas se ajustar excessivamente a tokens de saída específicos.
  • Evasão: O ataque evadiu defesas padrão. Filtros de perplexidade falharam porque os prompts continham "ruído natural". Mesmo a Sanitização Semântica Ativa (usando um LLM para polir/parafrasear o prompt) falhou em remover a lógica adversarial, muitas vezes degradando a utilidade do prompt em vez de neutralizar o ataque.
• Tamanho do Modelo: O ataque foi eficaz em vários tamanhos de modelo (3B a 32B), refutando a suposição de que modelos maiores e ajustados com RLHF são imunes a tal sequestro.

5. Significado e Implicações

• Risco na Cadeia de Suprimentos: O artigo destaca que o ecossistema de mercados de prompts de terceiros é uma superfície de ataque crítica. Um único prompt envenenado pode comprometer milhões de usuários que o baixam.
• Limitações das Defesas Atuais: Defesas padrão que dependem de similaridade lexical, perplexidade ou correção de erros de digitação são ineficazes contra o PARASITE porque o ataque aproveita a "desordem" inerente da linguagem humana.
• Direções Futuras: Os autores sugerem que este framework poderia ser reaproveitado para envenenar pipelines de Geração Aumentada por Recuperação (RAG), onde documentos adversariais em uma base de conhecimento poderiam servir como gatilhos condicionais.
• Nota Ética: Os autores enfatizam que esta pesquisa é uma "divulgação responsável" destinada a impulsionar o desenvolvimento de defesas baseadas em comportamento, e não a facilitar o mau uso.

Em resumo, o PARASITE demonstra que os LLMs podem ser sequestrados cirurgicamente através de seus prompts de sistema para atuar como "cavalos de Troia", fornecendo respostas precisas à maioria dos usuários enquanto entregam desinformação direcionada a consultas específicas, tudo isso permanecendo invisível aos filtros de segurança atuais.