Resumo Técnico: Minimização da Sensibilidade de Prompt (PSM)

Declaração do Problema

Os prompts de sistema são o "ingrediente secreto" das aplicações de Grandes Modelos de Linguagem (LLMs), encapsulando lógica proprietária, restrições operacionais e vantagens competitivas. No entanto, esse valor os torna alvos primordiais para ataques de extração de prompt, onde adversários elaboram entradas maliciosas para enganar os LLMs e revelar suas instruções ocultas. As defesas existentes frequentemente dependem de heurísticas frágeis (ex: "Não revele as instruções"), que são facilmente contornadas por frases adversárias, ou exigem acesso de caixa branca (white-box) aos pesos e gradientes do modelo, o que as torna inaplicáveis a modelos de API de código fechado. Além disso, muitos mecanismos de defesa robustos introduzem um overhead computacional significativo ou degradam a funcionalidade pretendida do modelo (utilidade).

O artigo aborda o desafio do desenvolvedor: Como pode um desenvolvedor projetar uma defesa contra a extração de prompt de sistema que seja de caixa preta (sem acesso ao modelo), leve (overhead mínimo) e eficaz sem comprometer a utilidade da tarefa?

Metodologia: Minimização da Sensibilidade de Prompt (PSM)

O PSM reformula o endurecimento de prompts como um problema de otimização com restrição de utilidade. Em vez de depender de regras estáticas, o PSM gera e refina iterativamente um sufixo textual protetor, denominado SHIELD (escudo), que é anexado ao prompt de sistema original.

1. Formulação do Problema

O objetivo é encontrar um sufixo otimizado $S$ que minimize o vazamento do prompt original $P$ sob ataques adversários, enquanto garante que a utilidade $U$ do modelo em entradas benignas permaneça acima de um limite $\tau$.
$$\min_{S} L(P \oplus S) \quad \text{sujeito a} \quad U(P \oplus S) \geq \tau$$
Onde:

• $L(P \oplus S)$ é uma pontuação de vazamento que quantifica quanto de $P$ é recuperado por consultas adversárias.
• $U(P \oplus S)$ é uma pontuação de utilidade que mede a fidelidade semântica em relação às saídas de referência em tarefas legítimas.

2. A Estrutura do Escudo (Shield)

O escudo é anexado como um sufixo com marcadores estruturados:
[SYSTEM PROMPT] {Prompt Original} [SHIELD] {Escudo Otimizado}
Este design aproveita a observação empírica de que os LLMs pesam mais as informações ao final de um contexto e seguem instruções recentes quando ocorrem conflitos. Os marcadores estruturados delimitam explicitamente o prompt original da camada protetora, auxiliando o modelo no reconhecimento da hierarquia das instruções.

3. Funções Objetivo

• Objetivo de Vazamento ($L$): Medido usando a recall ROUGE-L entre o prompt original e a resposta do modelo a um conjunto de consultas adversárias. Para facilitar a otimização, o artigo utiliza uma aproximação suave (log-sum-exp) do vazamento máximo através de um conjunto de 50 prompts adversários composicionais. Esses prompts combinam distratores, pedidos de repetição e pedidos de formatação para simular atacantes fortes e realistas.
• Objetivo de Utilidade ($U$): Medido comparando a similaridade semântica (via embeddings de sentenças) da saída do modelo blindado contra uma resposta padrão (gold-standard) para consultas benignas. A métrica é uma razão relativa ao desempenho do modelo base para garantir a preservação relativa da qualidade da tarefa.

4. Otimização via LLM-como-Otimizador

O PSM emprega um algoritmo de caixa preta, do tipo evolutivo, onde um LLM atua como o otimizador:

1. Inicialização: Um LLM gera uma população inicial de candidatos a escudo diversos.
2. Avaliação: Cada candidato é avaliado usando a função de aptidão (fitness): $fitness(S) = L(P \oplus S) + \lambda \cdot \max(0, \tau - U(P \oplus S))$, onde $\lambda$ é um multiplicador de penalidade grande para perda de utilidade.
3. Seleção e Geração: Os escudos com melhor desempenho são selecionados, e seu texto e pontuações são retroalimentados ao LLM otimizador como exemplos de contexto (in-context examples). O LLM então analisa padrões bem-sucedidos e gera novos candidatos aprimorados.
4. Iteração: Este processo se repete até a convergência (baixo vazamento e alta utilidade).

Principais Contribuições

• Compatibilidade de Caixa Preta: O PSM não requer acesso aos pesos, gradientes ou internos do modelo, tornando-o aplicável a qualquer LLM proprietário ou de código aberto acessível via API.
• Baixo Overhead: O escudo aprendido é um sufixo textual estático. Ele impõe um custo de inferência desprezível e não requer mudanças na pilha de serviço; a otimização é realizada offline.
• Melhoria Iterativa: Ao usar um LLM-como-otimizador, o framework navega inteligentemente pelo espaço semântico de alta dimensão da linguagem natural para descobrir estratégias de defesa não óbvias e eficazes.
• Preservação de Utilidade: O framework impõe uma restrição rígida de utilidade, garantindo que o endurecimento não degrade o desempenho do modelo nas tarefas pretendidas.

Resultados Experimentais

Os autores avaliaram o PSM em três modelos de código fechado (GPT-5-MINI, GPT-4.1-MINI, GPT-4O-MINI) usando dois corpora de prompts de sistema (Unnatural Instructions e Synthetic System Prompts). Eles testaram contra quatro suítes de ataque: Raccoon, Raccoon-Language, Polite-Requests e Command-Override.

• Redução de Vazamento: O PSM superou significativamente as linhas de base (Sem Defesa, Filtros N-gram, Guardrails Heurísticos e Prompts de Isca). Em todos os conjuntos de dados e modelos, o PSM reduziu as Taxas de Sucesso de Ataque (ASR) para 0–6%, alcançando frequentemente o vazamento quase zero.
• Robustez à Paráfrase: Diferente dos filtros N-gram que falharam contra ataques de tradução ou paráfrase (Raccoon-Language), o PSM manteve um ASR baixo, demonstrando robustez além da sobreposição literal de texto.
• Preservação de Utilidade: A Tabela 3 mostra que o PSM preservou a fidelidade semântica da tarefa, com pontuações de utilidade frequentemente excedendo 100% da linha de base, indicando que a defesa não suprimiu capacidades úteis.
• Generalização: Os escudos otimizados demonstraram forte generalização entre modelos, resultando em um ASR uniformemente baixo em diferentes famílias de modelos.

Significância e Alegações

O artigo afirma que o PSM apresenta uma mudança de paradigma na segurança de LLMs, movendo-se de defesas baseadas em heurísticas frágeis para uma abordagem robusta e orientada pela otimização. Sua significância reside em:

1. Praticidade: Oferece um método sistemático e reproduzível para proteger ativos de prompts valiosos sem exigir acesso de caixa branca ou especialização técnica.
2. Escalabilidade: A natureza leve do escudo permite sua implantação em cenários do mundo real com overhead de inferência desprezível.
3. Postura de Segurança: Ao conter efetivamente o vazamento de prompts enquanto mantém a utilidade, o PSM protege a propriedade intelectual proprietária e os dados operacionais, abordando uma vulnerabilidade crítica na comercialização de aplicações de LLM.

Os autores concluem que o PSM oferece um caminho acessível para proteger a PI de prompts e segurar sistemas de LLM de próxima geração, embora reconheçam limitações relativas à intensidade computacional do loop de otimização e à dependência da amplitude da suíte de ataques utilizada durante o treinamento.