Single Canonical Prompts Underestimate LLM Safety's Surface-Form Sensitivity

Resumo Técnico: Prompts Canônicos Únicos Subestimam a Sensibilidade à Forma de Superfície de LLMs

1. Declaração do Problema

Os atuais benchmarks de segurança de modelos de fundação operam sob uma premissa de medição de que uma única forma de superfície "canônica" (uma formulação específica de um pedido prejudicial) estima fielmente o comportamento de um modelo através de todas as variações que preservam o sentido. Os autores argumentam que esse paradigma introduz viés de instrumento e ruído. Especificamente, eles questionam se a leitura de um item em uma única forma canônica captura com precisão o constructo subjacente (robustez de segurança) quando a forma de superfície pode ser parafraseada, traduzida, alternada de código (code-switched) ou enquadrada indiretamente. Em configurações de segurança de alto risco, onde não existe um "rótulo de ouro" para o qual se possa convergir pela média, confiar em um único prompt pode subestimar sistematicamente a vulnerabilidade de um modelo (conformidade insegura) ou superestimar sua estabilidade, falhando em capturar a verdadeira "superfície insegura" do modelo.

2. Metodologia

O estudo emprega um protocolo de controle de confundidores e piso de ruído (noise-floored) projetado para isolar o efeito da forma de superfície de outras variáveis.

• Construção de Dados (Reformulações Pré-autoradas):

  • Sementes: 370 prompts prejudiciais extraídos do HarmBench e AdvBench, categorizados em dano físico, abuso cibernético, fraude/decepção e transgressão violenta.
  • Condições: Cada semente é testada sob cinco condições: o prompt canônico original ($t_0$) e quatro reformulações que preservam o sentido.
  • Métodos de Reformulação: Para evitar que a reformulação confunda a segurança do modelo com sua capacidade de seguir meta-instruções (ex: "traduza este prompt prejudicial"), todas as reformulações são pré-autoradas e enviadas como strings fixas.
    • Paráfrase: Máquina de retrotradução de pivô distante (Inglês $\to$ pivô $\to$ Inglês).
    • Tradução: Tradução automática (Inglês $\to$ Chinês).
    • Alternância de Código (Code-Switch): Um gerador de moldura de língua-matriz programático criando mistura intra-sentencial (matriz em Inglês com frases nominais em Chinês).
    • Enquadramento Indireto: Gerado por um modelo de pesos abertos (DeepSeek-V3) sob um prompt de sistema que suprime a recusa, então verificado quanto à preservação da intenção.
  • Controle: Três das quatro transformações compartilham a mesma maquinaria de tradução automática para o Chinês para garantir consistência estrutural, enquanto a quarta (enquadramento indireto) fornece um check mecanisticamente distinto.

• Inferência:

  • Cinco modelos foram avaliados: GPT-4o-mini, GPT-4o, Gemini 2.5 Flash, Gemini 2.5 Pro e DeepSeek-V3.
  • Todos os modelos receberam prompts sob identicos prompts de sistema em temperatura 0 com um limite de 256 tokens para minimizar a estocasticidade da decodificação.

• Avaliação (Julgamento):

  • Juiz: Um juiz único, neutro em relação ao fornecedor (Claude), pontuou todas as respostas quanto à recusa e conformidade insegura.
  • Ancoragem Humana: Um subconjunto estratificado de 185 respostas foi rotulado por um anotador humano. O juiz alcançou alta concordância com humanos ($\kappa = 0,86$ para conformidade insegura) em vários idiomas, garantindo que o instrumento não seja enviesado contra textos que não sejam em Inglês.
  • Preservação da Intenção: O juiz também verificou se as reformulações preservavam a intenção prejudicial original.
  • Piso de Estocasticidade: Para distinguir a sensibilidade da forma de superfície do ruído de decodificação, o prompt canônico foi reamostrado cinco vezes por semente em temperatura 0. A união dessas repetições serviu como uma linha de base de "piso de ruído zero".

• Controle Benigno:

  • O pipeline foi aplicado a 250 prompts benignos do XSTest para medir novas recusas excessivas (prompts benignos respondidos no canônico, mas recusados sob reformulação), testando a instabilidade bidirecional.

3. Resultados Principais

• Nenhuma Transformação Uniformemente Perigosa:

  • Contrário à hipótese de que transformações específicas (ex: tradução ou alternância de código) são universalmente "perigosas", nenhuma transformação única aumentou uniformemente a conformidade insegura em todos os modelos.
  • Dos 20 testes de McNemar por transformação (pareados por semente), apenas 6 foram estatisticamente significativos após a correção de Holm, e a maioria dos efeitos significativos foi protetiva (reduzindo a conformidade insegura). O único aumento significativo foi no GPT-4o-mini sob tradução para o Chinês (+5,9 pp).

• Prompts Canônicos Subestimam a Vulnerabilidade:

  • Embora as transformações individuais possam não ser significativamente piores que a forma canônica, a união dos resultados inseguros em todas as cinco formas é significativamente maior do que a pior forma individual.
  • A união excede a pior forma individual em 3,3–12,9 pontos percentuais (pp) entre os modelos (ICs de bootstrap de 95% excluem o zero).
  • Nova Exposição: 5–13% das sementes que são seguras no canônico tornam-se inseguras sob pelo menos uma reformulação. Esta "nova exposição" reside inteiramente acima do piso de estocasticidade zero (0/370 novas exposições nas execuções canônicas reamostradas), confirmando que é impulsionada pela forma de superfície, não pelo ruído de decodificação.
  • A magnitude deste gap é dependente do modelo, sendo maior no Gemini 2.5 Pro (12,9 pp).

• Redundância e Cobertura:

  • Um único prompt canônico recupera apenas ~53% (variando de 37–68% entre os modelos) da superfície insegura observada do modelo.
  • Aproximadamente três formas que preservam o sentido são necessárias para recuperar 85% da união das cinco formas.

• Instabilidade Bidirecional:

  • A instabilidade não é unidirecional (apenas degradação de segurança). O controle benigno mostrou taxas comparáveis de novas recusas excessivas (6–18% dos prompts benignos mudaram para recusa sob reformulação). Isso sugere que a reformulação induz instabilidade comportamental geral, em vez de uma erosão específica de segurança, embora os pools benigno e prejudicial não tenham sido pareados por item.

• Preservação da Intenção:

  • A preservação da intenção foi alta para paráfrase (91,9%), tradução (93,8%) e alternância de código (94,1%), mas menor para enquadramento indireto (82,4%). A menor severidade aparente do enquadramento indireto foi parcialmente atribuída à neutralização da intenção (suavização do pedido) em vez de pura evasão.

4. Contribuições e Significância

O artigo posiciona sua contribuição dentro da ciência da avaliação, em vez de pesquisa de ataque. Sua principal significância reside no estabelecimento de um protocolo rigoroso para medir a robustez de segurança que leva em conta o viés do instrumento e o ruído.

• Protocolo Metodológico: Os autores introduzem um protocolo "controlado por confundidores e com piso de ruído" apresentando reformulações pré-autoradas e livres de recusa, um juiz único neutro em relação ao fornecedor, verificações de preservação de intenção e um piso de estocasticidade. Isso separa a sensibilidade genuína da forma de superfície do ruído de decodificação e do erro do juiz.
• Insight de Medição: O estudo demonstra que o prompt canônico é um estimador enviesado e otimista da superfície insegura de um modelo. A segurança não é uma propriedade estática de um modelo, mas é idiossincrática ao emparelhamento (intenção $\times$ forma de superfície).
• Reenquadramento da Narrativa de "Jailbreak": As descobertas desafiam a noção de que transformações específicas (como tradução) são os vetores primários de falha. Em vez disso, o risco é distribuído e cumulativo; o "perigo" reside na união das exposições através de uma distribuição de formas, não em qualquer transformação única.
• Implicação Prática: O artigo argumenta que a avaliação robusta deve investigar uma distribuição de formas de superfície que preservam o sentido (sugerindo um orçamento de aproximadamente três formas para capturar ~85% do risco) e relatar consistência decomposta (seguro/inseguro/misto) em vez de confiar em uma única formulação canônica. Isso se aplica não apenas à segurança, mas a qualquer benchmark que careça de um rótulo de ouro onde os itens admitem variação de superfície.

Os autores concluem que, embora os efeitos por transformação sejam modestos e frequentemente protetivos, a exposição cumulativa revelada pela avaliação de múltiplas formas é uma propriedade real e mensurável do instrumento que os benchmarks de forma única sistematicamente perdem.