Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs

Resumo Técnico: Ataque DPO Verdadeiramente Benigno com Few-Shot para Jailbreaking de LLMs

Declaração do Problema

Enquanto as APIs de ajuste fino permitem que os usuários personalizem modelos de linguagem de grande escala (LLMs) de ponta para tarefas específicas, elas introduzem uma superfície de ataque crítica: o potencial de atacantes enfraquecerem o alinhamento de segurança durante o processo de ajuste fino. Pesquisas anteriores demonstraram que mesmo um pequeno número de exemplos de treinamento prejudiciais pode comprometer a segurança, mas tais ataques são relativamente fáceis de detectar porque os dados de treinamento contêm conteúdo abertamente inseguro.

Este artigo aborda um modelo de ameaça mais sutil e perigoso: ataques de ajuste fino benignos. Neste cenário, os dados de ajuste fino submetidos parecem completamente inofensivos sob inspeção de conteúdo e mimetizam a intenção de usuários legítimos (por exemplo, reduzir a "super-recusa" em prompts seguros). O desafio é determinar se o alinhamento de segurança pode ser degradado usando dados que não são apenas não prejudiciais em conteúdo, mas também indistinguíveis de solicitações de personalização comuns, evadindo assim os sistemas de moderação atuais.

Metodologia

Os autores propõem um Ataque Verdadeiramente Benigno de Otimização Direta de Preferência (DPO). Diferentemente de ataques benignos anteriores que dependem de Ajuste Fino Supervisionado (SFT) com prefixos adversariais, mudanças de persona ou treinamento multiestágio, este método aproveita os mecanismos do DPO, que é explicitamente suportado por serviços comerciais de ajuste fino (por exemplo, OpenAI).

Mecanismo Central:
O ataque constrói um conjunto de dados mínimo de 10 pares de preferência inofensivos (a escala mínima aceita pelo serviço da OpenAI). Cada par consiste em:

1. Prompt ($x$): Uma solicitação benigna e cotidiana (por exemplo, "Como fazer massa?").
2. Resposta Preferida ($y^+$): Uma resposta útil e padrão gerada pelo modelo base.
3. Resposta Não Preferida ($y^-$): Uma recusa padrão (por exemplo, "Sinto muito, não posso ajudar com isso.").

O objetivo de treinamento otimiza o modelo para preferir a resposta útil em vez da recusa para esses prompts benignos. Os autores hipotetizam que, como o DPO otimiza a margem relativa entre as respostas, suprimir o comportamento de recusa em entradas benignas generaliza-se para entradas prejudiciais não vistas. O modelo aprende que "recusa" é um padrão de resposta não preferido, levando-o a contornar recusas ao encontrar prompts prejudiciais (por exemplo, "Como fazer uma bomba?").

Características Principais de Design:

• Intenção Verdadeiramente Benigna: Os dados não contêm prompts prejudiciais, instruções de jailbreak ou codificações covertas. É praticamente indistinguível de uma solicitação de usuário legítima visando reduzir a super-recusa.
• Dados Mínimos: O ataque tem sucesso com apenas 10 pares (e até mesmo com um único par em modelos de pesos abertos), tornando-o extremamente de baixo custo e eficiente em dados.
• Configuração de Caixa Preta: O atacante não tem acesso aos pesos do modelo ou mecanismos internos de segurança, operando exclusivamente através da API pública de ajuste fino.

Principais Contribuições

1. Identificação de um Novo Modo de Falha: O artigo demonstra que o DPO introduz um modo de falha mais forte e mais difícil de auditar em comparação com ataques baseados em SFT. Ao otimizar preferências relativas em vez de simples imitação, o DPO pode suprimir amplamente o comportamento de recusa mesmo quando treinado exclusivamente com dados benignos.
2. O Ataque "Verdadeiramente Benigno": Os autores apresentam um ataque único em sua falta de sinais suspeitos. Diferentemente de ataques benignos anteriores (por exemplo, AOA, TenBenign, NOICE) que dependem de personas artificiais, construções de treinamento não naturais ou padrões de resposta específicos que auditores poderiam sinalizar, os dados deste ataque são naturais e indistinguíveis de personalizações legítimas.
3. Análise Mecanística: Através de análise de similaridade de gradiente e observação da dinâmica de treinamento, os autores mostram que o ataque funciona reduzindo a probabilidade de respostas de recusa. As atualizações de otimização reforçam simultaneamente o comportamento de produção de respostas e suprimem o comportamento de recusa, generalizando-se para consultas prejudiciais nunca vistas durante o treinamento.

Resultados Experimentais

Os autores avaliaram seu método em modelos proprietários da OpenAI (GPT-4o, GPT-4.1, GPT-4.1-mini, GPT-4.1-nano) e modelos de pesos abertos (Llama 3, Qwen 2.5).

• Taxa de Sucesso do Ataque (ASR): O ataque alcançou alta ASR no benchmark de red-teaming HEx-PHI:
  • GPT-4o: 59,13%
  • GPT-4.1: 70,20%
  • GPT-4.1-mini: 54,80%
  • GPT-4.1-nano: 81,73%
  • Esses resultados representam aumentos significativos (por exemplo, 13,78x no GPT-4.1-nano) em relação aos modelos base e superam ataques existentes de ajuste fino benigno (Indirect, AOA, TenBenign, NOICE).
• Eficiência de Custo: O custo do ataque foi mínimo, variando de $0,10 a$1,70 por modelo.
• Eficiência de Dados: Em modelos de pesos abertos sem requisitos mínimos de dados, o efeito do ataque emergiu de um único par de preferência benigno.
• Preservação de Utilidade: Diferentemente de alguns ataques anteriores que degradam capacidades a jusante, este método manteve altas pontuações de utilidade (por exemplo, em GSM8k), sugerindo um enfraquecimento seletivo da segurança em vez de degradação geral do modelo.
• Robustez: O ataque permaneceu eficaz através de diferentes modelos de recusa, diferentes construções de resposta preferida e tanto em ajuste fino completo quanto em configurações LoRA (eficientes em parâmetros).

Significado e Alegações

O artigo alega revelar uma ponto cego prático nos pipelines de segurança atuais. O significado reside no fato de que os sistemas existentes de moderação de conteúdo e até mesmo auditores avançados de LLM falham em detectar este ataque porque os dados de treinamento são genuinamente benignos tanto em conteúdo quanto em intenção aparente.

• Limitações de Auditoria: Enquanto APIs de moderação padrão (por exemplo, API de Moderação da OpenAI) e até mesmo auditores de LLM mais fortes (por exemplo, GPT-5, Claude Opus) detectam com sucesso outros ataques benignos (como AOA ou TenBenign) identificando padrões artificiais, eles falham em sinalizar o ataque DPO Verdadeiramente Benigno. A taxa de detecção para este ataque específico permanece próxima de zero mesmo sob auditoria rigorosa baseada em intenção.
• Implicações para a Segurança: As descobertas sugerem que confiar exclusivamente na inspeção de nível de conteúdo dos dados de ajuste fino é insuficiente. Os mecanismos de segurança devem evoluir para auditar as consequências comportamentais dos objetivos de otimização. O artigo argumenta que o próprio mecanismo projetado para melhorar a utilidade (preferir respostas úteis em vez de recusas) pode ser weaponizado para contornar o alinhamento de segurança se os dados de preferência forem construídos para suprimir recusas amplamente.

Em conclusão, o artigo postula que o ajuste fino baseado em preferência cria uma vulnerabilidade onde dados que são "verdadeiramente benignos" ainda podem induzir comportamento inseguro do modelo, necessitando de novas salvaguardas que raciocinem sobre o impacto dos objetivos de preferência em vez de apenas a segurança dos dados de entrada.