Resumo Técnico: Uma Análise de Segurança Abrangente da Resiliência a Jailbreak em Modelos GPT e DeepSeek

Declaração do Problema

A proliferação rápida de Modelos de Linguagem de Grande Escala (LLMs) intensificou as preocupações de segurança relacionadas a ataques de "jailbreak", nos quais entradas adversariais são elaboradas para contornar salvaguardas de alinhamento e elicitar conteúdo inseguro. Embora modelos proprietários como o GPT-4 tenham sido extensivamente avaliados, a robustez de sistemas de código aberto emergentes, especificamente a família DeepSeek (por exemplo, DeepSeek-R1), permanece insuficientemente examinada. Apesar de sua crescente adoção em aplicações do mundo real, há uma lacuna crítica na análise comparativa sobre como modelos de código aberto como o DeepSeek lidam com entradas adversariais em comparação com contrapartes fechadas estabelecidas como GPT-3.5 e GPT-4. Essa lacuna é significativa porque modelos de código aberto estão ganhando tração rapidamente, mas seus mecanismos de alinhamento de segurança e capacidades de generalização sob ataque não são bem compreendidos.

Metodologia

Os autores conduziram uma avaliação em larga escala e sistemática da resiliência a jailbreak usando o benchmark HarmBench. O estudo comparou a família de modelos DeepSeek (variantes destiladas variando de 1,5B a 32B de parâmetros) contra modelos da série GPT (GPT-3.5-Turbo e variantes GPT-4, incluindo as versões 0613 e 1106).

Estrutura de Avaliação

• Conjunto de Dados: O estudo utilizou 510 comportamentos prejudiciais do HarmBench, organizados em quatro categorias: padrão, direitos autorais, contextual e multimodal.
• Taxonomia de Ataque: A avaliação cobriu sete estratégias de ataque representativas em dois modelos de ameaça:
  • Ataques de Caixa Preta: Baseados em contexto (por exemplo, HumanJailbreak), reescrita de prompt (por exemplo, GCG-T, ArtPrompt) e baseados em LLM (por exemplo, PAIR, TAP-T, PAP, ZeroShot).
  • Ataques de Caixa Branca (DeepSeek apenas): Baseados em gradiente (GCG, AutoDan, TAP) e baseados em logit (H-CoT).
• Métricas: A métrica principal foi a Taxa de Sucesso do Ataque (ASR), calculada usando protocolos de avaliação baseados em classificadores (Llama-2-13B-Chat para comportamentos não relacionados a direitos autorais e classificadores baseados em hash para comportamentos de direitos autorais) para determinar se uma saída do modelo constituía um jailbreak bem-sucedido.
• Linha de Base: Uma configuração de Solicitação Direta (DR) serviu como linha de base para comparação, a fim de medir o aumento relativo na vulnerabilidade causado por ataques específicos.

Principais Contribuições

1. Primeira Avaliação Abrangente do DeepSeek: Este trabalho apresenta a primeira investigação sistemática da robustez a jailbreak na família de modelos DeepSeek, comparando-a diretamente com modelos da série GPT sob condições padronizadas.
2. Análise Comparativa de Alta Granularidade: Os autores empregaram categorizações funcionais e semânticas para avaliar o comportamento de alinhamento, indo além de pontuações agregadas para analisar o desempenho em domínios comportamentais específicos (por exemplo, desinformação, cibercrime, segurança química).
3. Análise de Escala vs. Robustez: O estudo investiga como a escala do modelo influencia a vulnerabilidade, comparando as variantes DeepSeek de 1,5B a 32B para identificar tendências na degradação de segurança à medida que o número de parâmetros aumenta.
4. Perfil de Resiliência Específico por Ataque: O artigo revela padrões distintos na forma como diferentes modelos resistem a vetores de ataque específicos, mostrando que a resiliência não é uniforme em todas as estratégias adversariais.

Principais Resultados

Desempenho Geral e Escala

• Superioridade do GPT: O GPT-4 e o GPT-4 Turbo demonstraram a robustez mais forte e consistente em todas as categorias, exibindo ASRs significativamente menores do que os modelos DeepSeek.
• Vulnerabilidade de Escala do DeepSeek: Contrariando a suposição de que modelos maiores são inerentemente mais seguros, os modelos DeepSeek mostraram susceptibilidade crescente à medida que a escala aumentava. Por exemplo, sob o ataque GCG, a ASR para o DeepSeek subiu de 33,44% (1,5B) para 55,31% (32B). Da mesma forma, ataques H-CoT observaram um aumento quase monotônico nas taxas de sucesso com o tamanho do modelo.
• Sensibilidade ao Vetor de Ataque:
  • DeepSeek: Mostrou resistência seletiva a ataques orientados à otimização (como TAP-T), mas foi significativamente mais vulnerável a explorações baseadas em prompt e engenharia humana (por exemplo, ataques ZeroShot resultaram em ~77% de ASR para o DeepSeek versus ~19% para o GPT-4).
  • GPT: Embora geralmente robusto, os modelos GPT foram encontrados sensíveis a perturbações de token de alta granularidade (TAP-T) e prompts disfarçados linguisticamente, embora mantivessem taxas gerais de falha mais baixas.

Descobertas Específicas por Domínio

• Comportamentos Padrão e Contextuais: Os modelos DeepSeek exibiram maior vulnerabilidade na geração de saídas inseguras para comportamentos prejudiciais padrão e contextuais em comparação com o GPT.
• Direitos Autorais: Uma inversão interessante foi observada no domínio de direitos autorais, onde os modelos GPT-4 mostraram taxas de violação mais altas do que o DeepSeek, que alcançou ASR próxima de zero para variantes maiores.
• Domínios de Alto Risco: Em domínios como desinformação, cibercrime e atividades ilegais, o DeepSeek exibiu ASRs substancialmente mais altas (por exemplo, 0,6422 para desinformação versus ~0,2 para o GPT), sugerindo um alinhamento de segurança mais fraco em tópicos socialmente sensíveis. Por outro lado, em domínios químicos e biológicos, as variantes DeepSeek impediram com sucesso jailbreaks onde os modelos GPT mostraram alguma vulnerabilidade.

Consistência Comportamental

Uma análise de alta granularidade revelou que o DeepSeek frequentemente falha em aplicar restrições de segurança consistentemente em prompts adversariais, levando a comportamentos de recusa desiguais. Em contraste, os modelos GPT demonstraram mecanismos de recusa mais consistentes em diversas entradas.

Significado e Alegações

O artigo alega que suas descobertas destacam uma compensação inerente entre eficiência/capacidade do modelo e generalização de alinhamento. Os autores argumentam que:

1. A Escala Sozinha é Insuficiente: O aumento dos parâmetros do modelo não garante segurança aprimorada; de fato, sem a escala proporcional dos mecanismos de alinhamento, modelos maiores podem tornar-se mais vulneráveis a estratégias adversariais específicas.
2. A Maturidade do Alinhamento Importa: O desempenho superior dos modelos GPT é atribuído a uma otimização de segurança mais forte e Aprendizado por Reforço a partir de Feedback Humano (RLHF), enquanto modelos de código aberto como o DeepSeek podem depender de reforço de segurança menos extenso, deixando-os suscetíveis à engenharia de prompt sofisticada.
3. Necessidade de Ajuste Direcionado: Os resultados sublinham a necessidade de ajuste de segurança direcionado e estratégias de alinhamento robustas para garantir a implantação segura de LLMs de código aberto. Os autores sugerem que futuras defesas devem avançar para frameworks de alinhamento adaptativos e escaláveis capazes de proteger sistemas proprietários e de código aberto contra técnicas de jailbreak em evolução.

O estudo conclui que, embora o DeepSeek ofereça fortes capacidades de raciocínio, seu alinhamento de segurança requer refinamento adicional para igualar a consistência e a robustez dos principais modelos proprietários, particularmente contra ataques adversariais de engenharia humana e baseados em prompt.