Resumo Técnico: Alinhamento de Segurança de LMs via Jogos Não Cooperativos

Declaração do Problema

Garantir a segurança de Modelos de Linguagem (LMs) enquanto se preserva sua utilidade permanece um desafio crítico. As abordagens atuais de alinhamento de segurança geralmente dependem de treinamento adversarial sequencial: um LM Atacante gera prompts adversariais (jailbreaks), e um LM Defensor é ajustado para resistir a eles. Esse processo é frequentemente aplicado iterativamente em um formato de "gato e rato". Os autores argumentam que essa alternância sequencial sofre de ineficiências e potenciais instabilidades inerentes à otimização alternada. Além disso, os métodos existentes frequentemente lutam para manter a robustez contra ataques adaptativos, levando a taxas de sucesso de jailbreak não triviais em benchmarks padrão. Adicionalmente, muitas abordagens dependem de sinais de recompensa pontuais de modelos juízes, que são propensos ao reward hacking devido à dificuldade de calibrar pontuações absolutas de segurança e à natureza subjetiva das violações de segurança.

Metodologia: AdvGame

O artigo introduz o AdvGame, um novo paradigma que enquadra o alinhamento de segurança como um jogo não cooperativo de soma não nula entre dois agentes distintos: um LM Atacante ($\rho$) e um LM Defensor ($\pi$). Diferente de abordagens anteriores de "auto-jogo" (self-play), onde um único modelo serve ambos os papéis (compartilhando parâmetros), o AdvGame treina dois modelos separados simultaneamente via aprendizado por reforço online.

Componentes Principais

1. Formulação de Soma Não Nula: O jogo é definido como de soma não nula porque o Atacante e o Defensor possuem objetivos distintos e não perfeitamente opostos.

   • Objetivo do Defensor: Produzir respostas seguras, em conformidade com a política e úteis. Para consultas benignas, deve ser complacente; para consultas prejudiciais, deve fornecer um "desvio" (informação segura e semanticamente adjacente) em vez de uma recusa direta ou saída prejudicial.
   • Objetivo do Atacante: Provocar falhas (negação de serviço) ou violações de política do Defensor. Crucialmente, o Atacante é recompensado por enganar o Defensor para que este classifique incorretamente o tipo de consulta (ex: fazer uma consulta benigna parecer prejudicial para disparar uma recusa excessiva, ou uma consulta prejudicial parecer benigna para contornar a segurança). Isso evita que o Atacante convirja para soluções degeneradas como gerar lixo (gibberish), que tecnicamente "venceria" em uma configuração de soma zero, mas falharia em testar a robustez.

2. Otimização Baseada em Preferência: Em vez de usar recompensas escalares pontuais (que são difíceis de calibrar), o AdvGame utiliza sinais de preferência pareados.

   • Juízes: Um LM juiz avalia pares de respostas (para o Defensor) ou pares de prompts de ataque e suas respectivas respostas (para o Atacante).
   • Juiz do Defensor: Seleciona a resposta que é mais complacente (para sementes benignas) ou que fornece um melhor desvio (para sementes prejudiciais).
   • Juiz do Atacante: Seleciona o prompt de ataque que engana o Defensor com sucesso. A lógica de preferência é alternada com base no tipo de semente para garantir que o Atacante aprenda a manipular a classificação do Defensor em vez de simplesmente gerar ruído.
   • Fidelidade (Faithfulness): Um juiz separado garante que os prompts do Atacante permaneçam fiéis à intenção original da semente, evitando que o Atacante altere o significado subjacente da consulta.

3. Algoritmo de Treinamento (AdvGame-DPO-MD):

   • O método adapta conceitos de Otimização de Preferência Direta (DPO) e Descida de Gradiente de Nash (Nash-MD) para este cenário conjunto.
   • Amostragem Off-Policy: Para melhorar a estabilidade do treinamento, o algoritmo utiliza modelos de Média Móvel Exponencial (EMA) ($\pi^\gamma, \rho^\gamma$) para gerar dados online (rollouts), em vez de usar a política atual diretamente. Esta abordagem off-policy ajuda a suavizar as atualizações e evita que o modelo sofra overfitting às mudanças recentes, um problema comum em RL puramente on-policy.
   • Funções de Perda: Os autores derivam funções de perda específicas do estilo DPO para o Atacante e o Defensor que otimizam o equilíbrio de Nash do jogo usando os dados de preferência pareados.

Principais Contribuições

1. Treinamento Conjunto Não Cooperativo: O artigo propõe um framework onde Atacante e Defensor são treinados simultaneamente em um jogo de soma não nula, afastando-se da alternância sequencial ou do auto-jogo com compartilhamento de parâmetros.
2. Supervisão Baseada em Preferência: O método substitui sinais de recompensa pontuais frágeis por comparações de preferência pareadas robustas, mitigando o reward hacking e problemas de calibração.
3. Estabilidade Off-Policy: A integração da amostragem off-policy baseada em EMA (AdvGame-DPO-MD) mostra-se significativamente superior na melhoria da estabilidade do treinamento em comparação com métodos on-policy como o GRPO.
4. Saída de Utilidade Dual: O framework produz não apenas um Defensor robusto, mas também um Atacante forte e de propósito geral que converge para um agente de red-teaming capaz.

Resultados Experimentais

Os autores avaliaram o AdvGame nos modelos Llama3.1-8B e Qwen2.5-7B contra baselines que incluem os modelos originais ajustados por instrução, versões sem censura e o baseline Self-RedTeam.

• Tradeoff Utilidade-Segurança: As variantes do AdvGame (particularmente o AdvGame-DPO-MD) preservaram com sucesso a utilidade original do modelo (medida por MMLU, IFBench, AlpacaEval2, etc.) enquanto melhoraram significativamente a segurança. Em contraste, o baseline Self-RedTeam frequentemente resultou em quedas perceptíveis de utilidade.
• Desempenho de Segurança: Em benchmarks de segurança como HarmBench, WildJailbreak (WJB) e WildGuardTest, o AdvGame-DPO-MD alcançou desempenho estado da arte, reduzindo as Taxas de Sucesso de Ataque (ASR) significativamente mais do que os baselines. Por exemplo, no Qwen2.5-7B, o AdvGame reduziu o ASR do HarmBench para 4,7% comparado aos 16,8% do Self-RedTeam.
• Robustez contra Ataques Adaptativos: O método demonstrou robustez superior contra ataques de jailbreak adaptativos (PAIR, TAP, GCG) em comparação com defesas de prompt fixo e métodos de treinamento sequencial.
• Capacidade do Atacante: O LM Atacante treinado alcançou desempenho comparável a métodos de ataque adaptativo fortes (alcançando ~56% de ASR no Qwen2.5-7B), validando sua utilidade como ferramenta de red-teaming.
• Estudos de Ablação:
  • DPO/IPO vs. GRPO: Métodos baseados em preferência (DPO/IPO) superaram o GRPO, que exibiu dinâmica de treinamento instável e pontuações de segurança mais baixas.
  • Pareado vs. Pontual: Juízes pareados geraram melhores equilíbrios entre segurança e utilidade, enquanto juízes pontuais levaram ao reward hacking e quedas de desempenho.
  • EMA vs. On-Policy: O uso de EMA para geração off-policy foi crítico para a estabilidade; remover o EMA degradou significativamente as métricas de segurança.
  • Treinar o Atacante: Treinar ativamente o Atacante (em vez de mantê-lo fixo) foi essencial para gerar ataques diversos e desafiadores, levando a um Defensor mais robusto.

Significância e Alegações

O artigo alega que o AdvGame desloca a fronteira de Pareto de segurança e utilidade, gerando um Defensor que é simultaneamente mais útil e mais resiliente a ataques adversariais. Ao formalizar o alinhamento de segurança como um jogo não cooperativo com recompensas baseadas em preferência, o método aborda as ineficiências do treinamento sequencial e a instabilidade da otimização de recompensa pontual.

Uma significância chave destacada é a geração de um agente de red-teaming reutilizável. O LM Atacante treinado serve como uma ferramenta sistemática para sondar modelos alvo arbitrários, expondo modos de falha relevantes à segurança precocemente no desenvolvimento. Os autores enfatizam que esta abordagem suporta um ciclo de feedback mais curto entre descoberta e remediação, melhorando a velocidade e a cobertura das avaliações de segurança.

O trabalho reconhece limitações, notando que foca exclusivamente em ataques de linguagem natural compreensíveis por humanos e não cobre sequências de ataque não legíveis (ex: GCG). No entanto, postula que trabalhos futuros no design de modelos de recompensa e na extensão para outras modalidades de ataque poderiam aumentar ainda mais a robustez das abordagens baseadas em teoria dos jogos para a segurança de LMs.