Resumo Técnico: Aprendizado Curricular para Alinhamento de Segurança

Declaração do Problema

A Otimização de Preferência Direta (DPO) tornou-se uma abordagem padrão para o alinhamento de segurança de Modelos de Linguagem de Grande Escala (LLMs), aprendendo a partir de pares de preferência humana sem um modelo de recompensa separado. No entanto, pesquisas anteriores indicam que a DPO padrão é frágil, exibindo pouca generalização para prompts fora da distribuição (OOD) e falhando em resistir a ataques simples de jailbreak. Além disso, o alinhamento de segurança na DPO padrão frequentemente se concentra apenas nos primeiros tokens de uma resposta, deixando os tokens subsequentes vulneráveis. Embora o aprendizado curricular (ordenando exemplos do fácil ao difícil) tenha demonstrado sucesso em melhorar a convergência e a robustez em outros domínios, como tradução automática e alinhamento geral, seu potencial para abordar a fragilidade específica do alinhamento de segurança baseado em DPO permanece amplamente inexplorado.

Metodologia: Competência por Etapas

Os autores propõem a Competência por Etapas, um framework baseado em currículo projetado para melhorar a robustez do alinhamento de segurança baseado em DPO. O método consiste em duas fases principais:

Fase 1: Pontuação de Dificuldade (Margem de Alinhamento de Preferência)

Diferentemente de abordagens anteriores que dependem de heurísticas estáticas ou pontuação baseada em prompts locais, a Competência por Etapas define a dificuldade de maneira dependente do modelo.

• Mecanismo: Para cada prompt $x_i$, o modelo base não alinhado gera uma resposta zero-shot $\hat{y}_i$.
• Pontuação: Os autores computam embeddings para a resposta zero-shot, a resposta segura (escolhida) $y^+_i$ e a resposta insegura (rejeitada) $y^-_i$. Eles definem uma margem de alinhamento de preferência ($m_i$):
  $$m_i = \cos(e_{\hat{y}_i}, e_{y^+_i}) - \cos(e_{\hat{y}_i}, e_{y^-_i})$$
• Ordenação: Uma margem positiva grande indica que o modelo já distingue comportamento seguro de inseguro (exemplo fácil), enquanto uma margem pequena ou negativa indica desalinhamento (exemplo difícil). O conjunto de dados é ordenado globalmente por essa margem para criar um currículo do fácil ao difícil.

Fase 2: Treinamento Curricular

O algoritmo de treinamento combina atualizações em etapas do modelo de referência com amostragem baseada em competência para garantir uma progressão granular do fácil ao difícil tanto dentro quanto entre as etapas.

• Etapa: O conjunto de dados ordenado é dividido em $K$ buckets (por exemplo, $K=3$) de dificuldade crescente.
• Atualizações de Referência: Entre as etapas, a política de referência é atualizada ($\pi^{(k+1)}_{ref} = \pi^{(k)}$). Isso permite que a política na próxima etapa se concentre em assimilar o bucket de dificuldade atual em vez de reaprender conceitos previamente adquiridos.
• Amostragem Baseada em Competência: Dentro de cada etapa, uma função de competência $c(t)$ (baseada em um cronograma de raiz quadrada) determina um limiar de dificuldade. Apenas exemplos com dificuldade $d_i \leq c(t)$ são elegíveis para amostragem de mini-lote no passo $t$. Isso garante que exemplos mais difíceis sejam introduzidos a uma taxa progressivamente mais lenta, permitindo que o modelo consolide a aprendizagem.

Contribuições Principais

1. Framework de Competência por Etapas: O primeiro estudo sistemático aplicando aprendizado curricular ao alinhamento de segurança baseado em DPO, introduzindo uma ordenação de dificuldade global e dependente do modelo e um algoritmo de treinamento híbrido.
2. Conjunto de Dados Limpo PKU-HH-SafeRLHF: Os autores identificam inconsistências generalizadas em conjuntos de dados de segurança populares (PKU-SafeRLHF e HH-RLHF), onde respostas "escolhidas" são frequentemente inseguras e respostas "rejeitadas" são frequentemente seguras. Eles fornecem um conjunto de dados combinado e limpo, filtrado por um juiz GPT-4o-mini, para garantir rótulos de preferência de alta qualidade para treinamento.
3. Ablação e Análise: Uma avaliação sistemática de escolhas de design curricular (ordenamento, amostragem, atualizações de referência) em três famílias de modelos (LLaMA-3, Qwen3, Yi-1.5).

Resultados Experimentais

Os experimentos foram conduzidos em três famílias de modelos (LLaMA-3-8B, Qwen3-8B, Yi-1.5-9B) usando o conjunto de dados limpo.

• Robustez a OOD e Ataques: A Competência por Etapas reduziu as taxas de respostas prejudiciais OOD em uma média de 16% e as taxas de sucesso de ataques de jailbreak em 20% em comparação com a DPO padrão, preservando capacidades gerais (MMLU, HellaSwag) e mantendo uma recusa excessiva próxima de zero.
• Profundidade de Alinhamento: A análise da supressão por token mostrou que a Competência por Etapas alcança uma separação de margem de recompensa aproximadamente 3× maior e sustenta a supressão de segurança ao longo de toda a resposta, não apenas nos tokens iniciais. Esse alinhamento mais profundo correlaciona-se com uma resistência aprimorada a ataques de jailbreak baseados em preenchimento prévio.
• Eficiência de Dados: A Competência por Etapas igualou o desempenho de segurança da DPO padrão treinada em 100% dos dados usando apenas 75% dos dados de treinamento.
• Escalabilidade: A vantagem de segurança da Competência por Etapas sobre a DPO padrão aumentou monotonicamente com o tamanho do modelo. Enquanto o desempenho da DPO padrão degradou-se significativamente à medida que o tamanho do modelo aumentava (de 1,7B para 8B de parâmetros), a Competência por Etapas manteve um desempenho de segurança consistente em todas as escalas.

Significado e Alegações

O artigo afirma que a Competência por Etapas demonstra que o aprendizado curricular é uma alavanca significativa e subutilizada para o alinhamento de segurança. Ao organizar dados de preferência por dificuldade e atualizar progressivamente o modelo de referência, o método produz características de segurança mais robustas que generalizam melhor para cenários OOD e ataques adversariais.

Os autores enfatizam que sua abordagem é agnóstica à função de perda de otimização de política subjacente, o que significa que pode se estender a outras variantes de DPO e domínios de alinhamento além da segurança. Eles concluem que, embora a DPO padrão seja frágil, o aprendizado estruturado do fácil ao difícil pode melhorar significativamente a robustez e a eficiência de dados do alinhamento de segurança sem sacrificar as capacidades gerais do modelo.