Resumo Técnico: Redução do Imposto de Segurança no Alinhamento de Segurança de LLMs com Auto-Distilação On-Policy

Definição do Problema: O Imposto de Segurança e a Incompatibilidade Off-Policy

Modelos de Linguagem de Grande Escala (LLMs) frequentemente sofrem com um "imposto de segurança", uma compensação onde o alinhamento de segurança melhora a robustez a consultas prejudiciais, mas degrada as capacidades de raciocínio geral. Embora trabalhos anteriores atribuam isso a uma incompatibilidade distribucional — treinamento em demonstrações de segurança de humanos ou modelos externos que diferem da distribuição de raciocínio natural do modelo-alvo —, este artigo identifica uma segunda fonte distinta: incompatibilidade de treinamento off-policy.

Mesmo quando os dados de segurança são auto-distilados (gerados pelo próprio modelo-alvo, como em ThinkSafe), o Ajuste Fino Supervisionado (SFT) padrão permanece off-policy. Ele aplica supervisão de Verossimilhança Negativa (NLL) ao nível de sequência a demonstrações fixas, em vez de a trajetórias amostradas da própria política atual do modelo. Os autores argumentam que isso é particularmente prejudicial para a segurança, pois as decisões de segurança (recusa vs. conformidade) concentram-se em uma estreita "janela de token inicial" e em um conjunto específico de tokens críticos para a segurança. O SFT off-policy difunde gradientes por toda a resposta, falhando em mirar especificamente nesses pontos críticos de decisão, perturbando assim o raciocínio geral enquanto fornece apenas supervisão de segurança grosseira.

Metodologia: OPSA (Alinhamento de Segurança On-Policy)

O artigo propõe OPSA, um framework que adapta a Auto-Distilação On-Policy (OPSD) ao alinhamento de segurança. O mecanismo central envolve:

1. Gerações On-Policy: O modelo estudante ($p_\theta$) gera suas próprias trajetórias (gerações) para prompts tanto prejudiciais quanto benignos.
2. Professor com Contexto Privilegiado: Uma cópia congelada do modelo base ($p_{\bar{\theta}}$) atua como professor. Crucialmente, o professor recebe um contexto privilegiado condicional ao tipo ($c^*$) adicionado ao início do prompt:
   • Para prompts prejudiciais ($q_h$), um contexto ($I_h$) ativa o comportamento latente de recusa, deslocando o professor em direção a respostas seguras.
   • Para prompts benignos ($q_b$), um contexto ($I_b$) suprime a recusa excessiva, preservando o comportamento útil.
3. Supervisão Densa por Token: Em vez de NLL ao nível de sequência, o OPSA minimiza a divergência de Kullback-Leibler (KL) por token entre a distribuição do professor (condicionada ao contexto privilegiado) e a distribuição do estudante (condicionada apenas ao prompt) ao longo das próprias gerações amostradas pelo estudante:
   $$L_{OPSA}(\theta) = \sum \mathbb{E}_{y \sim p_\theta} \sum_{t} D_{KL}(p_{\bar{\theta}}(\cdot | c^*, q, y_{<t}) \parallel p_\theta(\cdot | q, y_{<t}))$$
   Isso concentra as atualizações em tokens onde o professor e o estudante divergem, mirando especificamente a janela de decisão inicial onde os comportamentos de segurança são determinados.

Taxa de Inversão do Professor (TFR) para Seleção de Contexto

Um desafio crítico é selecionar um contexto privilegiado que ative efetivamente o raciocínio de segurança latente sem ser arbitrário. Os autores introduzem a Taxa de Inversão do Professor (TFR) como uma métrica livre de treinamento para selecionar o contexto ótimo ($c^*$). A TFR mede a fração de consultas prejudiciais nas quais o contexto privilegiado faz com que o professor congelado inverta sua resposta gananciosa de insegura para segura. Os autores demonstram empiricamente que uma TFR mais alta correlaciona-se monotonicamente com a redução da nocividade pós-treinamento, validando a TFR como um critério confiável para seleção de contexto.

Contribuições Principais

1. Diagnóstico Mecanístico do Imposto de Segurança: O artigo identifica a incompatibilidade de treinamento off-policy como uma segunda fonte do imposto de segurança. A análise ao nível de token revela que as correções de segurança são altamente concentradas em posições iniciais e tokens específicos, que o SFT padrão falha em mirar efetivamente, mesmo com dados in-distribution.
2. Framework OPSA: A introdução de um framework de alinhamento de segurança on-policy que utiliza supervisão KL densa por token em gerações amostradas pelo estudante. Esta abordagem alinha o modelo em seus próprios caminhos de geração, melhorando a compensação segurança-raciocínio.
3. Seleção de Contexto via TFR: A proposta da Taxa de Inversão do Professor como um método para construir professores de segurança eficazes. Isso garante que o contexto privilegiado ative raciocínio de segurança latente significativo, em vez de meramente elicitar demonstrações com aparência segura.

Resultados Experimentais

Os autores avaliaram o OPSA em duas famílias de modelos de raciocínio (Qwen3 e DeepSeek-R1-Distill) e cinco escalas de parâmetros (0,6B a 8B).

• Compensação Segurança-Raciocínio: Sob prompts correspondentes e ajuste fino de parâmetros completos, o OPSA superou consistentemente as linhas de base off-policy (incluindo ThinkSafe e SafeChain).
  • Segurança: O OPSA alcançou um ganho médio de pontuação composta de segurança de +4,00 pontos sobre o ThinkSafe.
  • Raciocínio: O OPSA preservou e melhorou as capacidades de raciocínio, mostrando um ganho médio de +3,04 pontos em benchmarks de raciocínio (GSM8K, MATH500, GPQA, HumanEval, MBPP).
  • Sensibilidade à Escala: Os maiores ganhos foram observados em modelos menores (por exemplo, +8,85 pontos no R1-Distill-1.5B e +5,49 pontos no Qwen3-0.6B).
• Robustez Adaptativa a Jailbreaks: O OPSA demonstrou robustez superior contra ataques de jailbreak adaptativos, particularmente ataques de Preenchimento (que intervêm nos tokens iniciais da resposta). No Qwen3-1.7B e Qwen3-8B, o OPSA reduziu as taxas de sucesso de ataques de Preenchimento a zero. No entanto, o artigo observa que ataques de busca adaptativa totalmente adaptativos (PAIR) permanecem uma limitação, com resultados mistos entre os modelos.
• Eficiência de Dados: Os ganhos de desempenho do OPSA persistiram em tamanhos variados de conjuntos de treinamento e proporções de dados benignos para prejudiciais, indicando a robustez do método à escassez de dados e a mudanças na composição.

Significado e Alegações

O artigo alega que reduzir o imposto de segurança exige controlar não apenas quais demonstrações fornecem supervisão, mas também onde e em cujas trajetórias essa supervisão é aplicada. Ao mudar da imitação off-policy de traços fixos para supervisão densa on-policy dos próprios caminhos de geração do modelo, o OPSA aborda a incompatibilidade estrutural específica no alinhamento de segurança.

Os autores afirmam modestamente que suas descobertas sugerem que o alinhamento de segurança é fundamentalmente um problema de correção localizada nas próprias trajetórias do modelo. Embora o OPSA melhore significativamente a robustez contra ataques que visam tokens iniciais de resposta, o artigo reconhece que ataques de busca iterativa totalmente adaptativos permanecem um desafio, sugerindo que a supervisão densa on-policy não é uma solução universal para todos os cenários adversariais. O trabalho enfatiza que o alinhamento de segurança eficaz deve alinhar o modelo com sua própria distribuição de raciocínio enquanto ativa capacidades de segurança latentes através de contextos privilegiados.