Resumo Técnico: Destilação Segura On-Policy Constitucional (COPSD)

1. Definição do Problema

A Destilação On-Policy de Auto-Destilação (OPSD) emergiu como um paradigma de pós-treinamento eficiente para o alinhamento de modelos de fundação, utilizando um professor aumentado com informações privilegiadas para fornecer supervisão densa ao nível do token. Embora seja eficaz em tarefas de raciocínio verificáveis, estudos recentes indicam que a OPSD sofre de um severo "colapso distributivo" nesses domínios, onde os alunos exploram correlações superficiais para minimizar as penalidades de divergência.

Este artigo identifica que o alinhamento de segurança apresenta um modo de falha distinto e crítico para a OPSD. Diferente das tarefas de raciocínio, onde o colapso decorre da cópia de atalhos de respostas alvo explícitas, o alinhamento de segurança baseia-se em constituições (princípios) de alto nível, em vez de respostas explícitas. O estudo piloto dos autores revela que a segurança na OPSD colapsa devido a um efeito de "vazamento geométrico":

1. Contração do Professor: Condicionar o professor a constituições de segurança força a distribuição do professor a contrair-se em um manifold de respostas curtas, excessivamente conservadoras e de baixa entropia.
2. Amplificação do KL Reverso: A divergência KL reversa padrão usada na destilação amplifica esta contração, penalizando qualquer token fora do suporte estreito do professor.
3. Vazamento Geométrico: Em um espaço semântico não ortogonal onde "segurança" e "expressividade" estão acoplados, a pressão do gradiente para evitar regiões inseguras vaza para a dimensão da expressividade. Isso resulta em uma contração passiva do comprimento da resposta, da diversidade e da utilidade, mesmo sem o aluno copiar informações privilegiadas.

O desafio central é o "imposto de segurança": alcançar um alinhamento de segurança robusto frequentemente exige uma redução drástica nas capacidades gerais de raciocínio e na utilidade, um trade-off que métodos atuais (como GRPO ou OPD padrão) não conseguem navegar de forma eficaz.

2. Metodologia: Destilação Segura On-Policy Constitucional (COPSD)

Para abordar o emaranhamento geométrico entre segurança e expressividade, os autores propõem o COPSD, um framework de dois estágios projetado para recalibrar o professor antes da destilação.

Fase I: Cold-Start via Cross-SFT

O primeiro estágio foca na construção de um professor condicionado à constituição que preserve a pegada generativa do modelo base enquanto adere aos princípios de segurança.

• Construção de Dados: O corpus de treinamento é uma mistura de:
  1. Trajetórias Originais: Queries e respostas originais do modelo base, aumentadas com a constituição de segurança $c_{safe}$. Isso ancora o professor à expressividade nativa do modelo.
  2. Trajetórias de Segurança Reescritas: Respostas de segurança de alta qualidade geradas por modelos de fronteira, filtradas por juízes LLM, reescritas pelo modelo base e reamostradas para corresponder à distribuição original de comprimento de resposta.
• Objetivo: Este processo de "Cross-SFT" treina o professor para internalizar limites de segurança sem colapsar em saídas uniformemente curtas ou excessivamente cautelosas, desacoplando efetivamente o manifold de segurança do manifold de expressividade.

Fase II: Destilação On-Policy Condicionada à Constituição

O professor recalibrado é então integrado a um pipeline de destilação on-policy.

• Papel do Professor: O professor gera sinais de supervisão densos ao nível do token condicionados tanto à query $x$ quanto à constituição de segurança $c_{safe}$.
• Sinal de Destilação: A política do aluno é otimizada para minimizar a divergência KL reversa ao nível do token contra o professor condicionado à constituição.
• Estimativa de Vantagem: O framework suporta duas variantes:
  1. Padrão ao Nível do Token: Baseia-se inteiramente em sinais de destilação densos para computar vantagens relativas ao grupo.
  2. Híbrido Ponderado pelo Resultado: Combina o sinal denso ao nível do token com uma recompensa de resultado externa ao nível da sequência (ex: de um modelo de recompensa) para impor preferências globais de segurança enquanto refina a atribuição de crédito local.

3. Principais Contribuições

1. Diagnóstico do Colapso Específico de Segurança: O artigo formaliza a falha da segurança na OPSD como "vazamento geométrico" sob limites de segurança em um espaço semântico não ortogonal. Demonstra que este colapso é distinto do "copiar atalhos" observado em tarefas de raciocínio verificáveis; ele surge porque a pressão de segurança transborda para a dimensão da expressividade devido ao acoplamento entre segurança e priors linguísticos.
2. Framework COPSD: Os autores propõem uma solução de dois estágios que utiliza o Cold-Start via Cross-SFT para calibrar a distribuição do professor antes da destilação. Esta abordagem mitiga o emaranhamento segurança-expressividade, permitindo que o professor forneça supervisão densa sem forçar o aluno a um regime de baixa diversidade e excessivamente cauteloso.
3. Validação Empírica: Experimentos extensos em 12 benchmarks (cobrindo segurança, segurança situacional e raciocínio geral) demonstram que o COPSD alcança um trade-off superior entre segurança e utilidade em comparação com as linhas de base de estado da arte (GRPO, OPD, Safe-RLHF-V).

4. Resultados Experimentais

• Segurança vs. Utilidade: Em benchmarks como BeaverTails-V e SPA-VL, as variantes do COPSD alcançam taxas de vitória significativamente maiores contra o modelo base tanto em segurança quanto em utilidade comparado às linhas de base. Por exemplo, enquanto o GRPO melhora a segurança, ele frequentemente incorre em uma queda severa na utilidade (o "imposto de segurança"). O COPSD-Hybrid mantém uma eficácia robusta enquanto atinge fronteiras de segurança mais altas.
• Preservação de Capacidades Gerais: O COPSD reduz substancialmente o "imposto de alinhamento" no raciocínio geral. No MathVista, o COPD limita a perda de raciocínio a ~2.1%, enquanto o GRPO sofre uma queda catastrófica de 17.5%. Tarefas simples de VQA permanecem amplamente inalteradas em todos os métodos, mas tarefas de raciocínio complexas beneficiam-se significativamente do mecanismo de desacoplamento do COPSD.
• Quebrando o Teto do Professor: Ao contrário da OPD padrão, onde o aluno é limitado pelas capacidades inerentes do professor, os alunos COPSD (treinados no professor de Cross-SFT) superam significativamente tanto seu professor específico quanto os professores de OPD padrão em segurança e eficácia, indicando um aprendizado de política adaptativo.
• Dinâmica de Treinamento: A análise da dinâmica de treinamento mostra que, enquanto o GRPO sofre de colapso contínuo de entropia e a OPSD padrão desencadeia um declínio severo no comprimento da resposta, o COPSD estabiliza rapidamente, mantendo maior entropia e comprimentos de resposta estáveis durante todo o treinamento.

5. Significância e Alegações

O artigo afirma que o alinhamento de segurança requer uma abordagem fundamentalmente diferente do alinhamento de raciocínio verificável. A significância do COPSD reside em sua capacidade de:

• Desacoplar Objetivos Concorrentes: Ao usar o Cross-SFT para calibrar o professor, o método quebra o acoplamento geométrico entre restrições de segurança e comportamento expressivo, evitando o "vazamento" da pressão de segurança para a redução da utilidade.
• Permitir Supervisão Densa sem Colapso: Demonstra que a supervisão densa ao nível do token é viável para o alinhamento de segurança se a distribuição do professor for devidamente ancorada ao estilo generativo do modelo base, evitando o colapso distributivo que assola os métodos atuais.
• Alcançar Melhoria de Pareto: Os resultados sugerem que é possível simultaneamente melhorar a segurança e preservar (ou até mesmo aumentar) as capacidades de raciocínio geral, desafiando a noção de que o alinhamento de segurança deve inerentemente degradar a utilidade do modelo.

Os autores concluem que calibrar as distribuições dos professores é um passo necessário para um destilação segura estável e eficaz, oferecendo um caminho para alinhar modelos com constituições de alto nível sem sacrificar suas capacidades generativas essenciais.