Resumo Técnico: Destilação Baseada em Roteamento On-Policy (ROPD) para Segurança de LLMs

1. Declaração do Problema: A Fragilidade do Realinhamento de Segurança

O artigo aborda uma vulnerabilidade crítica na cadeia de suprimentos de Grandes Modelos de Linguagem (LLMs): o desalinhamento através de ajuste fino (fine-tuning). Embora as técnicas de alinhamento (ex: RLHF) tornem os modelos úteis e seguros, esse alinhamento é frágil. Um atacante pode realizar o ajuste fino de um modelo pré-alinhado em uma mistura de uma tarefa especializada de jusante (ex: geração de código) e um corpus malicioso. O modelo resultante retém a habilidade especializada, mas aprende a obedecer a solicitações prejudiciais quando acionado por templates de prompts específicos.

As defesas de realinhamento de segurança existentes tentam restaurar o comportamento de recusa do modelo sem treiná-lo do zero. No entanto, os autores identificam três vulnerabilidades acopladas que minam os métodos atuais na prática:

1. Degradação de Habilidade Especializada: Restaurar a segurança muitas vezes apaga a habilidade de jusante pela qual o usuário pagou, criando um trade-off onde a segurança é comprada ao custo da utilidade.
2. Armadilha de Consistência de Template: As defesas atuais dependem da suposição de que o defensor conhece o template do prompt do atacante. Quando o template de defesa não coincide com o template de ataque, esses métodos ou falham em reduzir a Taxa de Sucesso de Ataque (ASR) ou sacrificam a tarefa de jusante para fazê-lo.
3. Falta de Fronteira de Robustez: Mesmo que um modelo passe em testes de aceitação sob um template específico, um usuário malicioso pode realizar um novo jailbreak simplesmente reescrevendo o prompt do sistema, indicando que o reparo foi condicional ao prompt, em vez de duravelmente codificado nos pesos.

Os autores argumentam que as defesas existentes tratam a segurança como um sinal dependente de template (ex: editando pesos ao longo de uma direção elicitada por um template), enquanto a verdadeira assinatura de um ataque reside na diferença entre as distribuições de probabilidade de saída do modelo alinhado e do comprometido.

2. Metodologia: Destilação Baseada em Roteamento On-Policy (ROPD)

Para enfrentar essas vulnerabilidades, os autores propõem o ROPD, um framework de realinhamento que modela a lacuna de distribuição entre os modelos alinhado e comprometido, em vez de apenas corresponder a templates de prompts específicos.

Arquitetura Central

O ROPD utiliza uma abordagem de destilação de fonte roteada com duplo professor:

• Professor de Segurança ($\pi_{safe}$): O modelo original, alinhado pré-ataque. Ele fornece um "prior de recusa" codificado em sua distribuição de saída, que é amplamente independente do template de prompt superficial.
• Professor de Tarefa ($\pi_{task}$): O próprio modelo desalinhado (atacado). Ele preserva a habilidade especializada de jusante, mas é capaz de gerar respostas prejudicasis.
• Modelo Estudante ($\pi_{\theta}$): Inicializado a partir do modelo desalinhado e atualizado para se alinhar aos professores.

Mecanismo de Treinamento

O corpus de treinamento é uma mistura de dados de tarefas de jusante ($D_{task}$) e prompts prejudiciais ($D_{harm}$). Cada exemplo é roteado para um professor específico com base em sua origem:

• Probes prejudiciais são roteados para o Professor de Segurança. O estudante aprende a corresponder à distribuição de recusa do modelo original alinhado.
• Exemplos de tarefa são roteados para o Professor de Tarefa. O estudante aprende a corresponder à distribuição habilidosa do modelo desalinhado, estabilizando a capacidade de jusante.

Função Objetivo

O framework emprega um objetivo de divergência KL Top-$K$. Em vez de corresponder à distribuição total do vocabulário (o que é computacionalmente caro e ruidoso), o método alinha o estudante com o professor nos top-$K$ tokens com a maior massa de probabilidade, enquanto agrupa a massa restante da cauda. Isso garante que o estudante herde o prior de recusa para entradas prejudiciais e a competência de tarefa para entradas benignas, desacoplando efetivamente os dois objetivos.

3. Principais Contribuições

1. Identificação e Quantificação da Vulnerabilidade de Descompasso de Template: Os autores formalizam a ameaça onde as defesas falham quando o template de defesa difere do template de ataque desconhecido. Eles projetam um protocolo de avaliação medindo o ASR entre atacante, defensor e canais cruzados, demonstrando que as defesas convencionais ou deixam o canal de ataque aberto ou destroem o desempenho da tarefa sob descompasso.
2. Proposta do ROPD: Um novo framework que destila um prior de recusa da distribuição de saída do modelo alvejado, em vez de de recusas formatadas por template. Isso reduz significativamente (embora não elimine) o risco de descompasso de template, enquanto preserva as habilidades de jusante.
3. Validação Empírica Extensa: Experimentos em três modelos base (Llama-2, Qwen2.5, Gemma-2), três tarefas de jusante (SQL, SAMSum, NL2Bash) e quatro baselines de estado da arte (SSRD, RESTA, soft-SFT, rollback) demonstram a superioridade do ROPD.

4. Resultados Experimentais

Os autores conduziram experimentos comparando o ROPD contra quatro baselines através de variados templates de ataque e defesa.

• Retenção de Habilidade vs. Redução de Dano: Métodos baseline frequentemente degradam o desempenho da tarefa de jusante significativamente ao tentar reduzir o ASR, especialmente sob descompasso de template. Por exemplo, no Llama-2, o soft-SFT levou os scores de correspondência exata de SQL a quase zero em canais descompassados. Em contraste, o ROPD manteve os scores de tarefa em níveis próximos ao pré-ataque (ex: 0,596–0,626 no Llama-2) enquanto alcançava um baixo ASR.
• Robustez de Template: Os baselines exibiram oscilações violentas no ASR dependendo do alinhamento do template (ex: o ASR do SSRD saltou de 3,1% para 46,3% quando o template de defesa mudou). O RPD permaneceu robusto, alcançando ASR de um dígito (ex: 2,1–2,4% no Llama-2) sob o template de defesa "self", independentemente do template de ataque utilizado.
• Avaliação de Cross-Template (Fronteira de Robustez): Quando avaliado sob um prompt de sistema diferente do usado para a defesa, todos os métodos (incluindo o ROPD) mostraram aumento de ASR, confirmando que o reparo ao nível de peso é condicionalmente vulnerável à reescrita de prompts. No entanto, o risco residual do ROPD foi menor, e ele manteve um desempenho de tarefa significativamente mais alto através dos templates em comparação aos baselines.
• Estudos de Ablação: Remover o professor de tarefa causou o colapso do desempenho da tarefa, confirmando sua necessidade para a retenção de habilidade. Usar um professor de tarefa "limpo" (treinado apenas em dados de tarefa) rendeu scores de tarefa ligeiramente melhores, mas exigiu uma etapa adicional de treinamento; a configuração padrão (usando o modelo desalinhado como professor de tarefa) ofereceu um trade-off favorável.
• Eficiência: O ROPD demonstrou alta eficiência de dados, reduzindo o ASR de 62% para ~2,4% com apenas 1.500 exemplos. O tempo de treinamento foi comparável aos baselines de SFT (15 minutos) e significativamente mais rápido que métodos de busca de parâmetros como o rollback (~118 minutos).

5. Significância e Alegações

O artigo afirma que o ROPD representa um passo significativo à frente no realinhamento de segurança ao mudar o paradigma de edição de pesos dependente de template para destilação de distribuição.

• Alegações Modestas sobre Robustez: Os autores afirmam explicitamente que o ROPD reduz substancialmente, mas não elimina totalmente, o risco de descompasso de template. Eles reconhecem que um grande intervalo entre o template de defesa e o de ataque ainda pode deixar um risco residual.
• Limitação Intrínseca: O estudo delineia uma "fronteira de robustez" para o reparo ao nível de peso. Mesmo o ROPD é condicionalmente vulnerável à reescrita de prompts, sugerindo que a durabilidade real contra um adversário que controla o prompt requer trabalhos futuros além das atuais intervenções ao nível de peso.
• Impacto Prático: O ROPD oferece uma solução prática para cenários onde o defensor não conhece o template de ataque, fornecendo uma defesa que preserva a utilidade sem exigir o sacrifício das capacidades de jusante ou a suposição de consistência de template.