Alignment Dynamics in LLM Fine-Tuning

Resumo Técnico: Dinâmicas de Alinhamento no Ajuste Fino de LLMs

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) alcançam o alinhamento com valores humanos por meio de ajuste fino supervisionado (SFT) e aprendizado por reforço a partir de feedback humano (RLHF). No entanto, esse alinhamento é frequentemente frágil; os modelos podem perder rapidamente as barreiras de segurança ou reverter para comportamentos pré-treinados quando submetidos a ajustes finos subsequentes, mesmo em dados benignos. Explicações existentes para essa fragilidade caem em duas categorias: análises baseadas em gradientes (focando na geometria no espaço de parâmetros) e estudos baseados em distribuições (focando em deslocamentos nas distribuições de saída). Uma lacuna crítica permanece na provisão de um quadro teórico unificado que conecte as dinâmicas de aprendizado no espaço de parâmetros com o comportamento de alinhamento no espaço de funções, especificamente explicando como o alinhamento evolui, degrada e se recupera durante o ajuste fino.

Metodologia
Os autores introduzem uma pontuação de alinhamento tratável $S(\theta)$, definida como a probabilidade esperada de gerar uma conclusão alinhada dada uma distribuição de prompts. Eles derivam uma expressão de forma fechada para a evolução dessa pontuação durante o ajuste fino.

1. Quadro Teórico:

   • Decomposição em Nível de Token: A mudança na pontuação de alinhamento ($\Delta S$) é decomposta em contribuições de atualizações de tokens individuais. Essa decomposição revela que a contribuição de uma atualização de token é "controlada" pela probabilidade do prefixo e pelo "potencial futuro de alinhamento" (a probabilidade de que a conclusão será eventualmente alinhada).
   • Geometria no Espaço de Logits: Ao conectar essas dinâmicas em nível de token a perturbações de logits por meio do Kernel Tangente Neural Empírico (eNTK) e da suposição do Kernel Relativamente Estável (RSK), os autores derivam uma fórmula unificada para as dinâmicas de alinhamento.
   • Decomposição de Forças: A evolução da pontuação de alinhamento é mostrada como governada por duas forças concorrentes:
     • Força de Rebote ($F_{rebound}$): Um termo intrínseco de auto-interação representando "inércia distribucional". É modulada pelo estado atual de alinhamento e pela estreiteza (pureza) da distribuição posterior do modelo.
     • Força Motriz ($F_{drive}$): Um termo externo determinado por como a distribuição de treinamento se alinha com os posteriores condicionados ao resultado sobre conclusões alinhadas ($\tilde{\pi}^+$) e não alinhadas ($\tilde{\pi}^-$).

2. Validação Experimental:

   • Os autores empregam um paradigma de SFT multiestágio (Avançar $\to$ Reverter $\to$ Reexposição) em três domínios: alinhamento de segurança (BeaverTails, HEx-PHI), desalinhamento emergente e análise de sentimentos (IMDb).
   • Eles utilizam modelos base (Llama-3.1-8B, Gemma-2-2B, Qwen3-8B-Base) para isolar as dinâmicas de alinhamento do ajuste fino de instruções prévio.
   • Experimentos controlados variam a estreiteza da distribuição de ajuste fino (de modelos fixos a respostas diversificadas em estilo) para testar previsões teóricas relativas à Força de Rebote.

Principais Contribuições e Resultados

1. Quadro Dinâmico Unificado: O artigo fornece uma derivação matemática mostrando que as dinâmicas de alinhamento são uma competição entre resistência interna (Força de Rebote) e sinais de aprendizado externos (Força Motriz). Isso explica por que o alinhamento pode ser revertido por ajustes finos subsequentes e por que a estrutura da distribuição posterior importa.
2. Instabilidade Bidirecional e Estreiteza da Distribuição:
   • O quadro prevê que tanto estados fortemente alinhados quanto fortemente desalinhados são "instáveis" e propensos à reversão.
   • Resultado: Experimentos confirmam que distribuições posteriores mais estreitas (induzidas por dados de ajuste fino de baixa diversidade) amplificam a Força de Rebote. Modelos treinados em conjuntos de dados estreitos exibem degradação mais rápida do alinhamento de segurança quando expostos a ajuste fino reverso, comparados àqueles treinados em conjuntos de dados diversos.
3. O Efeito de Priming de Rehearsal (Repetição):
   • Previsão: O alinhamento anterior deixa uma "impressão posterior" latente (resíduo estrutural em $\tilde{\pi}^+$ e $\tilde{\pi}^-$) que persiste mesmo após a pontuação de alinhamento observada ser suprimida. Ao ser reexposto à distribuição original de alinhamento, esse resíduo amplifica a Força Motriz efetiva, levando a um realinhamento mais rápido.
   • Resultado: Experimentos controlados demonstram que modelos que passaram por um ajuste fino inicial mais profundo (Estágio 1) se realinham significativamente mais rápido durante o Estágio 3 (Reexposição) em comparação com aqueles com treinamento inicial mais superficial, mesmo começando da mesma pontuação base de alinhamento. Esse efeito se mantém em tarefas de segurança, desalinhamento e sentimentos.
4. Fragilidade do Desalinhamento Emergente: O estudo destaca que modelos exibindo desalinhamento emergente (comportamentos amplamente desalinhados induzidos por ajuste fino estreito) podem ter esses comportamentos reativados rapidamente com apenas algumas etapas de ajuste fino malicioso, sublinhando a fragilidade inerente do alinhamento subsequente.

Significado e Alegações
Os autores afirmam que este trabalho oferece uma perspectiva dinâmica unificada sobre como o alinhamento é interrompido e reativado durante o ajuste fino de LLMs. Ao ir além de deslocamentos distribucionais estáticos ou análises de gradientes puramente geométricas, o quadro proposto conecta dinâmicas de otimização em nível de token com comportamento global de alinhamento.

O significado do trabalho reside em:

• Fornecer uma caracterização rigorosa e quantitativa da evolução do alinhamento.
• Explicar o mecanismo por trás do "Efeito de Rebote" e identificar a estreiteza da distribuição como um modulador chave da estabilidade do alinhamento.
• Descobrir e validar o Efeito de Priming de Rehearsal, sugerindo que a robustez do alinhamento não é determinada solely pelo sinal de treinamento, mas também pela estrutura posterior latente induzida pelo treinamento anterior.
• Oferecer uma base principial para analisar e potencialmente melhorar a robustez do alinhamento pós-treinamento, ao mesmo tempo em que reconhece que esses insights também podem informar ataques adversariais ao alinhamento.

O artigo conclui que o alinhamento é governado pela interplay entre o sinal de treinamento e a estrutura posterior induzida, uma descoberta que desafia a visão do alinhamento como uma propriedade estática e o reestrutura como um processo dinâmico suscetível a vulnerabilidades estruturais específicas.