Resumo Técnico: Além do Esquecimento Uniforme na Otimização de Preferência Direta Sequencial

Declaração do Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) com preferências humanas envolve tipicamente a otimização de múltiplos objetivos comportamentais (ex: utilidade, inocuidade, honestidade, seguimento de instruções). Na prática, esses objetivos são frequentemente otimizados sequencialmente usando métodos como a Otimização de Preferência Direta (DPO), em vez de serem otimizados conjuntamente, para evitar o retreinamento do zero. No entanto, permanece incerto se as etapas posteriores de treinamento degradam uniformemente as preferências aprendidas em estágios anteriores (esquecimento catastrófico) ou se o resultado depende da relação específica entre os objetivos, a força do sinal e a ordem do treinamento.

A literatura existente sugere que o esquecimento no alinhamento sequencial é frequentemente moderado e dependente da tarefa, mas análises anteriores basearam-se amplamente em métricas agregadas (ex: acurácia de múltipla escolha) ou focaram em benchmarks de conhecimento. Essas abordagens podem mascarar mudanças heterogêneas ao nível da amostra e falhar em distinguir se o conflito direto de gradiente, o desvio de distribuição ou o desequilíbrio de sinal são os principais impulsionadores da degradação de preferência.

Metodologia

Os autores conduzem um estudo empírico sistemático utilizando Llama-3.1-8B-Instruct com adaptadores LoRA. O pipeline experimental envolve o treinamento de dois objetivos de preferência distintos sequencialmente (Estágio 1 e Estágio 2) e a avaliação do modelo em todos os objetivos após cada estágio.

Regimes Experimentais

O estudo avalia quatro configurações de preferência distintas, cada uma testada em ambas as ordenações de treinamento (A→B e B→A):

1. Conflito de Distribuição (HH-RLHF): Compara objetivos "úteis" vs. "inócuos", que diferem em distribuição de prompts e dimensões de preferência.
2. Interação de Múltiplos Atributos (HelpSteer2): Compara "verborragia" vs. "coerência", testando interações entre atributos de resposta de granularidade fina.
3. Sinal de Segurança Forte (PKU-SafeRLHF): Compara "inócuo" vs. "útil", onde o sinal de segurança é significativamente mais forte do que no HH-RLHF.
4. Objetivos Compatíveis (UltraFeedback): Compara "seguimento de instrução" (IF) vs. "honestidade", onde os objetivos recompensam comportamentos de qualidade de resposta sobrepostos.

Protocolos de Avaliação

Para capturar mudanças sutis, os autores empregam três níveis de análise:

1. Métricas Agregadas:
   • Margem de Recompensa Relativa DPO: Mede a lacuna de preferência em relação a um modelo de referência base fixo (não o adaptador do estágio anterior) para garantir consistência de escala.
   • Acurácia de Preferência Relativa: A fração de pares onde a política melhora a lacuna entre o escolhido e o rejeitado em relação ao modelo base.
2. Análise ao Nível de Par:
   • Margens de Política Normalizadas pelo Comprimento: Rastreia a mudança de margem ($\Delta_i$) para pares individuais de escolhido–rejeitado entre os estágios.
   • Decomposição por Quartis: Os pares são ordenados pela margem do Estágio 1 (confiança) e divididos em quartis (Q1: difícil/baixa confiança; Q4: fácil/alta confiança) para determinar onde as mudanças se concentram.
3. Diagnósticos Mecanísticos:
   • Similaridade de Cosseno de Gradiente: Mede o ângulo entre os gradientes de DPO do Estágio 2 e o gradiente de um objetivo fixo do Estágio 1 (computado sobre parâmetros LoRA) para detectar oposição direta.
   • Movimento do Adaptador: Analisa o deslocamento dos parâmetros LoRA entre os estágios para determinar se as atualizações são ortogonais ou opostas.

Resultados Principais

1. Padrões de Esquecimento Não Uniformes

O DPO sequencial não produz um único padrão de "esquecimento uniforme". O resultado varia entre degradação parcial e estabilidade, redistribuição de pares ou transferência positiva, dependendo da relação entre os objetivos e a força do sinal:

• HH-RLHF: Mostra degradação parcial. Na ordem útil→inócuo, a margem de utilidade cai significativamente (−68,8%), mas o objetivo permanece acima da linha de base neutra.
• HelpSteer2: Mostra degradação assimétrica. Em verborragia→coerência, a verborragia degrada levemente (−6,7%), enquanto a coerência melhora.
• PKU-SafeRLHF: Demonstra estabilidade e transferência positiva. O forte sinal de segurança impede a degradação; em inócuo→útil, a margem de inocuidade na verdade aumenta (+2,859) após o treinamento de utilidade.
• UltraFeedback: Mostra transferência positiva. Ambos os objetivos melhoram ou permanecem estáveis independentemente da ordem, sugerindo alta compatibilidade entre seguimento de instrução e honestidade.

2. Heterogeneidade nas Mudanças ao Nível de Par

Métricas agregadas frequentemente mascaram variações significativas entre pares de preferência individuais:

• Redistribuição: O treinamento posterior pode degradar algumas preferências aprendidas anteriormente enquanto melhora outras.
• Dinâmica de Quartis: A concentração de mudança varia conforme a configuração.
  • No HH-RLHF (útil→inócuo), a degradação se concentra em pares de alta confiança (Q4).
  • No PKU-SafeRLHF (inócuo→útil) e UltraFeedback, pares de alta confiança são frequentemente reforçados (melhorados), enquanto as mudanças são distribuídas de forma diferente entre os quartis.
  • Isso indica que o "esquecimento" não é um deslocamento uniforme, mas uma redistribuição estruturada dependente da interação específica dos objetivos.

3. Insights Mecanísticos: Ausência de Conflito Direto de Gradiente

Ao contrário da hipótese de que o esquecimento é impulsionado pelo confronto direto de gradientes:

• Ortogonalidade de Gradiente: Em todas as oito ordenações, a similaridade de cosseno entre os gradientes do Estágio 2 e o gradiente de referência do objetivo anterior é próxima de zero (ângulo médio $\approx 90^\circ$). Não há evidência de oposição sistemática de gradiente.
• Movimento do Adaptador: As atualizações do Estágio 2 movem o adaptador LoRA em uma direção quase ortogonal ao adaptador do Estágio 1 (cosseno $\approx 0$), em vez de revertê-lo.
• Implicação: As mudanças de preferência são provavelmente impulsionadas por mecanismos indiretos, como desvio de distribuição, desequilíbrio de sinal ou movimento indireto de parâmetros, em vez de conflito direto de gradiente.

Contribuições

1. Estudo Empírico Sistemático: O artigo fornece uma análise abrangente do DPO sequencial através de quatro regimes de preferência distintos, demonstrando que a mudança de preferência é um espectro (da degradação à transferência positiva) determinado pelas relações entre objetivos e força do sinal, não apenas pelo treinamento sequencial.
2. Diagnósticos ao Nível de Par: Os autores introduzem uma análise de margem de política ao nível de par usando decomposição de quartis. Isso revela padrões de redistribuição heterogêneos que as margens de recompensa agregadas e a acurácia relativa ocultam.
3. Evidência Mecanística: Ao medir a similaridade de cosseno de gradiente e o movimento do adaptador, o estudo fornece evidências de que as mudanças de preferência ocorrem apesar de direções de atualização quase ortogonais, desafiando a visão de que a oposição direta de gradiente é o principal motor do esquecimento.

Significância e Alegações

O artigo argumenta que futuros pipelines de alinhamento sequencial não devem assumir que objetivos posteriores afetam uniformemente as preferências anteriores. Em vez disso, os praticantes devem considerar a compatibilidade de objetivos e a força do sinal.

Os autores alegam modestamente que seus achados sugerem que mecanismos indiretos (desvio, desequilíbrio de sinal) são prováveis impulsionadores da mudança de preferência mais do que o conflito direto de gradiente. Eles observam limitações, incluindo o uso de adaptadores LoRA em um modelo de 8B e a restrição dos diagnósticos mecanísticos ao espaço de parâmetros, sugerindo que trabalhos futuros devem estender esses diagnósticos para modelos maiores e ajuste fino de parâmetros totais para confirmar a generalização. O trabalho visa melhorar o monitoramento e o design de pipelines de pós-treinamento sequencial, em vez de propor um novo algoritmo específico.