Resumo Técnico: Derivas de Valor: Rastreando o Alinhamento de Valores Durante o Pós-Treinamento de LLMs

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam integrais ao discurso social, seu alinhamento com os valores humanos torna-se crítico. Enquanto os pipelines de alinhamento padrão envolvem o Ajuste Fino Supervisionado (SFT) seguido de Otimização de Preferência (ex: RLHF, DPO), a dinâmica de como e quando os modelos adquirem valores específicos durante esses estágios de pós-treinamento permanece opaca. Trabalhos anteriores focam majoritariamente em avaliações post-hoc de modelos totalmente treinados, falhando em dissecar as contribuições específicas de algoritmos de treinamento versus conjuntos de dados, ou em rastrear a evolução temporal da aquisição de valores. Essa falta de granularidade dificulta a curadoria de dados e a seleção de algoritmos que alinhem efetivamente os modelos com sistemas de valores humanos desejados.

Metodologia

Os autores introduzem um framework para rastrear "derivas de valor" — mudanças na expressão de valores de um modelo ao longo do curso do treinamento.

1. Operacionalizando Valores e Posturas:

• Valores: Definidos como posições latentes e subjetivas subjacentes a respostas para prompts carregados de valor (julgamentos normativos).
• Posturas (Stances): A manifestação concreta de valores, categorizada como apoio, neutro ou oposição para um determinado tópico.
• Medição: Os autores utilizam o V-PRISM, um conjunto de avaliação curado de 550 prompts de sondagem de valores através de 11 categorias semânticas (ex: imigração, aborto, mudanças climáticas). Para cada checkpoint do modelo, as respostas são geradas e classificadas por um LLM (GPT-4o) para determinar as distribuições de postura.

2. Métricas:

• Magnitude da Deriva (Drift Magnitude): A mudança na probabilidade esperada de postura entre dois checkpoints (início e fim de uma fase de treinamento).
• Tempo de Deriva (Drift Time): A fração de passos de treinamento necessária para que a probabilidade de uma postura atinja seu extremo eventual (pico ou ponto baixo) dentro de uma fase de treinamento.

3. Configuração Experimental:

• Modelos: Llama-3 (3B, 8B) e Qwen-3 (4B, 8B).
• Datasets de SFT: WildChat (conversas reais humano-LLM) e Alpaca (dados sintéticos de seguimento de instrução).
• Datasets de Otimização de Preferência: UltraFeedback e HH-RLHF.
• Algoritmos: Otimização de Política Próxima (PPO), Otimização de Preferência Direta (DPO) e Otimização de Preferência Simples (SIMPO).
• Controle Sintético: Para isolar o efeito dos algoritmos das propriedades do dataset, os autores construíram um dataset de preferência sintético com um "gap de valor" controlado e explícito (pares onde uma resposta apoia fortemente um valor e a outra se opõe fortemente a ele).

Principais Resultados

1. O SFT é o Principal Impulsionador do Alinhamento de Valor

• O alinhamento de valor ocorre rapidamente durante a fase de SFT, frequentemente nas primeiras centenas de passos.
• A escolha do dataset de SFT imprime um perfil de valor distinto no modelo. Por exemplo, modelos treinados no WildChat (derivado de interações com GPT-3.5) exibem uma postura predominantemente neutra (frequentemente devido a padrões de recusa), enquanto modelos treinados no Alpaca exibem um viés de apoio.
• Esse "imprinting de valor" estabelece um prior forte que persiste através dos estágios subsequentes de treinamento.

2. A Otimização de Preferência Padrão Induz Mínima Deriva de Valor

• Ao utilizar datasets padrão (UltraFeedback, HH-RLHF), PPO, DPO e SIMPO resultam em mudanças negligenciáveis nos perfis de valor estabelecidos durante o SFT.
• Causa: Os autores identificam um "baixo gap de valor" nos datasets de preferência padrão. As respostas "escolhida" e "rejeitada" nesses datasets frequentemente diferem primariamente em dimensões estilísticas (tom, verbosidade) em vez de posturas ou valores subjacentes. Consequentemente, o sinal de otimização é fraco demais para remodelar os priors de valor do modelo.

3. Diferenças Algorítmicas Emergem com Gaps de Valor Controlados

• Quando fornecidos com um dataset sintético contendo um gap de valor claro, os algoritmos de otimização de preferência podem deslocar valores, mas o fazem de forma distinta:
  • PPO: Preserva amplamente os valores induzidos pelo SFT devido à penalidade de divergência KL que ancora a política ao modelo de referência. A magnitude da deriva é baixa, a menos que o coeficiente KL seja significamente reduzido.
  • DPO: Amplifica posturas que se alinham com o prior do SFT. Se o prior do SFT se opõe a um valor, o DPO tem dificuldade em inverter totalmente a postura, resultando apenas em deslocamentos parciais. É sensível ao hiperparâmetro $\beta$.
  • SIMPO: Produz deriva de valor modesta com convergência mais lenta. Seu objetivo baseado em margem (que exige um gap de recompensa fixo) faz com que os sinais de otimização diminuam uma vez que a margem é satisfeita, levando a atualizações contidas.

Significância e Alegações

O artigo afirma fornecer a primeira visão sistemática sobre a dinâmica temporal da aquisição de valores durante o pós-treinamento. Suas principais contribuições são:

1. Reenquadramento da Formação de Valores: Estabelecer que o SFT, e não a Otimização de Preferência, é o principal mecanismo para instilar posturas de valores específicas em LLMs.
2. Diagnóstico de Limitações de Alinhamento: Identificar que a falta de deriva de valor na otimização de preferência padrão não é uma falha inerente dos algoritmos (PPO/DPO/SIMPO), mas uma consequência do "baixo gap de valor" nos datasets amplamente utilizados.
3. Insights Acionáveis:
   • Curadoria de Dados: Para mudar os valores de um modelo, o dataset de SFT deve ser curado com a distribuição de valor desejada, já que as fases posteriores raramente alteram esses priors.
   • Design de Dados de Preferência: A otimização de preferência eficaz requer datasets com contrastes de valor explícitos e altos entre as respostas escolhida e rejeitada.
   • Seleção de Algoritmo: A escolha do algoritmo de preferência (PPO vs. DPO vs. SIMPO) impacta significativamente o grau e a direção dos deslocamentos de valor quando sinais fortes estão presentes, particularmente em como eles interagem com os priors de SFT.

Os autores concluem que melhorar o alinhamento de modelos requer uma mudança de foco para a curadoria de dados de SFT e a construção de datasets de preferência que codifiquem explicitamente contrastes de nível de valor, em vez de confiar em pipelines padrão para corrigir ou refinar valores pós-SFT.