Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

Resumo Técnico: Transitividade encontra Ciclicidade: Decomposição Explícita de Preferência para Alinhamento Dinâmico de Grandes Modelos de Linguagem

Declaração do Problema
O Aprendizado por Reforço com Feedback Humano (RLHF) padrão baseia-se no modelo Bradley-Terry (BT), que assume que as preferências humanas são transitivas e podem ser representadas por recompensas escalares ($A \succ B \land B \succ C \implies A \succ C$). No entanto, as preferências humanas do mundo real frequentemente exibem padrões cíclicos e intransitivos (por exemplo, dinâmicas de Pedra-Papel-Tesoura) que modelos escalares fundamentalmente falham em capturar. Embora abordagens recentes, como o Modelo de Preferência Geral (GPM), abordem a ciclicidade usando formas bilineares antissimétricas, os autores identificam uma limitação teórica crítica: a formulação implícita do GPM entrelaça dinâmicas hierárquicas (transitivas) e cíclicas. Esse entrelaçamento impede que o GPM garanta a representação de "soluções dominantes" (candidatos que derrotam estritamente todos os outros) em contextos cíclicos arbitrários, pois a capacidade geométrica necessária para hierarquias globais pode ser "sufocada" por ciclos locais complexos.

Metodologia
O artigo propõe um framework de duas frentes para abordar esses desafios estruturais e de otimização:

1. Modelo Híbrido Recompensa-Cíclico (HRC):

   • Base Teórica: Baseando-se na decomposição da teoria dos jogos (Balduzzi et al., 2019), os autores formalizam a modelagem de preferências como um Jogo Funcional-Simétrico de Soma Zero. Eles provam que qualquer função de preferência pode ser unicamente decomposta em um componente transitivo ortogonal ($\phi_T$) e um componente cíclico ($\phi_C$).
   • Arquitetura: O HRC instancia explicitamente essa decomposição. Ele combina uma cabeça de recompensa escalar (capturando o componente transitivo via uma estrutura semelhante ao BT) com uma cabeça cíclica baseada em vetores (capturando dinâmicas intransitivas via um operador antissimétrico semelhante ao GPM).
   • Mecanismo: A pontuação final de preferência é a soma da diferença escalar transitiva e da interação vetorial cíclica: $s_{HRC} = (r(y_i) - r(y_j)) + (v_i^\top W v_j)$. O modelo impõe restrições de norma unitária nos embeddings e utiliza um mecanismo de controle (gating) sensível ao contexto para modular a intensidade cíclica.
   • Vantagem: Diferentemente do GPM, que luta para representar um candidato dominante ao lado de um ciclo sem restrições de alta dimensionalidade específicas, o HRC garante matematicamente a preservação de hierarquias dominantes ao desacoplar as duas dinâmicas. Ele mantém complexidade de inferência linear $O((2d+1)K)$.

2. Otimização de Preferência por Auto-Jogo Dinâmico (DSPPO):

   • Conceito: Algoritmos padrão de auto-jogo (por exemplo, SPPO) otimizam contra um oráculo de preferência estático. Os autores argumentam que isso limita a capacidade do modelo de navegar no landscape multidimensional revelado pelo HRC.
   • Mecanismo: O DSPPO trata o alinhamento como um jogo variante no tempo. Ele agenda o sinal de preferência ao longo das iterações de treinamento, transitando gradualmente de uma espinha dorsal transitiva robusta para nuances cíclicas refinadas.
   • Agendamento: A pontuação de preferência na iteração $t$ é definida como $s_t = (1 + \frac{\lambda}{\sqrt{t}})s_T + (1 - \frac{\lambda}{\sqrt{t}})s_C$. Essa abordagem de aprendizado de currículo estabiliza o treinamento ao estabelecer uma linha de base de qualidade global antes de introduzir dinâmicas locais complexas, garantindo teoricamente a convergência para o Equilíbrio de Nash com uma taxa de $O(1/\sqrt{T})$.

Principais Contribuições

• Unificação Teórica: O artigo fornece uma prova teórica de que o HRC unifica o modelo BT e o GPM ao decompor explicitamente as preferências em componentes transitivos e cíclicos ortogonais, resolvendo a incapacidade estrutural do GPM de garantir soluções dominantes em configurações mistas.
• Inovação Algorítmica: A introdução do DSPPO, um framework de otimização dinâmica que aproveita os sinais HRC decompostos para guiar a evolução da política, oferecendo uma trajetória de convergência mais robusta do que as linhas de base estáticas.
• Validação Empírica: Experimentos extensivos demonstram que o HRC supera as linhas de base BT e GPM na precisão de modelagem de preferências, particularmente em domínios que exigem o tratamento de "Empates" e raciocínio complexo. O framework HRC+DSPPO melhora significativamente a qualidade de geração a jusante.

Resultados

• Modelagem de Preferência (RewardBench 2): O HRC superou consistentemente as linhas de base BT e GPM. No Gemma-2B-it, o HRC alcançou uma precisão média de 57,63%, superando a linha de base mais forte (GPM) em 1,23%. Notavelmente, no domínio "Empates", o HRC alcançou 74,51% comparado a 73,53% tanto para BT quanto para GPM, validando sua capacidade de lidar com preferências não estritas.
• Alinhamento a Jusante:
  • AlpacaEval 2.0: Usando o Gemma-2B-it como base, o HRC+DSPPO alcançou uma taxa de vitória controlada por comprimento de pico de 44,75%, superando significativamente as linhas de base SPPO treinadas com BT ou GPM.
  • Arena-Hard-v0.1: O HRC+DSPPO alcançou uma taxa de vitória de 46,8% no Gemma-2B-it, uma melhoria de 3,2% sobre a melhor linha de base, demonstrando capacidade superior em prompts desafiadores.
  • MT-Bench: O framework mostrou desempenho robusto em conversas multi-turno, com o HRC+DSPPO alcançando uma pontuação média de 8,29 no Gemma-2B-it.
• Dados Sintéticos: Experimentos em conjuntos de dados sintéticos "dominante + ciclo" confirmaram que o HRC converge mais rápido e alcança maior precisão do que o GPM em configurações mistas transitivas-cíclicas, enquanto o GPM de baixa dimensionalidade falhou em capturar estruturas cíclicas.

Significado
O artigo afirma que representar fielmente a natureza complexa e heterogênea das preferências humanas — especificamente a dualidade entre hierarquias transitivas globais (por exemplo, segurança, utilidade) e ciclos intransitivos locais (por exemplo, compensações estilísticas) — é essencial para um alinhamento robusto de IA. Ao desacoplar explicitamente esses componentes, o framework proposto supera as limitações estruturais de modelos escalares existentes e puramente cíclicos. Os autores postulam que essa abordagem permite que sistemas de IA naveguem em paisagens éticas e culturais diversas de forma mais eficaz, fomentando maior confiança na tomada de decisão automatizada ao respeitar a natureza não estrita e multidimensional do julgamento humano. O trabalho sugere que futuras estratégias de alinhamento devem ir além de recompensas escalares estáticas para abraçar decomposições dinâmicas e baseadas na teoria dos jogos de preferência.