Resumo Técnico: De Volta ao Blackwell: Fechando o Ciclo na Intransitividade no Ajuste Fino de Preferências Multi-Objetivo

1. Declaração do Problema

O artigo aborda um desafio fundamental no Ajuste Fino de Preferências (PFT) para Modelos de Linguagem de Grande Escala (LLMs): preferências intransitivas (cíclicas). A intransitividade ocorre quando um juiz LLM classifica a opção $A \succ B$ e $B \succ C$, mas falha em classificar $A \succ C$. Esse fenômeno surge de duas fontes primárias:

1. Classificações inconsistentes ao longo de um único objetivo.
2. Escalarização de múltiplos objetivos em uma única métrica, o que pode introduzir inconsistências mesmo que os objetivos individuais sejam consistentes.

Os pipelines padrão de PFT dependem da aprendizagem de uma ordenação total via um modelo de recompensa. No entanto, sob preferências intransitivas, não existe uma política ótima bem definida (Vencedor de Condorcet), quebrando as premissas centrais do PFT padrão. Embora trabalhos anteriores tenham tentado mitigar isso dividindo julgamentos agregados em múltiplos objetivos ou enquadrando o PFT como um jogo de soma zero para encontrar uma política robusta contra comparadores de pior caso, combinar essas abordagens é tecnicamente difícil. Especificamente, dividir objetivos em um cenário multi-objetivo invalida o Teorema Minimax, fazendo com que mecanismos padrão de resolução de jogos (como auto-jogo) falhem.

2. Metodologia

2.1 Conceito de Solução: Vencedor Blackwell de Entropia Máxima (MaxEntBW)

Os autores propõem um novo conceito de solução baseado em teoria dos jogos chamado Vencedor Blackwell de Entropia Máxima (MaxEntBW). Diferentemente do Vencedor Minimax (que é mal definido em cenários multi-objetivo sem o Teorema Minimax), o MaxEntBW é bem definido mesmo sob múltiplas preferências globalmente inconsistentes.

Formalmente, um MaxEntBW é uma política $\pi^*$ que maximiza o valor do jogo $V(\pi)$, definido como:
$$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$$
Onde:

• $P(\pi \succ \pi' \mid x)$ é o vetor de probabilidades de vitória par a par através de $m(x)$ objetivos.
• $w(x)$ representa o peso dos objetivos pelo adversário.
• $\pi'$ é a política comparadora do adversário.
• $\beta D_{KL}(\pi' \parallel \pi_{ref})$ é um termo de regularização KL que restringe o adversário a permanecer próximo de uma política de referência $\pi_{ref}$.

Essa formulação garante que a política seja robusta contra a ponderação de objetivos de pior caso e a política comparadora dentro de sua vizinhança local, sem exigir que o Teorema Minimax se mantenha.

2.2 Algoritmo: PROSPER

Para computar MaxEntBWs em escala, os autores derivam o PROSPER (Otimização de Preferência com um Único Jogador sobre Rubricas Integrais). O algoritmo reduz o complexo jogo de três jogadores (Aprendiz, Pesos de Objetivo Adversariais, Política Adversarial) em um problema de otimização de um único jogador tratável através de três etapas-chave:

1. Política Adversarial de Forma Fechada: Ao fixar o aprendiz $\pi$ e os pesos $w$, a minimização interna sobre a política adversária $\pi'$ admite uma solução de forma fechada via regularização de entropia (inspirada em Ziebart et al., 2008). Isso elimina a necessidade de loops de treinamento adversarial.
2. Minimização por Prompt: A otimização sobre os pesos de objetivo $w$ é mostrada como côncava. Consequentemente, o $w$ ótimo para qualquer prompt é um vértice do simplex (ou seja, selecionar um único objetivo de pior caso). Isso permite que o algoritmo simplesmente minimize sobre objetivos prompt a prompt, removendo a necessidade de otimizar $w$.
3. Otimização Baseada em Regressão: O objetivo restante é côncavo em $\pi$. Em vez de realizar descida de espelho online diretamente (o que é inviável para modelos grandes), o PROSPER usa uma reformulação baseada em regressão. Ele estima gradientes via amostragem e atualiza os parâmetros da política $\theta$ resolvendo um problema de regressão de perda quadrática:
   $$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$$
   onde $g(z)$ é o gradiente estimado derivado do objetivo de pior caso e da política de referência.

3. Contribuições Principais

1. Definição de MaxEntBW: O artigo introduz o Vencedor Blackwell de Entropia Máxima, um conceito de solução que generaliza Vencedores Blackwell para cenários multi-objetivo e permanece bem definido sob preferências intransitivas sem depender do Teorema Minimax.
2. Algoritmo PROSPER: Os autores derivam um algoritmo provadamente eficiente, baseado em regressão, para computar MaxEntBWs. O método funde insights de aprendizagem por reforço inverso e técnicas recentes de otimização de preferências para eliminar otimizações de loop interno, reduzindo o problema a uma simples regressão.
3. Validação Empírica: O artigo demonstra que o feedback de juízes LLM multi-objetivo é substancialmente intransitivo na prática. Mostra que o PROSPER supera baselines no ajuste fino de LLMs (escalas de 3B e 7B) a partir de feedback multi-objetivo, especificamente em benchmarks de seguimento de instruções e chat geral.

4. Resultados Experimentais

Os autores avaliaram o PROSPER usando o dataset WILDCHECKLISTS, onde juízes LLM avaliam respostas contra rubricas específicas de prompt.

• Análise de Intransitividade: Experimentos confirmaram que dividir rubricas em itens individuais (multi-objetivo) reduz, mas não elimina, a intransitividade. Uma fração significativa de prompts ainda exibe ciclos e carece de um Vencedor de Condorcet.
• Desempenho em Benchmarks:
  • Seguimento de Instruções e Chat: No AlpacaEval 2.0 e Arena-Hard, o PROSPER (7B) alcançou as pontuações mais altas entre todas as baselines, incluindo a baseline RLCF (Aprendizagem por Reforço a partir de Feedback de Checklist) e variantes de ablação (PROSPER-JC e PROSPER-VB).
  • Capacidades Gerais: Em benchmarks fora de domínio (IFEval, MMLU, ARC, HellaSwag, TruthfulQA), o PROSPER manteve desempenho comparável ao modelo base e ao RLCF, indicando que a natureza adversarial do treinamento não degradou capacidades gerais de raciocínio ou conhecimento.
• Estudos de Ablação:
  • PROSPER-JC (Objetivo Único/Pontuação Agregada): Desempenhou pior que o PROSPER completo, destacando a necessidade de lidar explicitamente com múltiplos objetivos.
  • PROSPER-VB (Competidor Fixo): Desempenhou pior que o PROSPER completo, demonstrando o valor da política de competidor selecionada adversarialmente.

5. Significado e Afirmações

O artigo afirma que o PROSPER fornece uma estrutura robusta para alinhar LLMs com preferências humanas (ou de IA) complexas e multi-critério que são inerentemente inconsistentes. Ao afastar-se da escalarização e de pressupostos padrão de teoria dos jogos que falham em cenários multi-objetivo, os autores oferecem uma solução de "primeiros princípios" que:

• Lida com Intransitividade: Aborda diretamente a natureza cíclica das preferências sem forçar uma ordenação total que pode não existir.
• Escalabilidade: Alcança eficiência ao reduzir o problema para regressão de um único jogador, evitando o custo computacional do treinamento adversarial.
• Utilidade Prática: Demonstra que alavancar feedback detalhado de rubricas multi-objetivo (em vez de pontuações agregadas) leva a políticas qualitativamente mais fortes em cenários reais de chat e seguimento de instruções.

Os autores liberam checkpoints de modelos treinados nas escalas de 3B e 7B de parâmetros para facilitar pesquisas adicionais neste domínio.