Resumo Técnico: Além de Pares: Seu Modelo de Linguagem está Secretamente Otimizando um Grafo de Preferências

1. Declaração do Problema

Os métodos atuais de alinhamento para Modelos de Linguagem de Grande Escala (LLMs), particularmente a Otimização Direta de Preferências (DPO), dependem predominantemente de comparações de preferência em pares. Embora a DPO ofereça uma alternativa estável ao Aprendizado por Reforço com Feedback Humano (RLHF) ao eliminar a modelagem explícita de recompensas, ela enfrenta um gargalo fundamental quando aplicada a regimes práticos de coleta de dados.

Em muitos cenários do mundo real (por exemplo, raciocínio, síntese de programas), os dados de treinamento consistem em múltiplas execuções por prompt, que são classificadas por julgamento humano, verificação baseada em execução ou heurísticas. A DPO padrão lida com isso decompondo essas classificações de múltiplas amostras em comparações em pares independentes ($O(K^2)$ instâncias). Essa abordagem reducionista introduz três limitações críticas:

1. Perda de Transitividade: Descarta a estrutura transitiva global inerente a listas classificadas (por exemplo, se $A \succ B$ e $B \succ C$, a DPO padrão não impõe explicitamente $A \succ C$).
2. Supervisão Redundante/Conflitante: Trata pares isolados como restrições separadas, potencialmente introduzindo ruído quando as amostras estão empatadas ou quando a classificação é parcial.
3. Incompatibilidade com Ordens Parciais: Muitos sinais de avaliação (por exemplo, correção em matemática ou código) produzem classes de equivalência ou ordens parciais que não podem ser representadas fielmente como listas de ordem total estritas exigidas por métodos listwise existentes (por exemplo, PRO, LiPO).

2. Metodologia: Otimização Direta de Preferências em Grafo (GraphDPO)

Os autores propõem o GraphDPO, uma generalização principial da DPO que desloca a modelagem de preferências de pares isolados ou listas estritas para grafos de preferência acíclicos direcionados (DAGs).

2.1 Representação do Grafo de Preferências

Para um prompt $x$ dado e um conjunto de $K$ respostas candidatas $\{y_1, \dots, y_K\}$, o GraphDPO constrói um DAG $G_x = (V, E)$:

• Nós: Representam as respostas amostradas.
• Arestas: Codificam relações de dominância. Uma aresta $i \to j$ existe se a resposta $y_i$ é preferida em relação a $y_j$ ($y_i \succ_x y_j$).
• Classes de Equivalência: Para lidar com sinais discretos (por exemplo, correto/incorreto) onde múltiplas respostas compartilham o mesmo nível de preferência, o método agrupa respostas em classes de equivalência $C_1 \succ C_2 \succ \dots \succ C_G$. Arestas são permitidas apenas entre classes diferentes; arestas intra-classe são mascaradas. Isso previne gradientes espúrios de ordenar arbitrariamente amostras empatadas.

2.2 Objetivo Estruturado em Grafo

O GraphDPO otimiza uma verossimilhança definida sobre vizinhanças dominadas. Para cada resposta $y_i$, o modelo é treinado para atribuir uma pontuação maior do que todas as respostas que ela domina ($N^-(i)$).

• Perda Local: Usando uma formulação inspirada em Plackett–Luce (PL), a perda para o nó $i$ é:
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  onde $\tilde{s}_i$ é a pontuação de razão logarítmica centralizada em relação a uma política de referência.
• Agregação Global: A perda total agrega esses termos locais. Esta formulação impõe transitividade global: se $y_i$ domina $y_j$, o objetivo incentiva $s_i > s_j$, e relações transitivas propagam-se naturalmente através de vizinhanças compartilhadas.
• Complexidade: Apesar de aproveitar o grafo completo, o método mantém complexidade linear $O(K)$ por prompt sob a construção de classes de equivalência (DAG em camadas), evitando a enumeração $O(K^2)$ de comparações em pares ou a normalização de permutação de métodos listwise.

2.3 Ancoragem à Verdade Terrena

Quando soluções verificadas (respostas de oráculo) estão disponíveis, o GraphDPO as integra como nós dominantes no grafo.

• Perda de Ancoragem: Um termo separado incentiva a resposta do oráculo a dominar todas as respostas geradas.
• Cronograma Annealed: Para estabilizar o treinamento inicial enquanto preserva flexibilidade posteriormente, o peso do termo de ancoragem $\lambda_{gt}(t)$ é inicializado alto e gradualmente decaído para 1.0. Isso previne que a política superajuste ao oráculo muito cedo, enquanto garante propagação consistente de preferências.

2.4 Objetivo de Treinamento

O objetivo final combina a perda do grafo, a ancoragem opcional à verdade terrena e um termo de regularização KL em nível de token para prevenir desvios da política de referência:
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
A DPO em pares padrão é recuperada como um caso especial quando $K=2$ com uma preferência estrita.

3. Contribuições Principais

1. Otimização de Preferências Estruturada em Grafo: O GraphDPO reformula a aprendizagem de preferências para construir um DAG de preferência globalmente consistente sobre múltiplas execuções, impondo transitividade e recuperando a DPO padrão como um caso especial.
2. Classificação em Grupos com Tratamento de Preferências Empatadas: Suporta naturalmente classes de equivalência, realizando comparações apenas entre grupos de preferência para evitar gradientes espúrios de amostras quase idênticas.
3. Aprendizagem de Grafo Completo em Tempo Linear: O método captura informações de classificação global através de agregação eficiente log-sum-exp sobre conjuntos dominados, evitando a sobrecarga computacional da enumeração em pares ou da normalização de permutação listwise.
4. Ancoragem à Verdade Terrena Estabilizadora: Introduz um mecanismo de ancoragem annealed que estabiliza a otimização inicial usando soluções verificadas sem sacrificar a diversidade da política em estágios posteriores.

4. Resultados Experimentais

Os autores avaliaram o GraphDPO em benchmarks de raciocínio matemático (GSM8K, MATH-500) e síntese de programas (APPS) usando modelos base Qwen3.

• Desempenho: O GraphDPO superou consistentemente as linhas de base, incluindo Ajuste Fino Supervisionado (SFT), GRPO, SPIN e métodos listwise (PRO, LiPO).
  • GSM8K: Alcançou 92,42% (sem ancoragem) e 92,75% (com ancoragem), superando a melhor linha de base listwise (LiPO: 89,23%).
  • MATH-500: Alcançou 87,40% (sem GT) e 88,87% (com GT), mostrando uma lacuna maior sobre métodos listwise em comparação com o GSM8K, sugerindo que os benefícios escalam com a complexidade da tarefa.
  • APPS: Alcançou 72,93% (sem GT) e 73,76% (com GT), superando métodos baseados em grupos (GRPO) e listwise.
• Descobertas de Ablação:
  • Grafo vs. Listwise: A lacuna de desempenho entre GraphDPO e PRO (que remove a codificação de arestas do grafo) confirma que modelar ordens parciais e estrutura transitiva é superior a suposições de ordem total estrita.
  • Contagem de Execuções ($K$): O aumento de $K$ geralmente melhorou o desempenho ao induzir grafos de preferência mais ricos, permitindo que o modelo aproveite relações de dominância transitiva não observáveis na amostragem em pares.
  • Ancoragem: A ancoragem à verdade terrena forneceu ganhos consistentes, particularmente para orçamentos menores de execuções e tarefas mais difíceis (MATH-500), onde estabilizou a propagação de preferências.

5. Significado e Alegações

O artigo afirma que modelar a estrutura de preferência como grafos fornece uma alternativa escalável e robusta tanto a objetivos de alinhamento em pares quanto listwise.

• Escalabilidade: Ao manter complexidade linear enquanto captura estrutura global, o GraphDPO é adequado para configurações de alinhamento pesadas em execuções comuns em tarefas de raciocínio e codificação.
• Robustez: O método lida com ordens parciais, classes de equivalência e relações de comparabilidade esparsas que quebram suposições listwise estritas.
• Viés Indutivo: Os resultados sugerem que modelar explicitamente relacionamentos estruturados entre execuções (transitividade e dominância) é crítico para escalar o alinhamento a domínios de problemas complexos onde suposições de ordenação simples falham.

Os autores concluem que o GraphDPO oferece um viés indutivo simples e eficaz para o alinhamento de LLMs, preenchendo a lacuna entre a simplicidade da DPO e a riqueza estrutural de classificações de múltiplas amostras.