💬 NLP

When Are Two RLHF Objectives the Same?

Este artigo apresenta o Opal, um algoritmo de canonicalização que determina a equivalência algébrica de objetivos de preferência de RLHF, revelando que muitos métodos amplamente utilizados são, na verdade, reparametrizações do mesmo objetivo subjacente, ao mesmo tempo em que identifica os mecanismos estruturais específicos que criam objetivos genuinamente distintos.

Autores originais: Madhava Gaikwad

Publicado 2026-02-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Madhava Gaikwad

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando aperfeiçoar a receita de um novo prato. Ao longo dos últimos anos, centenas de outros chefs publicaram suas próprias versões "melhoradas" desta receita. Alguns dizem que mudaram os temperos, outros dizem que ajustaram a temperatura de cozimento e outros afirmam que inventaram uma maneira completamente nova de misturar os ingredientes.

A grande questão é: estas são realmente receitas diferentes ou são apenas o mesmo prato com nomes diferentes?

Este artigo apresenta uma ferramenta chamada Opal (pense nela como um "Tradutor de Receitas" ou um "Scanner de Impressão Digital de Sabores") para responder exatamente a essa pergunta para métodos de treinamento de IA conhecidos como RLHF (Aprendizado por Reforço com Feedback Humano).

Aqui está o detalhamento do que o artigo descobriu, usando analogias simples:

1. O Problema: Muitos Nomes, Mesmo Gosto

No mundo da IA, pesquisadores propuseram dezenas de maneiras diferentes de ensinar modelos de IA a seguir as preferências humanas. Eles dão nomes pomposos como DPO, SPPO, SimPO e GRPO. Cada artigo afirma que seu método é um "avanço" ou "distintamente melhor".

Os autores se perguntaram: Será que estes são realmente objetivos matemáticos diferentes ou são apenas o mesmo objetivo escrito em línguas diferentes?

2. A Solução: Opal (O Tradutor)

Os autores construíram um algoritmo chamado Opal. Você pode pensar no Opal como uma máquina que pega duas receitas diferentes (fórmulas matemáticas) e tenta traduzi-las para uma única linguagem "canônica" padrão.

Se as receitas traduzirem para a exata mesma linguagem padrão: O Opal diz: "Estas são iguais". Elas recebem a mesma "impressão digital" (um código hash).
Se elas não puderem ser traduzidas para a mesma linguagem: O Opal produz uma "testemunha" (witness). Isso é como um exemplo concreto mostrando exatamente por que elas são diferentes. Por exemplo: "Na Receita A, se você adicionar sal, ela fica salgada. Na Receita B, adicionar sal faz com que ela fique doce, dependendo do que mais houver na panela."

3. A Grande Descoberta: Muitos Métodos "Novos" São Apenas Velhos Disfarçados

Quando os autores rodaram o Opal em 33 métodos diferentes, descobriram algo surpreendente:

A Família "DPO": Dez métodos diferentes (incluindo SPPO e Nash-MD) revelaram-se algebricamente idênticos ao famoso método DPO.
- A Analogia: É como alguém alegar que inventou uma nova maneira de ferver água chamando-a de "Transição de Fase Térmica". É a mesma fervura de água, apenas com um nome pomposo.
- O Resultado: Mudar de DPO para SPPO não altera o objetivo real que a IA está tentando alcançar; apenas muda como a matemática é escrita.
As Inovações "Reais": Apenas um pequeno punhado de métodos eram verdadeiramente diferentes.
- GRPO (O Efeito de Lote/Batch): Este método é usado pelo famoso modelo DeepSeek-R1. O Opal provou que ele é fundamentalmente diferente do DPO.
  - A Analogia: Imagine que você está dando notas aos alunos. No método padrão (DPO), você dá a nota para o Aluno A baseando-se apenas na nota do próprio aluno. No GRPO, você dá a nota para o Aluno A baseando-se em como ele se saiu em comparação com os outros alunos na sala naquele dia. Se você colocar um gênio na sala, o Aluno A parecerá pior. Se você colocar um aluno com dificuldades na sala, o Aluno A parecerá melhor. O "lote" (batch) de alunos muda a nota. O Opal provou que essa "dependência de lote" torna o GRPO uma fera completamente diferente.
- KTO e Outros: Estes métodos tratam "vitórias" e "derrotas" de forma diferente (como um jogador que tem mais medo de perder do que prazer em ganhar). Essa assimetria os torna estruturalmente únicos.

4. Os Quatro "Ingredientes Secretos" para Diferenças Reais

O artigo identifica que, para um método ser verdadeiramente novo (e não apenas uma reinterpretação), ele deve quebrar uma de quatro regras. Se ele não quebra uma regra, é provável que seja apenas uma reedição de um método antigo.

Normalização de Grupo: Alterar a pontuação com base em quem mais está no grupo (como o GRPO).
Ponderação Dependente de Par: Tratar pares específicos de respostas de forma diferente com base em seus traços únicos (como o KTO).
Estrutura ao Nível de Token: Olhar para a resposta da IA palavra por palavra, em vez da frase inteira de uma vez.
Nível de Trajetória: Olhar para todo o caminho de decisões que a IA tomou, não apenas para a resposta final.

5. O Que Isso Significa para Profissionais

Se você é um engenheiro tentando escolher um método:

Não se deixe enganar pelos nomes. Se você vir um novo método que parece ser o DPO, mas tem uma derivação pomposa, pode ser apenas o DPO usando um smoking.
Verifique o "Lote" (Batch). Se um método altera seu comportamento dependendo de quais outros exemplos estão no lote de treinamento, ele está fazendo algo único (como o GRPO).
O Objetivo é o Mesmo. Mesmo que a matemática pareça diferente, se o Opal disser que são equivalentes, eles visarão o mesmo comportamento "perfeito" da IA. No entanto, eles podem chegar lá em velocidades ou com estabilidades diferentes.

Resumo

O artigo é um "choque de realidade" para o campo da IA. Ele usa uma ferramenta matemática (Opal) para remover o jargão pomposo e mostrar que a maioria dos métodos "novos" recentes são, na verdade, o mesmo velho objetivo escrito de forma diferente. A verdadeira inovação só acontece quando você muda fundamentalmente a maneira como a IA compara as respostas (como olhar para o grupo inteiro ou para o caminho inteiro), e não apenas quando você rearranja a álgebra.

Resumo Técnico: "Quando Dois Objetivos de RLHF São Iguais?"

Declaração do Problema

O Aprendizado por Reforço com Feedback Humano (RLHF) tornou-se o paradigma padrão para alinhar modelos de linguagem com as preferências humanas. Embora o pipeline original envolvesse o treinamento de um modelo de recompensa seguido pela Otimização de Política Próxima (PPO), desenvolvimentos recentes introduziram inúmeras variantes de Otimização de Preferência Direta (DPO) e formulações de teoria dos jogos (ex: SPPO, Nash-MD, GRPO, KTO). Apesar de relatarem melhorias distintas, uma questão fundamental permanece sem solução: quando dois métodos de otimização de preferência devem ser considerados genuinamente diferentes?

Atualmente, não está claro se métodos derivados de diferentes perspectivas teóricas (ex: modelagem de recompensa vs. teoria dos jogos) otimizam objetivos distintos ou se representam apenas rearranjos algébricos da mesma função de perda. Essa ambiguidade complica a avaliação da novidade algorítmica e a tomada de decisão prática quanto à seleção de métodos.

Metodologia: O Framework Opal

Para abordar isso, os autores introduzem o Opal, um algoritmo de canonicalização projetado para determinar se dois objetivos de preferência são algebricamente equivalentes. O framework opera sob a premissa de que métodos de preferência de pares podem ser expressos como transformações de uma margem comum subjacente, $\Delta = s(y^+) - s(y^-)$ , onde $s$ é uma função de pontuação.

Opal decompõe qualquer perda de preferência em uma composição de três operações primitivas:

Add[ $\phi$ ] (Adição): Adiciona um termo de penalidade dependente das respostas individuais (ex: regularização KL, normalização de comprimento).
- $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
Reweight[ $\omega$ ] (Reponderação): Multiplica a margem por um peso (ex: temperatura, pesos de importância).
- $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
Link[ $g$ ] (Ligação): Aplica uma função monotônica à margem (ex: perda logística, hinge ou quadrática).
- $\Delta(y, z) \mapsto g(\Delta(y, z))$

Condições de Redutibilidade

Um método é considerado redutível (e, portanto, capaz de ser mapeado para uma forma canônica única) se satisfizer três condições:

(R1) Transitividade: A margem deve ser expressável como uma diferença de pontuações $\phi(y) - \phi(z)$ . Violações implicam preferências intransitivas onde a margem entre $a$ e $c$ depende de mais do que apenas suas pontuações individuais.
(R2) Independência de Par: Os pesos devem depender apenas do prompt $x$ , não do par específico $(y, z)$ ou da composição do lote (batch).
(R3) Monotonicidade: A função de transformação $g$ deve ser estritamente monotônica para preservar a ordenação de preferência.

Canonicalização e Testemunhas (Witnesses)

Forma Canônica: Se um método satisfaz (R1)–(R3), o Opal o reduz a uma forma normal única: $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$ , onde $\Phi$ é centrado ( $\sum \Phi(y) = 0$ ). Dois métodos são equivalentes se, e somente se, suas formas canônicas (e respectivos hashes) coincidirem.
Testemunhas: Se um método falha em qualquer condição, o Opal gera uma testemunha concreta certificando a não equivalência. Exemplos incluem:
- Testemunha de Ciclo: Um trio $(a, b, c)$ com uma soma de ciclo não nula, violando a transitividade.
- Peso Dependente de Par: Dois pares no mesmo prompt recebendo pesos diferentes.
- Peso Dependente de Grupo: O mesmo par recebendo pesos efetivos diferentes dependendo da composição do lote.

O framework exclui explicitamente métodos de nível de token (ex: RTO) e métodos de nível de trajetória (ex: PPO-RLHF) porque eles não operam sobre margens escalares entre pares de respostas completas, situando-se fora do escopo da análise de margem de pares.

Principais Contribuições

O Algoritmo Opal: Uma ferramenta sistemática que decide a equivalência algébrica ao reduzir objetivos a uma forma canônica ou produzir uma testemunha verificável de não equivalência.
Análise de 33 Métodos: Os autores analisaram 33 métodos de otimização de preferência em configurações de pares, listas, grupos, tokens e trajetórias.
- Resultado: 25 métodos são redutíveis, colapsando em 14 formas canônicas distintas.
- Equivalência: Dez métodos (incluindo DPO, SPPO, Nash-MD, INPO, DNO, APO, RSO, XPO, cDPO, rDPO) reduzem-se à mesma forma canônica do DPO.
- Irredutibilidade: Oito métodos são comprovadamente irredutíveis, incluindo GRPO, RLOO, KTO, WPO, BCO, RTO, PPO-RLHF e ReMax.
Prova de Irredutibilidade do GRPO: O artigo fornece uma testemunha explícita provando que o GRPO é fundamentalmente diferente do DPO. Demonstra que a normalização de grupo do GRPO faz com que a contribuição do gradiente de um par de respostas dependa da composição específica do lote (violando R2), alterando a escala relativa das margens com base em outras respostas presentes.
Eixos de Design Ortogonais: Os autores identificam quatro mecanismos estruturais que geram objetivos genuinamente diferentes, que são ortogonais à equivalência canônica:
- Normalização de grupo (ex: GRPO).
- Ponderação dependente de par (ex: KTO).
- Estrutura de nível de token (ex: RTO).
- Otimização de nível de trajetória (ex: PPO-RLHF).

Resultados

Equivalência Algébrica: Muitos métodos amplamente citados são algebricamente idênticos. Por exemplo, SPPO e Nash-MD, derivados de objetivos minimax de teoria dos jogos, reduzem-se exatamente à mesma forma canônica do DPO. Alternar entre eles não altera o alvo de otimização, apenas a derivação.
Distinções Estruturais: Métodos que violam as condições de redutibilidade (especificamente R2) exibem paisagens de otimização fundamentalmente diferentes. A normalização dependente de lote do GRPO significa que o mesmo par de respostas pode receber gradientes diferentes dependendo do lote, uma propriedade impossível para qualquer método redutível.
Verificação por Hash: Os autores fornecem um hash SHA-256 para a forma canônica de cada método redutível, permitindo que praticantes verifiquem a equivalência programaticamente.

Significância e Alegações

O artigo afirma que o Opal separa mudanças de representação de mudanças de substância.

Esclarecendo a Novidade: O framework sugere que grande parte da aparente diversidade na literatura de otimização de preferência surge de reparametrizações de um pequeno conjunto de objetivos subjacentes. A verdadeira novidade algorítmica requer a violação de pelo menos uma das suposições de redutibilidade (R1–R3).
Orientação Prática: Para profissionais, selecionar entre métodos equivalentes (ex: DPO vs. SPPO) deve ser guiado por detalhes de implementação, estabilidade numérica ou viés implícito, em vez de expectativas de um comportamento algorítmico fundamentalmente diferente.
Equivalência Teoria-Decisória: Métodos equivalentes induzem a mesma ordenação de preferência Bayes-ótima e concordam com o sinal de cada margem, embora possam diferir em magnitudes de gradiente e taxas de convergência.

Os autores posicionam este trabalho como o primeiro framework algorítmico capaz de responder "esses dois métodos são iguais?" com uma prova formal em ambas as direções, indo além da categorização heurística para a verificação algébrica rigorosa.