Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions

Este estudo apresenta o OXRL, um framework unificado que avalia 51 algoritmos de pós-treinamento e revela que as classificações de desempenho são instáveis e dependentes da escala do modelo, enquanto modificações na função de perda trazem ganhos insignificantes e a escolha do algoritmo tem impacto principalmente dentro da distribuição de treinamento.

O essencial

Imagine que você é um chef de cozinha tentando criar o prato perfeito. Você tem uma receita base (o modelo de IA treinado) e quer aperfeiçoá-la para que ela fique deliciosa e útil para os clientes (o alinhamento pós-treinamento).

Nos últimos anos, surgiram dezenas de novas técnicas de cozinha (algoritmos como DPO, SimPO, PPO, etc.). Cada chef (pesquisador) diz: "Minha técnica é a melhor!", mas eles usam panelas diferentes, ingredientes diferentes e medem o sabor de formas distintas. Ninguém conseguia comparar quem realmente cozinhava melhor.

Este estudo, chamado OXRL, foi como uma Grande Competição de Cozinhas Controlada. Eles pegaram 51 técnicas diferentes, usaram a mesma cozinha, os mesmos fogões e os mesmos ingredientes, e testaram tudo em panelas de tamanhos variados (de 0,5 a 7 bilhões de "ingredientes" ou parâmetros).

Aqui estão as descobertas principais, explicadas de forma simples:

1. O Tamanho da Panela Muda Tudo (Inversão de Ranking)

A descoberta mais chocante é que o que funciona em uma panela pequena, falha em uma grande, e vice-versa.

• Na panela pequena (Modelos de 1,5 bilhão): A técnica de "Aprendizado por Reforço Online" (onde o modelo pratica e aprende com seus próprios erros em tempo real, como um aluno fazendo exercícios) era a campeã. Era como se um aluno inteligente precisasse de muita prática para aprender.
• Na panela gigante (Modelos de 7 bilhões): A situação inverteu completamente! A técnica que era a pior na panela pequena (chamada SimPO) tornou-se a melhor de todas.
• A Analogia: Imagine que você está ensinando uma criança (modelo pequeno) e um adulto (modelo grande) a andar de bicicleta.
  • Para a criança, você precisa segurá-la e guiá-la o tempo todo (técnicas online complexas).
  • Para o adulto, se você apenas der uma instrução simples e clara (técnicas mais simples como SimPO), ele entende e faz perfeitamente. Tentar segurar o adulto seria inútil e até atrapalhar.
  • Conclusão: Não existe "melhor técnica" universal. Depende do tamanho do seu modelo.

2. A "Temperatura" da Receita Não Importa (Os 20 Variantes do DPO)

Os pesquisadores testaram 20 variações da técnica mais famosa (DPO), tentando mudar pequenas coisas na "fórmula matemática" (como adicionar um pouco mais de sal ou mudar o tipo de pimenta).

• O Resultado: Nenhuma das 20 variações foi melhor que a receita original. Na verdade, a maioria foi igual ou pior.
• A Analogia: É como tentar criar 20 tipos diferentes de "molho de tomate especial" para uma pizza que já está perfeita. Você pode mudar a quantidade de manjericão ou o tipo de tomate, mas o sabor final não vai melhorar. O problema não era o molho; era a massa (o modelo) ou o forno (o tamanho).
• Conclusão: Gastar tempo criando novas fórmulas matemáticas complexas é um desperdício. Use a receita original (DPO padrão) e foque em outras coisas.

3. O Treino é Específico para a Tarefa (O Efeito "Especialista")

Eles testaram os modelos em matemática (GSM8K) e em outras tarefas gerais (como responder perguntas de cultura geral).

• O Resultado: Na matemática, a diferença entre o melhor e o pior algoritmo foi enorme (quase 20 pontos). Mas, nas tarefas gerais, essa diferença caiu para quase zero (menos de 1 ponto).
• A Analogia: Imagine um atleta que treina especificamente para correr 100 metros rasos.
  • Na pista de 100m (a tarefa para a qual foi treinado), ele é muito mais rápido que os outros.
  • Mas, se você o colocar para nadar ou jogar xadrez (tarefas gerais), ele não é nem um pouco melhor que uma pessoa comum.
• Conclusão: Escolher o algoritmo certo só importa se você estiver treinando para a tarefa específica. Para o resto, não faz muita diferença.

4. A Hierarquia do Sucesso (O que realmente importa?)

O estudo criou uma lista de prioridades para quem quer treinar uma IA, do mais importante para o menos importante:

1. O Tamanho do Modelo (A Panela): É o fator mais importante. Um modelo maior faz uma diferença gigantesca (como trocar de uma panela de barro para uma de ferro fundido).
2. O Tipo de Treino (O Fogo): Se você usa treino online (prática) ou offline (leitura de respostas), faz uma diferença média.
3. A Técnica de Alinhamento (O Molho): A escolha entre DPO, PPO, etc., faz uma pequena diferença.
4. A Fórmula Matemática (O Tempero): Mudar a equação matemática (as 20 variações) quase não faz diferença.

Resumo para o Dia a Dia

Se você é um desenvolvedor ou alguém curioso sobre IA:

• Não se preocupe em inventar novas fórmulas matemáticas complexas. Elas não vão te dar superpoderes.
• Se o seu modelo é pequeno: Use técnicas de prática (online) e evite as mais simples.
• Se o seu modelo é grande: Use técnicas mais simples e diretas (como SimPO).
• Se você quer melhorar seu modelo: Invista em ter um modelo maior e com mais dados, não em tentar ajustar a "temperatura" da receita.

O estudo nos ensina que, na corrida da Inteligência Artificial, o tamanho do motor (o modelo) importa muito mais do que o tipo de combustível (o algoritmo) que você escolhe.

Resumo técnico

Título: Algoritmos de Pós-Treinamento Realmente Diferem? Um Estudo Controlado Através de Escalas de Modelos Revela Inversões de Ranking Dependentes da Escala

1. O Problema

O alinhamento de Grandes Modelos de Linguagem (LLMs) através de pós-treinamento tornou-se uma etapa decisiva para transformar modelos base em assistentes úteis. Nos últimos dois anos, houve uma explosão de algoritmos concorrentes, incluindo métodos de RL online (PPO, GRPO), otimização de preferência offline (DPO) e suas variantes (SimPO, KTO, ORPO, etc.).

No entanto, os praticantes enfrentam um dilema:

• Falta de comparações controladas: A maioria dos artigos reporta resultados em modelos, conjuntos de dados e suítes de avaliação diferentes, tornando comparações diretas ("maçãs com maçãs") impossíveis.
• Incerteza sobre o que importa: Não está claro se as modificações nas funções de perda (existem mais de 20 variantes de DPO) trazem ganhos reais ou se o desempenho é impulsionado por outros fatores.
• Desconhecimento da estabilidade: Como o ranking dos algoritmos muda conforme a escala do modelo aumenta?

2. Metodologia

Os autores introduzem o OXRL, um framework unificado projetado para realizar a primeira comparação empírica controlada em larga escala de algoritmos de pós-treinamento.

• Infraestrutura Unificada: 51 algoritmos foram implementados compartilhando exatamente a mesma infraestrutura de carregamento de modelos, pipeline de dados, treinamento distribuído (DeepSpeed ZeRO-3) e avaliação. Isso elimina o "conflito de código" como variável.
• Design Controlado:
  • Modelos: Família Qwen 2.5 em 4 escalas (0.5B, 1.5B, 3B, 7B).
  • Dados: Pares de preferência gerados por auto-jogo (self-play) no GSM8K; SFT usa respostas douradas.
  • Variáveis: Apenas a função de perda foi alterada entre os algoritmos.
  • Estatística: 20 variantes de DPO foram testadas com 5 sementes cada (100 corridas no total) no modelo de 1.5B.
• Protocolo de Avaliação:
  • Principal: GSM8K (matemática, precisão exata).
  • Secundários: MATH (matemática mais difícil) e benchmarks de domínio geral (ARC-Challenge, HellaSwag, WinoGrande).
  • Correção Estatística: Uso de testes t de Welch com correção de Bonferroni para as 20 variantes de DPO.
• Descoberta Técnica: Os autores identificaram e corrigiram um bug de determinismo oculto no DistributedSampler do PyTorch que eliminava a variância dependente da semente em estudos anteriores, garantindo que seus resultados com múltiplas sementes sejam estatisticamente válidos.

3. Principais Contribuições e Resultados

O estudo, que totalizou ~240 corridas de treinamento em GPUs H100, revelou três achados principais:

A. Inversão de Ranking Dependente da Escala
A eficácia de um algoritmo não é absoluta; ela inverte drasticamente conforme o tamanho do modelo aumenta:

• Em 1.5B: O método de RL online SGRPO (uma variante do GRPO) foi o melhor, superando o SFT em 3.6 pontos percentuais (pp) e o DPO em 8.9 pp. O SimPO foi o pior.
• Em 7B: O ranking inverteu completamente. O SimPO tornou-se o melhor (85.8%), superando o DPO e o SFT. O SFT colapsou para perto da linha de base.
• Causa: Um experimento fatorial 2x2 (3B vs 7B e Full FT vs LoRA) confirmou que a escala do modelo (e não a regularização do LoRA) é o motor dessa inversão. Modelos maiores (≥7B) têm capacidade suficiente para que a conformidade ao formato (format compliance) se torne o fator diferenciador, onde métodos sem modelo de referência (como SimPO) excellem.

B. Ganhos Negligenciáveis nas Variantes de DPO

• Das 20 variantes de DPO testadas, nenhuma superou significativamente o DPO "vanilla" após correção estatística rigorosa.
• A única variante com diferença estatisticamente significativa foi o SimPO, mas ele foi pior que o DPO vanilla em -11.5 pp no modelo de 1.5B.
• Isso sugere que a engenharia de funções de perda é uma alavanca de baixo impacto, similar à descoberta de Lucic et al. (2018) sobre GANs, onde a maioria das variantes não supera o original sob condições controladas.

C. Alavancagem Específica da Tarefa
A escolha do algoritmo importa apenas dentro da distribuição de treinamento:

• GSM8K (Tarefa de Treino): A dispersão entre os métodos foi de 19.3 pp.
• MATH (Matemática Difícil): A dispersão colapsou para 0.54 pp (36x menor).
• Domínio Geral: A dispersão foi de 0.47 pp (41x menor).
• Nenhum método degradou as capacidades gerais, mas os ganhos específicos de matemática não se transferiram para outras tarefas.

4. Hierarquia de Alavancagem para Praticantes

O artigo estabelece uma hierarquia clara de impacto no desempenho final:

1. Escala do Modelo (~50 pp): O fator mais crítico.
2. Paradigma de Treinamento (~10 pp): Escolha entre SFT, RL ou Otimização de Preferência.
3. Online vs. Offline (~9 pp): Relevante apenas em tarefas sensíveis a formato e escalas específicas.
4. Função de Perda (~1 pp): Impacto mínimo; a engenharia de variantes de DPO traz retornos marginais.

5. Significado e Recomendações

Significado Científico:
O estudo desafia a crença comum de que novas funções de perda são a chave para avanços em alinhamento. Ele demonstra que a estabilidade dos rankings é ilusória e depende fortemente da escala e da tarefa. A comunidade deve focar menos em "hacks" de perda e mais na interação entre algoritmos, escala e estrutura da tarefa.

Recomendações Práticas:

1. Validação na Escala de Implantação: Rankings em modelos pequenos (≤3B) não preveem o comportamento em modelos grandes (≥7B).
2. Modelos Pequenos (≤1.5B): Prefira SFT (é o método offline mais forte e barato).
3. Modelos Grandes (≥7B) com LoRA: Prefira SimPO (melhor precisão e eficiência computacional).
4. Variantes de DPO: Use o DPO Vanilla. Nenhuma das 20 variantes testadas ofereceu melhoria significativa.
5. RL Online: Use SGRPO (nível de token) apenas em tarefas sensíveis a formato onde o modelo pode gerar soluções corretas autonomamente.
6. Verificação de Sementes: Sempre verifique a propagação de sementes em pipelines de treinamento distribuído para evitar resultados determinísticos falsos.

Recursos:
Os autores liberaram o código, configurações e dados brutos como um benchmark comunitário "vivo" (OXRL), permitindo que novos algoritmos sejam comparados implementando apenas uma função de perda.