Decomposing the Delta: What Do Models Actually Learn from Preference Pairs?

1. O Problema

Métodos de otimização de preferência, como DPO (Direct Preference Optimization) e KTO, são fundamentais para alinhar modelos de linguagem (LLMs) com preferências humanas. No entanto, há uma lacuna de compreensão sobre quais propriedades dos dados de preferência realmente impulsionam ganhos em tarefas de raciocínio.
A hipótese de "aprendizado de delta" (Delta Learning) sugere que não é necessária uma supervisão de alta qualidade absoluta; em vez disso, o gap de qualidade relativo (o "delta") entre duas respostas fracas é suficiente para melhorar um modelo estudante. O problema central investigado neste trabalho é: quais aspectos de um par de preferência (escolhido vs. rejeitado) melhoram o desempenho de um modelo de raciocínio? Especificamente, o que importa mais: a correção da resposta final ou a qualidade do processo de raciocínio?

2. Metodologia

Os autores propõem decompor o "delta" de qualidade em duas noções distintas e investigam como elas afetam o treinamento:

• Definição de Dois Tipos de Delta:

  1. Delta de Nível de Gerador (Generator-level Delta): A diferença de capacidade entre os modelos que geram as respostas "escolhidas" e as "rejeitadas". É uma escolha de design na construção dos dados (ex: usar um modelo de 32B para gerar a resposta escolhida e um de 3B para a rejeitada).
  2. Delta de Nível de Amostra (Sample-level Delta): A diferença de qualidade dentro de um único par de preferência, medida ao longo de dimensões específicas de raciocínio, independentemente da capacidade do gerador.

• Configuração Experimental:

  • Base: Utilizaram o modelo Nemotron-8B como política base.
  • Dados de Treinamento: Construíram pares de preferência a partir do conjunto de dados OpenR1-Math-220k.
  • Geração de Trajetórias: Usaram múltiplos modelos (famílias Nemotron e s1) com escalas variadas (de 3B a 49B) para gerar traços de raciocínio.
  • Avaliação de Qualidade (LLM-as-a-Judge): Para medir o sample-level delta, utilizaram um juiz LLM (GPT-OSS-120b) para classificar os traços de raciocínio em cinco dimensões:
    1. Facticidade (Factuality)
    2. Coerência da Estratégia (Strategy Coherence)
    3. Coerência dos Passos (Step Coherence)
    4. Precisão Computacional (Computational Precision)
    5. Relação Sinal-Ruído (Signal-to-Noise)

• Experimentos Chave:

  1. Escalonamento do Delta de Gerador: Variaram a capacidade do modelo "escolhido" (mantendo o "rejeitado" fixo) para observar o impacto no desempenho in-domain (matemática) e out-of-domain (STEM, código).
  2. Teste de Correção de Resposta: Criaram pares com todas as combinações de correção (Correto vs. Incorreto, Correto vs. Correto, Incorreto vs. Incorreto, etc.) para verificar se a correção da resposta final é o sinal dominante.
  3. Seleção de Dados Baseada em Delta: Selecionaram subconjuntos de dados com os maiores deltas em cada dimensão de qualidade para treinar o modelo e medir a eficiência de dados.

3. Principais Contribuições

• Decomposição do Delta: Formalização clara da distinção entre o delta gerado pela diferença de modelos (nível de gerador) e o delta intrínseco à qualidade do traço de raciocínio (nível de amostra).
• Desmistificação da Correção de Resposta: Demonstração empírica de que a correção da resposta final não é o sinal dominante para o aprendizado de raciocínio via otimização de preferência.
• Identificação de Dimensões Críticas: Isolamento de que a Coerência dos Passos (Step Coherence) é a dimensão mais eficaz para selecionar dados de treinamento de alta qualidade.
• Eficiência de Dados: Prova de que é possível atingir desempenho equivalente ou superior usando apenas uma fração dos dados (ex: 5k pares) se forem selecionados com base em grandes deltas de qualidade, em vez de usar todo o conjunto de dados (16.5k pares).

4. Resultados Principais

• Escalonamento do Delta de Gerador:

  • Aumentar o gap de capacidade entre os geradores (ex: 49B vs 3B) melhora consistentemente o desempenho em tarefas out-of-domain (STEM e Código).
  • O desempenho in-domain (matemática) tende a estagnar (plateau) após certo ponto, possivelmente devido à alta proficiência prévia do modelo base nessa área específica.
  • O ganho out-of-domain correlaciona-se diretamente com o alargamento do sample-level delta em todas as dimensões de qualidade à medida que o modelo escolhido escala.

• O Papel da Correção (Outcome Correctness):

  • Pares do tipo "Incorreto vs. Incorreto" ainda geram ganhos sobre o modelo base.
  • Pares "Correto vs. Incorreto" não superam significativamente outras combinações em tarefas in-domain.
  • Conclusão: O sinal de aprendizado reside na qualidade do processo de raciocínio, não apenas no resultado final.

• Eficiência de Dados e Seleção:

  • Treinar com apenas 5.000 pares de preferência selecionados (com base nos maiores deltas de qualidade) iguala ou supera o desempenho de treinar com 16.500 pares aleatórios.
  • A Coerência dos Passos (Step Coherence) mostrou-se o critério de seleção mais robusto e consistente para melhorar o desempenho do modelo.

5. Significado e Implicações

Este trabalho oferece uma "receita" prática e fundamentada para melhorar o raciocínio de modelos de linguagem através de otimização de preferência:

1. Maximizar o Delta de Gerador: Ao construir dados de preferência, deve-se buscar o maior gap de capacidade possível entre o modelo que gera a resposta escolhida e o que gera a rejeitada para maximizar a generalização out-of-domain.
2. Explorar o Delta de Amostra: Em vez de usar todos os dados disponíveis, deve-se filtrar e selecionar os exemplos mais informativos baseando-se na qualidade intrínseca do raciocínio (especialmente a coerência dos passos), permitindo treinamento mais eficiente e com menor custo computacional.

Essas descobertas desafiam a suposição tradicional de que dados de preferência devem ser baseados estritamente na verificação de respostas corretas, sugerindo que a estrutura e a lógica do processo de pensamento são os vetores mais importantes para o aprimoramento de modelos de raciocínio.