Resumo Técnico: Aprendizado de Recompensa a partir de Dados de Preferência Best-of-N

Declaração do Problema

A amostragem Best-of-N (BoN) é um mecanismo amplamente utilizado para a construção de dados de preferência pareada em sistemas de IA modernos, particularmente para o treinamento de modelos de recompensa e o alinhamento de grandes modelos de linguagem (LLMs). Nesse processo, $N$ respostas candidatas são amostradas de uma distribuição base e um oráculo (humano ou baseado em modelo) seleciona a melhor resposta como o exemplo "escolhido" (chosen). O exemplo "rejeitado" (rejected) é tipicamente selecionado ou uniformemente entre os candidatos restantes (Best-vs-Random) ou como o pior candidato (Best-vs-Worst).

Apesar de sua prevalência, as propriedades teóricas do aprendizado de recompensa a partir de tais dados permanecem obscuras. Especificamente, não se compreende bem:

1. Qual função de recompensa específica é induzida pelo conjunto de dados resultante sob o objetivo padrão de Bradley-Terry (BT)?
2. Como o tamanho do conjunto de candidatos $N$ e a distribuição base devem ser escolhidos para otimizar a eficiência do aprendizado?

A intuição comum sugere que um $N$ maior gera dados melhores porque a resposta escolhida possui uma qualidade absoluta superior. No entanto, este artigo argumenta que essa intuição é incompleta, pois a utilidade dos dados depende não apenas da qualidade da resposta escolhida, mas também das comparações específicas que o conjunto de dados torna disponíveis.

Metodologia

Os autores analisam o aprendizado de recompensa através da lente da Distribuição de Preferência Condicional (CPRD), baseando-se em um framework recente agnóstico à distribuição (Pukdee et al., 2026). Este framework caracteriza quando dados de preferência admitem uma representação Bradley-Terry e identifica que o aprendizado de amostra finita é governado por duas quantidades principais: margem (a dificuldade de distinguir pares) e conectividade (a cobertura do espaço de comparação).

O artigo instancia este framework para dados Best-of-N:

1. Derivação de Alvos de Forma Fechada: Analisa variantes "Independentes" (Best-vs-Independent e Best-vs-Worst-Independent), onde a amostra rejeitada é desenhada independentemente da amostra escolhida. Nestes cenários, os autores derivam expressões explícitas de forma fechada para os minimizadores da população da perda BT.
2. Análise de Variantes Práticas: Estende a análise para as configurações práticas de Best-vs-Random e Best-vs-Worst. Aqui, a resposta escolhida e a rejeitada estão acopladas (desenhadas do mesmo conjunto de $N$ candidatos), o que significa que a representabilidade exata de BT geralmente falha. Os autores mostram que, conforme $N$ cresce, os minimizadores para esses cenários práticos convergem para os alvos das variantes independentes.
3. Caracterização de Trade-offs: Investiga como o parâmetro $N$ afeta simultaneamente a margem e a conectividade da distribuição de preferência induzida.
4. Validação Experimental: Valida as previsões teóricas em dados sintéticos e conjuntos de dados do mundo real (UltraFeedback, PKU-SafeRLHF, GSM8K) variando $N$ e remodelando a distribuição base.

Contribuições Principais

1. Caracterização de Alvos de Recompensa

• Variantes Independentes: Para Best-vs-Independent, mostra-se que o alvo de recompensa induzido $r^*_{BI}$ é a razão logarítmica da distribuição BoN em relação à distribuição base: $r^*_{BI}(x, y) = \log \frac{P_{BoN}(y|x)}{P_{base}(y|x)} + c(x)$. Crucialmente, este alvo preserva o ranking da recompensa real subjacente $r^*$.
• Variantes Práticas: Para Best-vs-Random e Best-vs-Worst, os minimizadores da população não admitem uma forma fechada simples devido ao acoplamento das amostras. No entanto, os autores provam que, conforme $N$ aumenta, os minimizadores para esses cenários se aproximam dos alvos das variantes independentes em semi-norma de margem. Especificamente, a distância decai como $O(1/N)$ para Best-vs-Random e exponencialmente para Best-vs-Worst.

2. O Trade-off Margem-Conectividade

O artigo identifica um trade-off fundamental controlado por $N$:

• Margem: Aumentar $N$ amplifica as margens pareadas. A margem entre dois resultados $y$ e $y'$ cresce linearmente com $N$, escalonada pela "massa intermediária" (a massa de probabilidade da distribuição base situada entre as pontuações de recompensa de $y$ e $y'$). Margens maiores tornam as comparações individuais mais informativas e robustas ao erro de estimativa.
• Conectividade: Aumentar $N$ reduz a conectividade. À medida que $N$ cresce, a amostragem BoN concentra-se em resultados de alta recompensa, enquanto o Worst-of-N concentra-se em resultados de baixa recompensa. Isso estreita o intervalo de comparações observadas, deixando pares intermediários sub-representados. O grau de conectividade decai exponencialmente com $N$.

3. Princípios de Design

Com base no trade-off, os autores propõem dois princípios de design acionáveis:

• Princípio do Gargalo de Recursos: O $N$ ideal depende da escassez de rótulos de preferência.
  • Regime de Rótulo Limitado: Quando a anotação humana é o gargalo (tamanho de amostra pequeno $n$), um $N$ maior é preferível. O aumento da margem ajuda a superar o alto erro de estimativa causado por dados limitados, mesmo que a conectividade seja reduzida.
  • Regime de Geração Limitado: Quando os rótulos são baratos ou automatizados (grande $n$), um $N$ menor é preferível. A perda de conectividade de um $N$ grande supera o benefício da margem quando os dados são abundantes; é mais eficiente usar o orçamento de computação economizado para coletar mais trios com $N$ menor.
• Princípio da Massa Intermediária: A distribuição base pode ser moldada para amplificar margens seletivamente. A margem induzida entre duas respostas cresce com a quantidade de massa da distribuição base colocada entre elas na ordem de recompensa. Os praticantes devem moldar a distribuição base para colocar massa entre os pares de respostas específicos que importam para a distribuição de avaliação alvo (por exemplo, entre saídas prejudiciais e aceitáveis para tarefas de segurança).

Resultados

• Dados Sintéticos: Experimentos confirmam o trade-off previsto. Para tamanhos de amostra pequenos ($n$), um $N$ maior produz maior precisão de teste. À medida que $n$ aumenta, o $N$ ideal diminui e, para um $n$ suficientemente grande, um $N$ menor (ex: $N=2$) supera um $N$ maior (ex: $N=8$) devido à melhor conectividade.
• Dados do Mundo Real: No UltraFeedback, a mesma tendência se mantém: um $N$ maior beneficia regimes de poucos dados, enquanto um $N$ menor é competitivo ou melhor em regimes de muitos dados.
• Remodelagem da Distribuição Base: Experimentos em tarefas de segurança (PKU-SafeRLHF), raciocínio (GSM8K) e gerais (UltraFeedback) demonstram que remodelar a distribuição base para aumentar a "massa intermediária" para comparações críticas da tarefa melhora a precisão do teste. Por exemplo, em tarefas de segurança, o upsampling de respostas "medíocres" (falhas, mas não perigosas) aumentou a margem entre saídas prejudiciais e aceitáveis, melhorando o desempenho.

Significância

Este artigo fornece uma base teórico-aprendizado para o aprendizado de recompensa a partir de dados de preferência Best-of-N. Ele vai além da visão heurística de que "mais candidatos são sempre melhores", caracterizando rigorosamente os alvos de recompensa induzidos e os trade-offs de complexidade de amostra.

A significância reside em:

1. Esclarecer o Sinal: Identifica exatamente qual sinal o aprendizado de recompensa recupera de dados BoN, mostrando que, embora o ranking seja preservado, a função de recompensa específica depende de $N$ e da distribuição base.
2. Guiar o Design de Dados: Oferece diretrizes concretas e fundamentadas para que os praticantes escolham $N$ com base em restrições de recursos e como projetar a distribuição base para maximizar a eficiência do aprendizado para tarefas específicas de downstream.
3. Unir Teoria e Prática: Conecta conceitos abstratos de margem e conectividade à mecânica prática da amostragem Best-of-N, explicando por que o desempenho pode degradar com $N$ muito grande em certos regimes e como mitigar isso.

Os autores concluem que a construção de dados de preferência não é meramente um detalhe de coleta, mas um alavancador de design crítico que molda tanto qual recompensa é aprendida quanto quão eficientemente ela pode ser aprendida.