Resumo Técnico: Um Framework de Minimização de Arrependimento na Aprendizagem de Preferências em Grandes Modelos de Linguagem

Definição do Problema

Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tenha impulsionado progressos significativos em tarefas intensivas de raciocínio, como matemática e geração de código, ao alavancar sinais de correção automatizados, muitas tarefas linguísticas realistas (ex: decisões críticas de segurança, atendimento ao cliente, raciocínio educacional) carecem de verificadores confiáveis. Consequentemente, o campo depende fortemente do Aprendizado por Reforço com Feedback Humano (RLHF).

O problema central abordado é a interpretação do feedback humano dentro do RLHF. Os métodos de preferência existentes (ex: DPO, IPO) tipicamente interpretam as preferências humanas através da lente da maximização de recompensa, tratando as preferências como proxies para utilidade imediata ou acumulada atribuída a segmentos de trajetórias observadas. Os autores argumentam que essa interpretação é fundamentalmente desalinhada com a cognição humana. O julgamento humano é inerentemente prospectivo (antecipando resultados futuros) e contrafactual (comparando resultados realizados contra alternativas plausíveis). Os frameworks baseados em recompensa atuais avaliam etapas intermediárias de forma míope, ignorando que as preferências humanas sobre trajetórias parciais são moldadas pela continuação antecipada dessas trajetórias e pelas comparações com o que poderia ter sido feito, em vez de uma utilidade absoluta e independente do resultado.

Metodologia: Otimização de Preferência Baseada em Arrependimento (RePO)

O artigo introduz a Otimização de Preferência Baseada em Arrependimento (RePO), um framework que reformula a aprendizagem de preferências através da minimização de arrependimento em vez da maximização de recompensa.

Fundamentação Teórica

1. O Arrependimento como Objetivo: Em vez de maximizar recompensas imediatas, o RePO modela o feedback humano como uma avaliação relativa de subotimalidade. O arrependimento é definido como a diferença entre o valor da política ótima ($V^{\pi^*}$) e o valor Q da política de comportamento ($Q^\mu$) em um determinado contexto.

2. Framework de RL Regularizado por KL: Os autores formalizam isso dentro de um framework de RL regularizado por KL ao nível de passo. Eles derivam uma expressão de forma fechada para a função Q associada a uma política de comportamento $\mu$.

3. Decomposição do Arrependimento: Uma contribuição teórica chave (Teorema 5.4 e Lema 5.5) estabelece que o arrependimento incorrido por uma política de comportamento $\mu$ em relação a uma política ótima $\pi^*$ pode ser decomposto em dois componentes:

   • Um termo de preferência local: $\alpha \log \frac{\pi^*(o|q_{<t})}{\pi_{ref}(o|q_{<t})}$, que se alinha ao objetivo padrão da Direct Preference Optimization (DPO).
   • Um termo de longo horizonte: Uma divergência KL sequencial direta ($\bar{D}_{KL}$) que mede o desvio cumulativo da política de comportamento $\mu$ em relação à política ótima $\pi^*$ ao longo de rollouts futuros.

   Esta decomposição revela que a minimização do arrependimento contabiliza explicitamente desvios dependentes do comportamento e a consistência da trajetória futura, abordando os problemas de "desajuste de verossimilhança" presentes em configurações off-policy onde o DPO assume dados on-policy.

Implementação Prática

• RePO: O algoritmo padrão utiliza a atualização de forma fechada derivada, incorporando o termo de divergência KL sequencial. Ele requer o conhecimento da política de comportamento $\mu$ que gerou os dados.
• RePO_det: Para lidar com cenários onde a política de comportamento é desconhecida ou computacionalmente proibitiva de acessar (comum em conjuntos de dados offline), os autores propõem o RePO_det. Esta variante aproxima a política de comportamento como uma distribuição determinística (Delta de Dirac) concentrada na saída observada. Ela substitui o termo KL sequencial por um estimador baseado em amostras que faz a média das razões de log-probabilidade sobre a trajetória observada, efetivamente tratando o segmento observado como um único rollout.

Principais Contribuições

1. Reenquadramento do Feedback Humano: O artigo argumenta que o feedback humano é mais naturalmente compreendido como julgamentos relativos condicionados a resultados antecipados e alternativas implícitas (arrependimento) do que como sinais para maximização de recompensa.
2. Atualização de Política em Forma Fechada: Os autores formalizam essa perspectiva dentro de um framework de RL regularizado por KL, derivando uma atualização de política de forma fechada (RePO) que é compatível com a otimização direta de preferência, mas que modela explicitamente o desvio dependente do comportamento.
3. Internalização de Viés Indutivo: A análise teórica (Lema 6.1) sugere que a minimização do arrependimento internaliza estruturalmente um viés indutivo presente no feedback humano: trajetórias bem-sucedidas incompletas ou parcialmente observadas são avaliadas pessimisticamente devido à incerteza sobre a conclusão futura. Isso permite que o RePO aprenda efetivamente sem exigir aumento explícito de dados para impor tais preferências.
4. Robustez à Política de Comportamento: A introdução do RePO_det demonstra que o framework permanece eficaz mesmo quando a informação da política de comportamento não está disponível, tornando-o aplicável a conjuntos de dados offline heterogêneos.

Resultados Experimentais

Os autores avaliaram o RePO em benchmarks de raciocínio matemático (GSM8K, MATH, MATH500, AMC23, Minerva) e tarefas de alinhamento de preferência humana (AlpacaEval 2, Arena-Hard, MT-Bench) usando modelos Qwen3 (1.7B/4B) e LLaMA3.

• Ganhos de Desempenho: O RePO superou consistentemente os baselines existentes (DPO, IPO, RPO, KTO, TDIO) em ambos os escalonamentos de modelo e tipos de tarefa. Por exemplo, no modelo 4B, o RePO alcançou uma taxa de vitória de 55,08% no AlpacaEval 2 (vs. 32,89% para o DPO) e 65,54% no GSM8K (embora o RePO tenha mostrado fortes ganhos em tarefas de raciocínio em geral).
• Aplicabilidade Offline: O RePO_det alcançou desempenho comparável ao RePO dentro da família Qwen e superou significativamente os baselines em configurações cross-model (ex: treinar modelos LLaMA em dados gerados por modelos Qwen), demonstrando a robustez do estimador de arrependimento baseado em amostras.
• Eficiência de Amostra: Em estudos de ablação envolvendo aumento de dados mascarados (onde trajetórias bem-sucedidas foram parcialmente ocultadas para testar a habilidade do modelo de julgar caminhos incompletos), o DPO exigiu dados aumentados adicionais para melhorar o desempenho, enquanto o desempenho do RePO permaneceu estável e dominante. Isso apoia a afirmação de que o RePO codifica estruturalmente o viés indutivo do julgamento humano em relação a trajetórias incompletas, levando a uma maior eficiência de amostra.

Significância e Alegações

O artigo alega que o RePO oferece uma abstração fiel do feedback humano ao alinhar o objetivo de aprendizagem com a natureza prospectiva e contrafactual do julgamento humano. Ao mudar da maximização de recompensa para a minimização de arrependimento, o framework fornece uma interpretação principiológica das preferências sobre trajetórias heterogêneas.

Os autores concluem que a minimização do arrependimento serve como uma base promissora para o pós-treinamento alinhado ao humano de Grandes Modelos de Linguagem. Os resultados sugerem que modelar corretamente a relação entre políticas de comportamento, rollouts futuros e alternativas contrafactuais é crítico para uma aprendizagem de preferência eficaz, particularmente em configurações onde sinais de recompensa explícitos estão ausentes ou onde os dados são coletados de fontes diversas. O trabalho não pretende resolver todos os problemas de alinhamento, mas posiciona a minimização do arrependimento como um refinamento necessário ao paradigma atual centrado em recompensa do RLHF.