Resumo Técnico: Funções de Valor Privilegiadas para Aprendizado por Reforço de LLMs

Declaração do Problema

O Aprendizado por Reforço (RL) para Grandes Modelos de Linguagem (LLMs) é atualmente dominado por métodos sem crítico e relativos ao grupo, como o GRPO (Group Relative Policy Optimization). Embora esses métodos reduzam a variância do gradiente amostrando múltiplas respostas por prompt e comparando-as, eles sofrem de duas limitações primárias:

1. Atribuição de Crédito ao Nível de Sequência: Eles fornecem vantagens apenas ao nível da sequência, falhando em oferecer granularidade ao nível do token, o que é teoricamente superior para atribuição de crédito temporal.
2. Efeitos de Retardo (Stragglers) e Off-Policyness: O treinamento é bloqueado pela execução (rollout) mais lenta de um grupo, reduzendo o rendimento (throughput). Em configurações assíncronas, isso aumenta a "off-policyness" à medida que a política deriva enquanto espera por respostas lentas.

Funções de valor aprendidas abordam teoricamente ambos os problemas ao fornecer vantagens ao nível do token e operar sem grandes grupos. No entanto, sua adoção tem sido dificultada por:

• Complexidade de Infraestrutura: Manter um modelo de valor separado adiciona sobrecarga de engenharia.
• Sensibilidade ao Ajuste: Se o crítico for mal ajustado, as linhas de base de valor podem introduzir ruído ou viés, muitas vezes performando pior do que médias simples de grupo.
• Falta de Justificativa: O sucesso prático dos métodos sem crítico tornou difícil justificar o custo adicional das funções de valor.

Metodologia

O artigo propõe duas estratégias complementares para melhorar o RL baseado em funções de valor, visando justificar sua inclusão através do aumento de desempenho e robustez.

1. Funções de Valor Privilegiadas (PVF)

A ideia central é que as funções de valor podem condicionar-se a informações privilegiadas — dados disponíveis durante o treinamento, mas ocultos da política durante a inferência — sem violar a imparcialidade (unbiasedness) do gradiente da política.

• Mecanismo: Uma Função de Valor Privilegiada $V_\phi(h_{i,t}, z_{i,t})$ condiciona o crítico no histórico padrão da política $h_{i,t}$ e em um contexto adicional $z_{i,t}$.
• Admissibilidade: Para garantir que o gradiente da política permaneça imparcial, a informação privilegiada $z_{i,t}$ deve ser condicionalmente independente do token atual $y_{i,t}$ dado o histórico $h_{i,t}$. Ela não pode conter tokens futuros ou recompensas geradas pela trajetória atual.
• Formas de Informação Privilegiada:
  • Soluções de Referência: Respostas oracle, esboços de provas ou patches de ouro (ex: em Sudoku ou reparo de código).
  • Informação de Grupo Leave-One-Out (LOO): Outras respostas amostradas e suas recompensas do mesmo grupo de prompts. Isso trata o grupo como um prompt de aprendizado em contexto para o crítico.
  • Rubricas de Verificação: Especificações detalhadas de tarefas indisponíveis para a política.
• Benefício Teórico: Condicionar em informações mais ricas reduz a variância da previsão de valor ($E[(R - E[R|H, Z])^2] \le E[(R - E[R|H])^2]$), reduzindo, assim, a variância do gradiente da política.

2. TETHER (Baseline Adaptativo de Valor de Grupo)

Para abordar o risco de críticos mal ajustados, os autores introduzem o TETHER, uma linha de base que interpola adaptativamente entre baselines relativos ao grupo e baseados em valor.

• Mecanismo: O TETHER computa um baseline misto $b^{TETHER}_{i,t} = (1-\rho)b^{LOO}_i + \rho V_{i,t}$, onde $b^{LOO}_i$ é a média do grupo leave-one-out e $V_{i,t}$ é o valor do token aprendido.
• Coeficiente Adaptativo ($\rho$): A razão de mistura $\rho$ não é um hiperparametro fixo. Ela é ajustada via mínimos quadrados para minimizar o erro de previsão dos retornos de Monte Carlo ($R_i$) em grupos completados.
  • $\rho = 0$: Recupera o baseline de grupo (confiável, sem crédito ao nível do token).
  • $\rho = 1$: Recupera o puro baseline de valor (crédito ao nível do token, sensível ao ajuste do crítico).
  • Valores intermediários: Trocam suavemente entre os dois.
• Dinâmica de Treinamento: O coeficiente $\rho$ é atualizado usando uma Média Móvel Exponencial (EMA) em lotes (batches) após o cálculo da atualização da política para aquele lote, garantindo que o baseline para um lote não dependa de seus próprios retornos (preservando a imparcialidade).

Principais Contribuições

1. Funções de Valor Privilegiadas (PVF): Um mecanismo formal para injetar sinais relevantes à tarefa e ao nível do token na função de valor usando informações ocultas da política. Isso melhora a estimativa de valor e reduz a variância do gradiente sem alterar o objetivo da política.
2. TETHER: Um baseline adaptativo que equilibra dinamicamente a confiabilidade das médias de grupo com a granularidade das funções de valor com base na precisão atual do crítico, eliminando a necessidade de ajuste manual de hiperparametros para gerenciar a transição.
3. Validação Empírica: Demonstração de que ambos os métodos superam consistentemente os baselines de valor padrão e são competitivos ou superiores ao baseline de média (MEAN) do GRPO em múltiplas tarefas de raciocínio intenso.

Resultados Experimentais

Os autores avaliaram seus métodos em quatro tarefas: Reasoning Gym (raciocínio procedural), CodeIO (raciocínio de programação), Sudoku (preenchimento de grade multi-turno) e MiniF2F (matemática formal).

• Desempenho de PVF:

  • O PVF superou consistentemente tanto o Função de Valor (VF) padrão quanto os baselines de Média de Grupo (MEAN) em todas as configurações.
  • Sudoku: Mostrou os maiores ganhos. O acesso à grade resolvida (informação privilegiada) simplificou a tarefa do crítico de validar movimentos intermediários, que de outra forma exigiria a resolução implícita do quebra-cabeça.
  • CodeIO: O PVF utilizou respostas e recompensas do grupo LOO como informação privilegiada, superando tanto o VF quanto o MEAN, demonstrando que a informação de grupo pode ser efetivamente aproveitada mesmo sem respostas oracle.
  • Variância Explicada: O PVF consistentemente explicou mais variância de retorno do que o VF, correlacionando-se com maiores recompensas finais.

• Desempenho de TETHER:

  • O TETHER superou consistentemente o baseline de VF padrão em todas as tarefas.
  • Ele mitigou com sucesso a degradação observada no VF quando o crítico estava mal ajustado no início do treinamento.
  • Em Reasoning Gym e MiniF2F, o TETHER superou o baseline MEAN. Em Sudoku, ele reduziu a lacuna com o MEAN, e em CodeIO, igualou o MEAN.
  • Dinâmica do Coeficiente: O $\rho$ adaptativo começou próximo de 0 (confiando em médias de grupo) e aumentou conforme o crítico melhorava, confirmando a capacidade do método de autorregulação baseada na precisão do crítico.

Significância e Alegações

O artigo argumenta que as funções de valor devem ser reconsideradas como um componente prático de pipelines de RL para LLMs. Os autores afirmam que:

• Justificativa de Custo: Ao alavancar informações privilegiadas (PVF) e mistura adaptativa (TETHER), os ganhos de desempenho das funções de valor podem superar seus custos de infraestrutura, mesmo em cenários onde métodos sem crítico são atualmente dominantes.
• Robustez: O TETHER fornece um caminho confiável para introduzir funções de valor em pipelines existentes de GRPO sem o risco de instabilidade de treinamento causada por um crítico mal ajustado.
• Direções Futuras: O trabalho sugere que o pré-treinamento extensivo de valor em diversas políticas e o ajuste sistemático do parâmetro $\lambda$ (para o trade-off viés-variância) poderiam aumentar ainda mais a escalabilidade e utilidade do RL baseado em valor para LLMs.

Os autores enfatizam que sua abordagem mantém as garantias teóricas de gradientes de política imparciais, ao mesmo tempo em que oferece melhorias práticas em eficiência de treinamento e desempenho final.