Resumo Técnico: Otimização de Política Vetorial (VPO)

Declaração do Problema

Os paradigmas atuais de pós-treinamento de Modelos de Linguagem de Grande Escala (LLMs), particularmente aqueles que utilizam Aprendizado por Reforço (RL) com Otimização de Política Relativa em Grupo (GRPO), otimizam uma única recompensa escalar pré-especificada. Embora eficazes para convergir em uma resposta de alta probabilidade específica, essa abordagem frequentemente leva ao "colapso de modo", onde a política produz distribuições de resposta de baixa entropia. Essa falta de diversidade torna-se um gargalo crítico quando os LLMs são implantados dentro de procedimentos de busca em tempo de teste (por exemplo, amostragem por rejeição, algoritmos evolutivos como AlphaEvolve, ou seleção best-of-$k$).

Em sistemas aumentados por busca, a fase de treinamento deve idealmente fornecer um pool rico de candidatos diversos e competentes para que o algoritmo de busca os explore. No entanto, o treinamento padrão de RL escalar colapsa a distribuição de candidatos em direção a um único compromisso ótimo, fazendo com que amostras adicionais se tornem quase duplicatas. Consequentemente, o procedimento de busca não consegue descobrir soluções superiores que exigem diferentes compromissos entre objetivos concorrentes (por exemplo, correção de código versus eficiência, ou diferentes caminhos de raciocínio em perguntas de múltiplos saltos).

Metodologia: Otimização de Política Vetorial (VPO)

Os autores propõem a Otimização de Política Vetorial (VPO), um algoritmo de RL projetado para treinar explicitamente políticas a produzir conjuntos diversos de soluções que abrangem a fronteira de Pareto de recompensas vetoriais. O VPO opera sob a premissa de que, em muitas tarefas realistas (geração de código, raciocínio de múltiplos saltos, uso de ferramentas), as recompensas se decompõem naturalmente em componentes vetoriais (por exemplo, correção por caso de teste, classificações por critério).

O VPO consiste em dois componentes principais:

1. Cadeias de Múltiplas Respostas como Exploração em Contexto:
   Em vez de gerar uma única resposta por prompt, o modelo é treinado para emitir um conjunto de $m$ conclusões candidatas ($S = \{y_1, \dots, y_m\}$) dentro de uma única execução autoregressiva. Cada candidato subsequente pode atender às respostas geradas anteriormente no contexto, permitindo que o modelo reconheça explicitamente quais regiões do espaço de soluções estão cobertas e direcione novos candidatos para áreas inexploradas. Isso transforma a diversidade de um subproduto do ruído de amostragem em um mecanismo explícito e em contexto.

2. Otimização em Nível de Conjunto via Escalarização Estocástica:
   Para incentivar o modelo a produzir conjuntos diversos em vez de colapsar para um único modo, o VPO substitui a recompensa escalar fixa por uma distribuição sobre ponderações de recompensa.

   • Para cada execução, um vetor de pesos $w$ é amostrado de uma distribuição Dirichlet ($w \sim \text{Dir}(\alpha)$, onde $\alpha=1$ implica uma distribuição uniforme sobre o simplex).
   • A recompensa para o conjunto $S$ é calculada como o máximo esperado de recompensa escalarizada entre os pesos amostrados:
     $$R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$$
   • Esse objetivo recompensa o modelo por cobrir a fronteira de Pareto: diferentes elementos no conjunto $S$ são incentivados a se especializar em diferentes compromissos dos componentes de recompensa.

O VPO é implementado como uma substituição direta para o estimador de vantagem do GRPO. Ele utiliza o framework do GRPO, mas calcula as vantagens com base na recompensa em nível de conjunto derivada de escalarizações estocásticas, compartilhando os mesmos $K$ vetores de pesos entre um grupo de $G$ execuções para garantir comparabilidade.

Contribuições Principais

1. Reenquadramento do Pós-Treinamento por RL: O artigo argumenta que, em sistemas com busca em tempo de teste, o papel do treinamento por RL deve mudar de convergir para uma única melhor resposta para maximizar a diversidade de um conjunto de soluções competentes, deixando a exploração para o procedimento de busca.
2. Estrutura de Recompensa Vetorial: Demonstra que a natureza vetorial das recompensas em tarefas práticas fornece um mecanismo natural para a diversidade. Ao treinar o modelo para cobrir a fronteira de Pareto de diferentes objetivos, a política mantém uma população de alternativas que são ótimas sob diferentes ponderações.
3. Algoritmo VPO: Os autores propõem o VPO, que combina geração de múltiplas respostas com escalarizações de recompensa aleatórias. Isso permite que o modelo gere conjuntos de candidatos diversos dentro de uma única execução, otimizando a cobertura do espaço de recompensas em vez de um único pico escalar.

Resultados Experimentais

Os autores avaliaram o VPO em quatro domínios diversos: Maze (navegação com compromissos de itens), MuSiQue (QA de múltiplos saltos), EUREQA (raciocínio em cadeia) e ToolRL (chamada de funções). Eles compararam o VPO com várias linhas de base, incluindo GRPO padrão, Multi-RLVR (múltiplas respostas com recompensa escalar fixa), GRPO com Ponderação Aleatória e treinamento Max-at-$k$.

• Escalonamento em Tempo de Teste: Em todos os domínios, o VPO superou consistentemente as linhas de base escalares nas métricas best@k. Enquanto o desempenho do GRPO escalar estagnou rapidamente à medida que $k$ aumentava (indicando colapso de candidatos), o VPO continuou a melhorar com amostras adicionais, mostrando uma lacuna crescente à medida que o orçamento de busca crescia.
• Métricas de Diversidade: O VPO manteve alta diversidade no espaço de recompensas (medida pela distância L1 pairwise entre vetores de recompensa), enquanto linhas de base como Multi-RLVR e GRPO padrão colapsaram para vetores de recompensa quase idênticos no início do treinamento.
• Problemas Difíceis e Busca Evolutiva: Em um estudo de caso sobre LiveCodeBench (um benchmark de programação competitiva), um modelo treinado com VPO (Qwen2.5-Coder-7B) superou significativamente um modelo GRPO com computação correspondente. Crucialmente, quando integrado ao OpenEvolve (um loop de busca evolutiva), os modelos VPO resolveram problemas que os modelos GRPO não conseguiram resolver em nenhum orçamento de candidato, demonstrando que o VPO desbloqueia soluções que exigem compromissos complexos.
• Estudos de Ablação:
  • A geração de múltiplas respostas sozinha (sem escalarização estocástica) foi insuficiente para manter a diversidade.
  • A escalarização estocástica sozinha (sem cadeias de múltiplas respostas) não produziu os mesmos ganhos.
  • O GRPO condicionado a objetivos (condicionando em pesos específicos) não conseguiu igualar o VPO, sugerindo que gerar um conjunto diverso em contexto é mais eficaz do que condicionar explicitamente a pesos no tempo de inferência.
  • Os benefícios do VPO foram mais pronunciados quando os componentes de recompensa eram não colineares (ou seja, quando existiam verdadeiros compromissos). Em domínios com recompensas quase colineares (por exemplo, UltraFeedback), a vantagem do VPO diminuiu, alinhando-se com a premissa teórica.

Significado e Alegações

O artigo postula que, à medida que a busca em tempo de teste se torna um componente padrão dos sistemas de IA, a otimização para diversidade deve se tornar o objetivo padrão de pós-treinamento. Os autores afirmam que o VPO fornece uma maneira principial de separar a exploração (treinamento para um pool diverso) da exploração (seleção no tempo de busca).

O significado do VPO reside em sua capacidade de:

• Desbloquear Problemas Mais Difíceis: Ao preservar estratégias diversas que podem parecer localmente subótimas sob um escalar fixo, mas contêm padrões de raciocínio parciais úteis para a busca, o VPO permite a descoberta de soluções que políticas treinadas com escalares perdem completamente.
• Escalar com Computação: A lacuna de desempenho entre o VPO e as linhas de base escalares aumenta à medida que o orçamento de busca em tempo de teste aumenta, tornando o VPO particularmente valioso para cenários de inferência intensivos em computação.
• Compatibilidade Direta: O VPO não requer alterações arquitetônicas em LLMs existentes e funciona como uma simples substituição para o estimador de vantagem em frameworks de RL padrão como o GRPO.

Os autores concluem que, embora o VPO sacrifique o desempenho pass@1 (pois prioriza a exploração sobre a exploração imediata), é a abordagem superior para regimes onde a busca em tempo de teste está disponível, transformando efetivamente a otimização de política em um problema de cobertura sobre a frente de Pareto.