Resumo Técnico: LamPO – Otimização de Política Estilo Lambda para Modelos de Linguagem de Raciocínio

Declaração do Problema

A aprendizagem por reforço com recompensas verificáveis (RLVR) emergiu como um paradigma dominante para aprimorar as capacidades de raciocínio em Modelos de Linguagem de Grande Escala (LLMs) em tarefas como matemática, programação e resposta a perguntas científicas. Embora a Otimização de Política Relativa em Grupo (GRPO) tenha se tornado uma alternativa padrão, sem crítico, ao PPO, ao normalizar recompensas dentro de um grupo amostrado, ela sofre de uma limitação crítica: compressão de informação.

A GRPO resume cada grupo de respostas amostradas em estatísticas escalares (média e desvio padrão) para calcular vantagens. Essa abordagem descarta informações relacionais de alta granularidade entre respostas candidatas. Em tarefas de raciocínio, onde as soluções podem diferir apenas sutilmente em qualidade (por exemplo, parcialmente correta vs. quase correta), uma linha de base escalar pode apenas indicar se uma resposta está acima ou abaixo da média do grupo. Ela falha em preservar explicitamente quais respostas específicas um candidato supera e em quanto. Essa limitação é particularmente severa sob recompensas binárias esparsas, onde muitas trajetórias incorretas recebem feedback idêntico, levando a uma atribuição de crédito fraca.

Metodologia

Os autores propõem o LamPO (Otimização de Política Estilo Lambda), um método projetado para reter a eficiência da otimização sem crítico enquanto recupera a estrutura relacional perdida dentro dos grupos de respostas.

1. Vantagem Decomposta em Pares (PDA)

Em vez de calcular uma vantagem escalar baseada em estatísticas de grupo, o LamPO substitui a vantagem relativa ao grupo por uma Vantagem Decomposta em Pares. Para uma resposta $o_i$ dentro de um grupo de tamanho $G$, a vantagem $A_\lambda(o_i)$ é calculada como a média das lacunas de recompensa em pares, ponderadas por um fator de confiança:

$$A_\lambda(o_i) = \frac{1}{G - 1} \sum_{j \neq i} (R(o_i) - R(o_j)) \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$$

Onde:

• $R(o_i) - R(o_j)$ representa a lacuna de recompensa em pares, fornecendo a direção de aprendizado.
• $\Delta s_{ij} = \log \pi_{\theta_{old}}(o_i | q) - \log \pi_{\theta_{old}}(o_j | q)$ é a diferença nas log-probabilidades da sequência sob a política antiga.
• $\sigma(\cdot)$ é a função sigmoide logística atuando como um peso consciente de confiança.
• $\tau$ é um parâmetro de temperatura que controla a sensibilidade do peso às diferenças de log-probabilidade.

Essa formulação agrega comparações em pares, preservando informações de classificação intra-grupo. A ponderação garante que comparações onde a política está mais confiante (maior diferença de log-probabilidade) contribuam mais significativamente para a atualização.

2. Função Objetivo da Política

O LamPO retém o objetivo substituto recortado no estilo PPO e a estrutura sem crítico da GRPO. A vantagem padrão $\hat{A}_i$ é simplesmente substituída pela PDA calculada $A_\lambda(o_i)$ na função objetivo recortada. O objetivo completo inclui um termo de regularização KL contra uma política de referência $\pi_{ref}$.

3. Recompensa de Sobreposição Densa de Referência

Para abordar a esparsidade de recompensa quando soluções de referência estão disponíveis, o LamPO introduz uma recompensa auxiliar leve baseada em ROUGE-L.

• A recompensa final é uma combinação linear: $R(o_i) = R_{ext}(o_i) + \lambda_{sem} R_{sem}(o_i)$.
• $R_{ext}$ é a recompensa esparsa de correção verificável (0 ou 1).
• $R_{sem}$ é a pontuação F1 do ROUGE-L entre o traço gerado e a solução de referência.
• $\lambda_{sem}$ controla a força desse sinal denso.

Essa recompensa auxiliar fornece sinais de sobreposição conscientes da sequência, complementando o sinal de correção esparsa sem substituí-lo.

Principais Contribuições

1. Identificação da Limitação: O artigo identifica a perda de informações relacionais intra-grupo na otimização relativa ao grupo baseada em linha de base escalar como um gargalo chave no RLVR para tarefas de raciocínio.
2. Algoritmo LamPO: Um método inovador de otimização de política sem crítico que utiliza Vantagens Decompostas em Pares com ponderação consciente de confiança para preservar informações de classificação dentro de grupos amostrados.
3. Integração de Recompensa Auxiliar: Um mecanismo simples e eficaz para reduzir a esparsidade de recompensa usando sobreposição baseada em ROUGE-L quando traços de raciocínio de referência estão disponíveis.
4. Validação Empírica: Demonstrou melhorias consistentes sobre a GRPO e variantes recentes de RLVR (DAPO, GSPO, SAPO) em múltiplos benchmarks e famílias de modelos.

Resultados Experimentais

Os autores avaliaram o LamPO em quatro benchmarks de raciocínio: AIME24, AIME25, MATH-500 e GPQA-Diamond, usando três backbones de modelo: Qwen3-1.7B, Qwen3-4B e Phi-4-mini.

• Desempenho: O LamPO superou consistentemente a GRPO e outras linhas de base (CoT, SimpleRL-Zoo, PRIME, RLPR, DAPO, GSPO) em todos os tamanhos de modelo.
  • No Qwen3-1.7B, o LamPO alcançou a pontuação média mais alta (53,60), com ganhos notáveis em tarefas de matemática estilo competição (AIME24: 46,67 vs. 42,08 da GRPO).
  • No Qwen3-4B, o LamPO melhorou a pontuação média em 1,69 pontos sobre a GRPO (77,09 vs. 75,40).
  • No Phi-4-mini, o LamPO mostrou ganhos similares, indicando que o método não está vinculado a uma família de modelo específica.
• Dinâmica de Treinamento: As curvas de treinamento revelaram que o LamPO produz melhorias de recompensa mais suaves e comprimentos de conclusão mais estáveis em comparação com a GRPO. Essa estabilidade é atribuída ao sinal estruturado fornecido pelas lacunas em pares, que reduz atualizações oscilatórias causadas pela normalização escalar de alta variância, especialmente em modelos menores.
• Estudos de Ablação:
  • Temperatura ($\tau$): Um valor de $\tau=1,5$ produziu os melhores resultados. Valores mais baixos ($\tau=0,5$) tornaram a ponderação muito sensível, enquanto valores mais altos ($\tau=5,0, 7,0$) suavizaram a ponderação excessivamente, enfraquecendo a discriminação em pares.
  • Recompensa Semântica: Remover a recompensa auxiliar densa ($\lambda_{sem}=0,0$) reduziu o desempenho, confirmando que o ajuste de sobreposição de referência melhora a eficiência de amostra sob recompensas esparsas.

Significado e Alegações

O artigo afirma que o LamPO oferece um mecanismo de atribuição de crédito mais eficaz para tarefas de raciocínio onde a qualidade da solução varia sutilmente. Ao mudar de estatísticas de grupo escalares para vantagens decompostas em pares, o LamPO fornece um sinal de aprendizado mais rico que aproveita explicitamente a ordenação relativa das respostas candidatas.

Os autores enfatizam que o LamPO mantém a eficiência computacional e a estabilidade do framework GRPO (sendo sem crítico e usando atualizações recortadas) enquanto aborda a fraqueza específica da perda de informação em métodos relativos ao grupo. A integração de uma recompensa leve baseada em ROUGE-L aprimora ainda mais a eficiência de treinamento quando dados de referência estão disponíveis, sem comprometer a dependência da correção verificável.

Limitações Reconhecidas:

• Custo Computacional: A comparação em pares introduz uma complexidade $O(G^2)$ em relação ao tamanho do grupo $G$, embora isso seja considerado negligenciável para tamanhos de grupo típicos no RLVR.
• Confiabilidade da Recompensa: O método depende de sinais de recompensa confiáveis; recompensas ruidosas ou subjetivas podem amplificar erros nas lacunas em pares.
• Escopo da Recompensa Auxiliar: A recompensa ROUGE-L captura sobreposição lexical em vez de correção completa de raciocínio e requer soluções de referência, que podem não existir para todas as tarefas.
• Generalização: Os experimentos estão atualmente limitados ao raciocínio matemático e científico; a generalização para diálogo aberto ou tarefas multimodais permanece uma questão em aberto.