Resumo Técnico: Média Ponderada Extrapolativa Revela Fronteiras de Corretude–Eficiência em RL para Código

Declaração do Problema

Em Aprendizado por Reforço (RL) para geração de código, particularmente em programação competitiva, os modelos enfrentam um objetivo dual: corretude funcional (passar em todos os casos de teste) e eficiência computacional (resolver dentro dos limites de tempo e memória). O treinamento padrão de RL frequentemente luta para equilibrar esses aspectos, pois otimizar para eficiência estrita pode levar a falhas de corretude, enquanto otimizar para corretude em entradas pequenas pode produzir soluções ineficientes que falham em testes de estresse maiores.

Trabalhos existentes sobre fusão de modelos (por exemplo, "Rewarded Soups") demonstraram que interpolar linearmente pesos entre checkpoints treinados sob diferentes objetivos de recompensa pode traçar uma fronteira de Pareto entre esses objetivos. No entanto, permanece incerto se a média ponderada extrapolativa (média de pesos com coeficientes fora do intervalo $[0, 1]$) pode estender essas fronteiras para novos checkpoints úteis sem treinamento adicional. Especificamente, a extrapolação pode navegar além dos limites de execuções individuais de RL para descobrir políticas que não são puramente corretas nem puramente eficientes, mas complementares?

Metodologia

Configuração Experimental

Os autores investigam essa questão utilizando programação competitiva como um ambiente controlado onde a rigidez do verificador serve como um eixo experimental natural.

• Modelos: Os experimentos são conduzidos em modelos de 7B e 32B parâmetros (Qwen 2.5 7B e CWM-SFT 32B).
• Ambiente de Treinamento: Três configurações distintas de RL são utilizadas:
  1. Raciocínio Puro: Geração em turno único.
  2. Uso de Ferramentas: Raciocínio em múltiplos turnos com chamadas de ferramentas Python.
  3. Codificação Agêntica: Interação em múltiplos turnos com um terminal isolado (sandbox).
• Varredura de Rigidez de Recompensa: A partir de um checkpoint compartilhado de Ajuste Fino Supervisionado (SFT), execuções independentes de RL são treinadas no conjunto de dados CodeContestsPlus. A função de recompensa é um sinal binário aninhado baseado em limiares de comprimento de entrada ($k$):
  • $R_k(y) = 1$ se a solução passar em todos os testes com comprimento de entrada $< 10^k$.
  • $R_\infty(y) = 1$ se a solução passar em todos os testes (suite completa).
  • Isso cria uma família ordenada de checkpoints, desde "baixa cobertura" (relaxada, entradas pequenas) até "alta cobertura" (estrita, testes de estresse completos).

Média Ponderada

A operação central é a média linear de pesos entre dois pontos finais, $\theta_{low}$ (baixa cobertura) e $\theta_{high}$ (alta cobertura):
$$\theta_\alpha = \alpha \theta_{high} + (1 - \alpha) \theta_{low}$$

• Interpolação: $\alpha \in [0, 1]$.
• Extrapolação: $\alpha \notin [0, 1]$ (por exemplo, $\alpha < 0$ ou $\alpha > 1$).

Avaliação

Os checkpoints são avaliados no benchmark LiveCodeBench (LCB) (dados retidos, cobertura total de testes). Os resultados são categorizados em:

1. Correto: Passa em todos os testes.
2. Falha de Otimização: Passa em testes menores, mas excede os limites de tempo/memória em testes maiores.
3. Falha de Corretude: Falha devido a erros de lógica ou exceções de tempo de execução dentro dos limites.
4. Erro de Formato: Saída não analisável.

Principais Contribuições e Resultados

1. Emergência de uma Fronteira de Corretude–Eficiência

O estudo revela que variar a rigidez do verificador não produz uma classificação simples de checkpoints. Em vez disso, em problemas difíceis, traça uma fronteira de corretude–eficiência:

• Treinamento de baixa cobertura reduz falhas de corretude, mas aumenta falhas de otimização (soluções ineficientes).
• Treinamento de alta cobertura reduz falhas de otimização, mas aumenta falhas de corretude (os modelos tentam algoritmos eficientes, mas falham na lógica).
• Estabilidade da Taxa de Resolução: A taxa geral de resolução permanece quase constante ao longo da fronteira; o trade-off é principalmente entre como o modelo falha (ineficiência vs. incorreção), e não se ele resolve o problema.

2. Interpolação Recupera a Fronteira

A interpolação linear entre os pontos finais de baixa e alta cobertura recupera com sucesso a fronteira traçada pelos checkpoints treinados independentemente. Uma única direção de interpolação no espaço de pesos é suficiente para percorrer o trade-off entre falhas de otimização e corretude.

3. Extrapolação Estende a Fronteira

Crucialmente, a média ponderada extrapolativa estende essa fronteira além dos pontos finais alcançados por qualquer execução única de RL:

• Além dos Limites de RL: Para $\alpha > 1$ e $\alpha < 0$, os checkpoints extrapolados continuam a mesma curva de trade-off, alcançando níveis de razões de falha de otimização/corretude que nenhum checkpoint individual de RL alcançou.
• Estabilidade: Essa continuação é estável sobre uma ampla faixa (por exemplo, $\alpha \in [-0.5, 1.5]$). Extrapolações extremas ($|\alpha| > 2$) levam à degradação principalmente devido a erros de formato (exaustão de tokens) em vez de um colapso da lógica da fronteira.
• Generalização: Esse fenômeno mantém-se em todos os três ambientes de inferência (raciocínio, uso de ferramentas, codificação agêntica) e em ambas as escalas de modelo (7B, 32B), desde que a dificuldade do problema seja compatível com a capacidade do modelo.

4. Escalonamento no Tempo de Inferência via Ensembles

O artigo demonstra que checkpoints extrapolados são políticas complementares:

• Rotatividade por Problema: Diferentes pontos ao longo do eixo extrapolado resolvem diferentes subconjuntos de problemas difíceis. Embora a taxa geral de resolução seja plana, os problemas específicos resolvidos variam significativamente.
• Ganhos de Ensemble: Ao ensemble checkpoints ao longo da fronteira estendida (interpolação + extrapolação), os autores melhoram a métrica pass@250 no LCB/hard em 3,3% sobre o melhor checkpoint único com um orçamento de amostras compatível.
• Diversidade: O pool extrapolado fornece soluções únicas para problemas que pools apenas de interpolação perdem, particularmente nos problemas mais difíceis.

5. O Que Move a Fronteira?

Os autores contrastam o reward shaping estático com o treinamento condicionado à falha:

• Reward Shaping Estático: Atribuir crédito parcial por passar em testes menores (discreto ou contínuo) mantém o modelo na mesma fronteira. Apenas repondera resultados existentes sem introduzir novas informações.
• Treinamento Condicionado à Falha: Usar o contexto de falha (código falho + estatísticas de execução) para treinar uma política de reparo (correção online) mostra potencial para deslocar a fronteira para fora, melhorando tanto as taxas de correção quanto as taxas de aprovação originais, sugerindo que sinais de falha mais ricos são necessários para ir além do trade-off existente.

Significado e Alegações

O artigo afirma que a cobertura aninhada de testes unitários em RL para código induz uma fronteira de corretude–eficiência que pode ser navegada, estendida e explorada via média ponderada extrapolativa.

• Novidade: Estabelece que a extrapolação não é apenas uma curiosidade matemática, mas um método prático para acessar uma "continuação" da fronteira de Pareto, gerando políticas diversas que nenhuma execução única de treinamento produz.
• Utilidade Prática: Checkpoints extrapolados servem como um mecanismo barato e sem treinamento para escalonamento no tempo de inferência, ampliando a cobertura de problemas resolvidos sem computação adicional de RL.
• Limitações: A fronteira é induzida pelo trade-off específico entre corretude e eficiência na programação competitiva. Os autores observam que mover a fronteira em si (melhorar a frente de Pareto) provavelmente requer sinais de treinamento que revelem por que os programas falham (por exemplo, treinamento condicionado à falha) em vez de apenas testes mais estritos.

O trabalho sugere um novo paradigma para RL em código: em vez de buscar um único checkpoint "ótimo", os praticantes podem aproveitar a média ponderada para explorar um espectro de comportamentos complementares, estendendo as capacidades de modelos existentes através de operações aritméticas simples sobre pesos.