Resumo Técnico: Geração Primal, Julgamento Dual: Auto-treinamento a partir da Escala em Tempo de Teste

Declaração do Problema

Modelos de geração de código são tipicamente treinados no espaço primal, onde um modelo produz uma solução candidata e recebe feedback de execução esparsa e binária (sucesso/fracasso). Embora a escala em tempo de teste (amostragem de múltiplas candidatas e seleção da melhor por meio de um julgador) melhore a precisão na inferência, a informação comparativa revelada durante esse processo — especificamente as diferenças estruturais entre tentativas bem-sucedidas e falhas — é descartada após a inferência. Sistemas existentes do tipo "gerar-então-julgar" utilizam essa estrutura comparativa apenas para ranqueamento no momento da inferência, falhando em atualizar o próprio gerador. Consequentemente, o modelo pode continuar a atribuir alta probabilidade a códigos plausíveis, mas incorretos, em futuras execuções.

O artigo argumenta que a estrutura comparativa da escala em tempo de teste define um espaço de julgamento dual. Este espaço oferece um sinal de treinamento mais denso do que o espaço primal: em vez de bits isolados de sucesso/fracasso, fornece estruturas de correção relativa entre tentativas plausíveis, revelando o que distingue o sucesso do fracasso.

Metodologia: DuST (Auto-treinamento Dual)

Os autores introduzem o DuST, um framework para auto-treinamento a partir deste espaço de julgamento dual. A hipótese central é que um modelo treinado para discriminar código correto de incorreto no espaço dual adquire características sensíveis à correção que beneficiam a geração primal, mesmo sem recompensas diretas para gerar código correto.

1. Construção de Dados

• Amostragem: Para um problema de codificação $x$, o modelo base amostra um grande conjunto de códigos candidatos ($M$ candidatos).
• Execução e Rotulagem: Os candidatos são executados em um ambiente isolado (sandbox) para obter rótulos de correção binária ($1$ para sucesso, $0$ para falha).
• Agrupamento: Os candidatos são particionados em grupos de tamanho $K$. Apenas grupos de qualidade mista (contendo pelo menos um candidato correto e um incorreto) são retidos. Grupos com todos os candidatos corretos ou todos incorretos são descartados, pois carecem de contraste de ranqueamento.
• Conjunto de Dados: O conjunto de dados resultante consiste em problemas emparelhados com conjuntos de candidatos auto-gerados e rótulos fundamentados na execução.

2. Objetivo de Treinamento

O modelo é treinado para ranquear candidatos dentro de um grupo com base na correção de execução.

• Função de Recompensa: A recompensa é puramente discriminativa. Ela mede com que frequência candidatos com execução correta são ranqueados acima de candidatos com execução incorreta.
  • $R_{exec}$ calcula a fração de pares correto-sobre-incorreto $(i, j)$ onde o rank previsto de $i$ é melhor que o de $j$.
  • Respostas malformadas recebem uma penalidade negativa de formato.
• Otimização: O framework utiliza Otimização de Política Relativa em Grupo (GRPO).
  • As amostras de código candidato são mantidas fixas (fora de política em relação à geração).
  • O modelo amostra respostas de julgamento (trilhas de raciocínio e ranqueamentos) dentro de política.
  • A política é atualizada para maximizar a recompensa de ranqueamento, regularizada contra uma política de referência congelada.

3. Distinção Chave

Diferentemente da Aprendizagem por Reforço (RL) padrão para geração de código, o DuST nunca recompensa diretamente a geração de programas corretos. A supervisão vem inteiramente de julgar os contrastes de correção entre as próprias tentativas do modelo. Os parâmetros atualizados são os mesmos utilizados para a subsequente geração de código.

Contribuições Principais

1. Framework de Espaço de Julgamento Dual: O artigo propõe visualizar a escala em tempo de teste não apenas como uma estratégia de inferência, mas como uma fonte de sinais de treinamento densos e contrastivos em um espaço dual.
2. Auto-treinamento Discriminativo: O DuST demonstra que treinar um modelo para ranquear candidatos por correção de execução (uma tarefa discriminativa) melhora suas capacidades generativas (uma tarefa generativa) sem recompensas diretas de geração.
3. Isolamento de Mecanismo: Através de estudos de ablação comparando Ajuste Fino Supervisionado (SFT) e GRPO, o artigo identifica a RL dentro de política como o mecanismo crítico para transferir a aprendizagem do espaço dual de volta para a geração primal. O SFT melhora o julgamento, mas falha em melhorar a geração, enquanto o GRPO melhora ambos.
4. Densidade de Recompensa: O artigo destaca que o sinal contrastivo denso do ranqueamento (expondo $O(N^2)$ comparações em pares) é mais eficaz para transferência do que recompensas primais esparsas ou recompensas baseadas em seleção.

Resultados Experimentais

O método foi avaliado no LiveCodeBench (v5 e v6) em cinco modelos abrangendo duas famílias (Qwen, GPT-oss) e três escalas (4B a 30B).

• Precisão de Escala em Tempo de Teste: O DuST melhora consistentemente a precisão Best-of-4. Para o Qwen3-30B-Thinking no LiveCodeBench v6, a precisão melhorou em +4,1% (de 68,7% para 72,6%).
• Qualidade de Julgamento: A capacidade do modelo treinado de ranquear candidatos melhorou significativamente, com o NDCG aumentando em +6,2 para o Qwen3-30B-Thinking.
• Geração Primal (Pass@1): Notavelmente, a qualidade da geração de amostra única melhorou sem recompensas diretas. Para o Qwen3-30B-Thinking, o pass@1 aumentou em +3,1% (de 65,4% para 68,5%).
• Generalização: Melhorias foram observadas em todos os tamanhos de modelo (4B–30B) e famílias, sugerindo que a abordagem é agnóstica à arquitetura.
• Comparação com SFT: Quando treinado nos mesmos dados de ranqueamento, o SFT melhorou o julgamento (NDCG), mas deixou a geração (pass@1) inalterada. Apenas o GRPO melhorou ambos, confirmando que o ciclo de feedback dentro de política é essencial para a transferência.
• Sensibilidade à Recompensa: Recompensas de ranqueamento (Precisão em Pares/NDCG) superaram recompensas de seleção (apenas top-1) na transferência para geração, provavelmente porque o ranqueamento expõe toda a estrutura contrastiva de código correto versus incorreto.

Significado e Afirmações

O artigo afirma que os espaços primal (geração) e dual (julgamento) da geração de código estão mais acoplados do que o treinamento padrão assume.

• Transferência de Compreensão: Os autores argumentam que, ao aprender a distinguir por que uma solução falha ou tem sucesso em relação a outras tentativas plausíveis, o modelo internaliza características de correção executável (por exemplo, invariantes algorítmicos, casos de borda). Essas características subsequentemente deslocam a massa de probabilidade do gerador em direção a trajetórias corretas.
• Eficiência: A execução única do modelo treinado corresponde ao desempenho Best-of-4 do modelo base, efetivamente "incorporando" os benefícios da escala em tempo de teste nos pesos do modelo.
• Limitações dos Paradigmas Atuais: O trabalho sugere que descartar informações comparativas após a inferência é uma oportunidade perdida. A estrutura contrastiva revelada no momento do teste é um sinal de treinamento rico e amplamente inexplorado.

O artigo conclui que a aprendizagem por reforço dentro de política no espaço de julgamento dual é um mecanismo viável e eficaz para melhorar a geração de código, oferecendo um novo caminho para auto-melhoria que não depende de preferências humanas externas ou recompensas diretas de geração.