Resumo Técnico: Além do Pass@k: RLVR Consciente de Redundância para Geração de Código com Múltiplas Amostras

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) para geração de código são tipicamente avaliados em configurações de amostragem repetida usando a métrica Pass@k, que mede a probabilidade de que pelo menos um dos $k$ programas amostrados passe nos testes unitários. Embora métodos recentes de Aprendizado por Reforço Baseado em Verificador (RLVR) tenham melhorado com sucesso a correção executável ao otimizar contra feedback de testes, o comportamento desses modelos em relação à redundância no nível de implementação permanece pouco compreendido.

O problema central abordado é que objetivos padrão de RL (otimização para correção isolada) e objetivos conscientes de Pass@k (otimização para sucesso em grupo) podem induzir comportamentos de geração qualitativamente diferentes. Especificamente, não está claro se os ganhos de desempenho sob um orçamento de amostragem finito decorrem da descoberta de padrões de implementação diversos e distintos ou da concentração de gerações em torno de um conjunto estreito de soluções quase-duplicatas. Métricas atuais como Pass@k não distinguem entre esses dois cenários, potencialmente mascarando uma falta de diversidade que poderia limitar o desempenho em orçamentos de amostragem maiores ($k$).

Metodologia

1. Diagnóstico de Redundância: JPlag

Para quantificar a redundância de implementação, os autores empregam o JPlag, um sistema de detecção de plágio projetado para código. Diferentemente de métricas de sobreposição lexical (por exemplo, n-gramas), que são sensíveis a edições superficiais (renomeação de variáveis, formatação), o JPlag utiliza tokenização e correspondência conscientes da linguagem para detectar similaridades estruturais.

• Métrica: O artigo define Diversidade JPlag (JDiv) como $1 - \text{média de similaridade par a par}$. Um JDiv mais alto indica menor redundância.
• Utilidade: O JPlag serve como uma ferramenta de diagnóstico para analisar como diferentes objetivos de RL utilizam o orçamento de amostragem e como base para um novo sinal de treinamento.

2. Objetivos de RLVR de Linha de Base

O estudo compara três abordagens existentes:

• Base-RLVR (Apenas Correção): Atribui recompensas aditivas para cada amostra correta dentro de um grupo. O crédito é atribuído independentemente às gerações bem-sucedidas.
• Pass@k-RLVR: Usa uma recompensa em nível de grupo onde o sucesso depende se pelo menos uma amostra no grupo está correta. O crédito é atribuído via uma vantagem de "deixar um de fora" (leave-one-out), recompensando amostras que alteram o status de sucesso do grupo.
• PKPO (Otimização de Política Pass@k): Estende os princípios do Pass@k para grupos maiores que $k$, calculando a média das vantagens de "deixar um de fora" sobre todos os subconjuntos de tamanho $k$.

3. Método Proposto: JPlag-RLVR

Os autores propõem um objetivo de RLVR Consciente de Redundância que amplia as recompensas executáveis padrão com um sinal direto anti-redundância.

• Função de Recompensa: $R(x, Y^{(n)}) = R_{\text{corr}}(x, Y^{(n)}) + \lambda_{\text{div}} R_{\text{div}}(x, Y^{(n)})$.
  • $R_{\text{corr}}$ é a recompensa padrão de correção.
  • $R_{\text{div}}$ é uma recompensa escalar anti-redundância derivada da similaridade JPlag (especificamente, o inverso da média de similaridade par a par).
• Atribuição de Crédito: Para garantir que o sinal de treinamento dependa da contribuição marginal de uma amostra para a diversidade do grupo, os autores utilizam uma construção de vantagem de "deixar um de fora" para o componente de diversidade. Uma amostra recebe uma vantagem positiva se sua inclusão reduzir a redundância do grupo, e uma vantagem negativa se ela duplicar gerações existentes.
• Implementação: O método é aplicado em três modelos (Qwen3-4B, Qwen3-8B, Olmo3-7B) e três benchmarks (MBPP, Code-Contest, TACO-Cobalt).

Principais Resultados

1. Análise de Objetivos Existentes

• RLVR Apenas Correção: Embora melhore o Pass@1, essa abordagem sistematicamente aumenta a redundância. A dinâmica de treinamento mostra que, à medida que o Pass@1 melhora, a diversidade JPlag diminui, indicando que o modelo se concentra em um conjunto estreito de implementações quase-duplicatas.
• Objetivos Conscientes de Pass@k: Esses métodos (Pass@k-RLVR, PKPO) mantêm implicitamente menor redundância e maior diversidade JPlag em comparação com as linhas de base apenas de correção. Eles tendem a melhorar o desempenho de forma mais significativa em orçamentos maiores (Pass@10, Pass@100) ao cobrir um conjunto mais amplo de padrões de implementação.

2. Desempenho do JPlag-RLVR

• Ganhos com Orçamento Finito: Desencorajar diretamente gerações quase-duplicatas via JPlag-RLVR melhora de forma confiável o desempenho executável com orçamento finito. Através de modelos e benchmarks, ele frequentemente igual ou supera objetivos especializados conscientes de Pass@k.
  • Exemplo: No MBPP com Qwen3-8B, o JPlag-RLVR melhorou o Pass@1 de 79,1 para 90,0 e o Pass@10 de 88,0 para 98,5, enquanto aumentava simultaneamente a diversidade JPlag de 0,305 para 0,927.
• Otimização de Trade-off: O método alcança um trade-off superior, movendo os modelos "para cima e para a direita" no espaço desempenho-redundância (maior Pass@k, maior JDiv) em comparação com as linhas de base.
• Robustez: As melhorias persistem através de diferentes sementes aleatórias e não são impulsionadas por algumas tarefas atípicas. Os ganhos estão distribuídos entre os prompts.

3. Estudos de Ablação

• Não Apenas Entropia: Aumentar a temperatura de amostragem melhora o Pass@100, mas degrada o Pass@1 e produz ganhos menores do que o treinamento explícito anti-redundância.
• Não Apenas Verbosidade: Os ganhos não são causados por conclusões mais longas ou variações textuais superficiais; os comprimentos do código executável permanecem comparáveis entre os métodos.
• Correção é Essencial: O treinamento apenas com recompensas de diversidade (sem correção) aumenta o JDiv, mas faz o desempenho executável colapsar. O sinal anti-redundância deve ser emparelhado com a recompensa do verificador.
• Especificidade do Sinal: Embora recompensas de diversidade lexical simples (1-gram) ofereçam alguma melhoria, as recompensas baseadas em JPlag produzem os resultados mais fortes, sugerindo que a similaridade consciente da estrutura do código é um sinal mais eficaz para reduzir implementações repetidas do que a variação de superfície.

Significado e Alegações

O artigo afirma identificar a redundância de implementação tanto como um diagnóstico crítico quanto como um alvo de otimização prático para a geração de código em amostragem repetida.

1. Valor Diagnóstico: O estudo demonstra que modelos otimizados para resultados executáveis semelhantes podem exibir estruturas de redundância vastamente diferentes. O RLVR apenas de correção tende a concentrar gerações, enquanto objetivos conscientes de Pass@k encorajam naturalmente a diversidade.
2. Alvo de Otimização: Os autores mostram que penalizar explicitamente gerações quase-duplicatas via similaridade JPlag é uma intervenção simples, porém eficaz. Isso melhora o desempenho com orçamento finito sem exigir esquemas complexos de atribuição de crédito ou depender de variações superficiais de saída.
3. Implicação Prática: A geração de código com orçamento finito não deve ser compreendida apenas através da correção marginal. Como um modelo aloca seu orçamento de amostragem entre padrões de implementação distintos é um fator chave para maximizar o desempenho Pass@k.

Os autores permanecem modestos quanto às limitações, observando que o JPlag é uma medida aproximada de similaridade estrutural e não um oráculo de equivalência semântica, e que seus experimentos são limitados a modelos específicos de pesos abertos e benchmarks de programação competitiva de horizonte curto. Eles não afirmam que o método resolve todos os problemas de diversidade na geração de código, mas destacam sua eficácia no contexto específico de RL baseado em verificador.