Resumo Técnico: ReCode: Reforçando a Geração de Código com Recompensas de Processo de Raciocínio

Declaração do Problema

A Aprendizagem por Reforço (RL) tornou-se um paradigma transformador para melhorar Modelos de Linguagem de Grande Escala (LLMs) na geração de código. No entanto, as abordagens existentes dependem predominantemente de supervisão baseada em resultados, como taxas de aprovação de casos de teste, que fornecem orientação limitada sobre como chegar a um programa correto. Embora o raciocínio rigoroso seja frequentemente um motor chave para a correção do código, os métodos atuais de RL frequentemente negligenciam a otimização da qualidade do próprio processo de raciocínio.

Traduzir a ideia de otimizar processos de raciocínio em um framework de treinamento prático enfrenta dois desafios principais:

1. Escassez de Dados de Preferência de Alta Granularidade: O treinamento de modelos de recompensa confiáveis para avaliar a qualidade do raciocínio é prejudicado pela falta de dados de preferência de alta qualidade e alta granularidade. A anotação humana não é escalável e é subjetiva, enquanto o uso de LLMs como juízes frequentemente sofre de má calibração ao atribuir pontuações escalares a qualidades de raciocínio sutis.
2. Exploração de Recompensas (Reward Hacking): Incorporar ingenuamente recompensas neurais para processos de raciocínio em RL apresenta riscos significativos. Diferentemente de resultados estritos e verificáveis de testes unitários, as recompensas neurais são menos restritas. Uma política pode aprender a "explorar" a recompensa inflando a pontuação do processo de raciocínio sem realmente melhorar a correção funcional do código gerado.

Metodologia: Framework ReCode

Os autores propõem o ReCode (Geração de Código Reforçada por Raciocínio), um novo framework de treinamento RL projetado para alinhar a geração de código com processos de raciocínio de alta qualidade. O ReCode consiste em dois componentes principais:

1. Aprendizado de Recompensa de Processo de Raciocínio Contrastivo (CRPL)

Para abordar o desafio da escassez de dados, o CRPL introduz um método para sintetizar automaticamente dados de preferência contrastiva sem depender de anotação humana ou pontuação escalar direta.

• Processo: O framework codifica a qualidade do raciocínio em três dimensões críticas: Precisão Factual, Rigor Lógico e Coerência Lógica.
• Síntese de Dados: Usando um LLM poderoso (Qwen2.5-Coder-32B-Instruct), o CRPL gera variantes Otimizadas ($t^+$) e Degradadas ($t^-$) de um processo de raciocínio base ($t$) aplicando transformações direcionadas nessas dimensões (por exemplo, removendo redundâncias para otimização, ou introduzindo erros factuais para degradação).
• Ordenação de Preferência: Este processo cria uma ordenação de preferência multinível, formando três tipos de pares: contraste forte ($t^+ \succ t^-$), otimização de alta granularidade ($t^+ \succ t$) e degradação de alta granularidade ($t \succ t^-$).
• Treinamento: Um modelo de recompensa é treinado nesses pares de preferência usando um objetivo Bradley-Terry para discriminar entre qualidades de raciocínio, em vez de prever pontuações absolutas.

2. GRPO com Portão de Consistência (CG-GRPO)

Para abordar o risco de exploração de recompensas, o ReCode integra o modelo de recompensa de processo de raciocínio no loop de RL por meio de um mecanismo de portão construído sobre a Otimização de Política Relativa em Grupo (GRPO).

• Portão Rígido: A recompensa de processo de raciocínio ($R_{proc}$) é ativada apenas se o código gerado passar em todos os testes unitários (correção funcional).
• Estrutura de Recompensa: A recompensa total $R_i$ para uma amostra é formulada como:
  $$R_i = R_{fmt} + R_{out} + \mathbb{I}(R_{out} = 1) \cdot R_{proc}$$
  Onde $R_{fmt}$ é uma recompensa de formato, $R_{out}$ é a recompensa de resultado binária e $\mathbb{I}(\cdot)$ é a função indicadora.
• Efeito: Isso garante que a política não possa comprometer a correção funcional para maximizar a pontuação neural de raciocínio. Também fornece gradientes informativos entre soluções corretas, incentivando o modelo a preferir processos de raciocínio de alta qualidade mesmo quando o código já está funcionalmente correto.

Construção de Benchmark: LCB-RB

Para avaliar a capacidade discriminativa dos modelos de recompensa de processo de raciocínio, os autores introduzem o LiveCodeBench-RewardBench (LCB-RB).

• Construção: Derivado do LiveCodeBench, este benchmark compreende 219 pares de preferência manualmente verificados de processos de raciocínio superiores e inferiores.
• Filtragem: Um pipeline de filtragem em duas etapas (Verificação de Dupla Consistência Automatizada usando GPT-4o seguida por Julgamento Humano) garante alinhamento estrito entre raciocínio e implementação, filtrando casos onde o código passa nos testes apesar de um raciocínio falho ou falha devido a problemas menores de implementação apesar de um raciocínio sólido.

Resultados Experimentais

Extensos experimentos foram conduzidos em HumanEval(+), MBPP(+), LiveCodeBench e BigCodeBench usando o Qwen2.5-Coder-7B-Instruct como modelo de política.

• Desempenho de Geração de Código: Um modelo de 7B treinado com ReCode alcançou uma melhoria relativa de 16,1% sobre o modelo base (50,4% $\to$ 58,5% de taxa média de aprovação), atingindo desempenho comparável ao GPT-4-Turbo. Superou a linha de base GRPO apenas de resultados em 6,7%.
• Eficácia do Modelo de Recompensa: O modelo de recompensa treinado com CRPL alcançou forte desempenho discriminativo no LCB-RB, superando as linhas de base mais avançadas (incluindo GPT-4-Turbo e modelos de recompensa especializados). Notavelmente, o modelo treinado com CRPL de 7B performou comparavelmente ao GPT-4-Turbo no LCB-RB.
• Generalização:
  • Domínio Matemático: Estender o CG-GRPO para o domínio matemático (usando Qwen2.5-Math-7B) produziu ganhos consistentes, com uma melhoria relativa de 7,4% sobre a linha de base RL sem recompensas de raciocínio no AIME 2024.
  • Entre Modelos: A recompensa de processo de raciocínio aprendida transferiu-se efetivamente para o modelo Qwen3-4B-Instruct.
• Eficiência: O ReCode alcançou taxas Pass@1 mais altas enquanto gerava 23,4% menos tokens em média comparado ao RL apenas de resultados, indicando raciocínio mais conciso e direcionado.
• Estudos de Ablação:
  • Exploração de Recompensas: Formulações alternativas sem o portão de consistência (por exemplo, adição direta de recompensas) levaram à saturação de recompensas e degradação de desempenho, confirmando a necessidade do mecanismo de portão.
  • Síntese de Dados: O treinamento em dados de preferência de gerador único superou dados de geradores cruzados, sugerindo que artefatos estilísticos consistentes no processo de síntese fornecem sinais de supervisão mais limpos.

Significado e Alegações

O artigo alega que o ReCode demonstra com sucesso que a qualidade do processo de raciocínio pode ser explorada como um sinal de treinamento adicional para melhorar a geração de código além dos resultados finais. Seu significado reside em:

1. Preenchendo a Lacuna: Fornece uma solução escalável para treinar modelos de recompensa de processo de raciocínio sintetizando dados contrastivos, contornando a necessidade de anotação humana dispendiosa.
2. Segurança em RL: O mecanismo com Portão de Consistência oferece um método robusto para integrar recompensas de processo neural em RL sem sucumbir à exploração de recompensas, garantindo que melhorias no raciocínio se traduzam em correção funcional.
3. Generalizabilidade: O framework não se limita ao código; generaliza-se para tarefas de raciocínio matemático, sugerindo uma aplicabilidade mais ampla para melhorar as capacidades de raciocínio de LLMs.
4. Novo Padrão de Avaliação: A introdução do LCB-RB aborda uma lacuna em benchmarks existentes ao focar especificamente na discriminação de processos de raciocínio intermediários em vez de apenas na correção da solução final.

Os autores concluem que o ReCode representa um passo em direção ao alinhamento de LLMs com raciocínio rigoroso, complementando os métodos existentes de supervisão centrados na implementação.