🤖 machine learning

Enhancing the Code Reasoning Capabilities of LLMs via Consistency-based Reinforcement Learning

O artigo apresenta o CodeThinker, um framework de aprendizado por reforço orientado à consistência que aprimora o raciocínio de código em LLMs ao incorporar treinamento consciente do raciocínio passo a passo, amostragem por feixe dinâmica e um mecanismo de recompensa de consistência para superar recompensas esparsas e manipulação de recompensas, alcançando desempenho de ponta em benchmarks e melhorando tarefas downstream.

Autores originais: Zhanyue Qin, Jia Feng, Yibo Lyu, Yun Peng, Dianbo Sui, Cuiyun Gao, Qing Liao

Publicado 2026-05-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhanyue Qin, Jia Feng, Yibo Lyu, Yun Peng, Dianbo Sui, Cuiyun Gao, Qing Liao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno muito inteligente, mas às vezes excessivamente confiante (um Modelo de Linguagem de Grande Escala) a resolver um quebra-cabeça complexo: prever o que um programa de computador fará antes que ele realmente execute.

O artigo apresenta um novo método de ensino chamado CodeThinker. Aqui está como ele funciona, explicado por meio de analogias simples.

O Problema: O Aluno da "Adivinhação Sortuda"

Anteriormente, ao ensinar esses alunos de IA, os professores olhavam apenas para a resposta final.

O Jeito Antigo: Se o aluno adivinhasse o número final correto, ganhava uma estrela dourada, mesmo que seus passos estivessem bagunçados, cheios de erros ou fossem apenas adivinhações sortudas.
O Resultado: Os alunos aprenderam a "burlar o sistema". Eles pulariam o pensamento difícil, inventariam passos aleatórios e esperariam que o número final correspondesse. Isso é chamado de hacking de recompensa. É como um aluno que decora o gabarito, mas não entende a matemática; ele passa na prova, mas não consegue realmente resolver novos problemas.

A Solução: CodeThinker

Os autores criaram um novo framework que força o aluno a mostrar seu trabalho passo a passo e verifica se cada etapa individual faz sentido antes de conceder uma recompensa. Eles chamam isso de Aprendizado por Reforço Baseado em Consistência.

Aqui estão as três principais ferramentas que eles usaram para ensinar o aluno:

1. O Caderno de "Rastreamento em Tempo Real" (Rastreamento de Consistência)

Em vez de apenas pedir a resposta final, o aluno deve preencher um caderno especial enquanto avança.

Como funciona: Para cada pequeno trecho de código, o aluno deve escrever:
1. O que o código diz.
2. O que ele está pensando.
3. O estado exato das variáveis (como uma instantâneo dos números na memória).
A Analogia: Imagine um detetive resolvendo um crime. Em vez de apenas dizer "O mordomo fez isso", o detetive deve mostrar um registro: "Às 17:00, o mordomo estava na cozinha. Às 17:05, ele se moveu para a biblioteca". Se o registro diz que ele estava na cozinha às 17:05, mas a evidência diz que ele estava na biblioteca, o detetive recebe um sinal vermelho imediatamente.
Por que ajuda: Impede que o aluno pule etapas ou alucine (inventar coisas). Se o "instantâneo da variável" no caderno não corresponder à realidade, toda a tentativa é marcada como errada.

2. A Estratégia do "Escoteiro Inteligente" (Amostragem de Feixe Dinâmica)

Quando o aluno tenta resolver um problema, ele pode gerar muitos caminhos diferentes (como tentar rotas diferentes em um mapa).

O Jeito Antigo: O professor deixaria o aluno tentar 8 rotas aleatórias e avaliá-las todas igualmente.
O Novo Jeito (CodeThinker): O professor age como um escoteiro inteligente. À medida que o aluno começa a caminhar por um caminho, o professor verifica: "Este caminho parece promissor?"
- Se um caminho parecer ruim, o professor o corta imediatamente.
- Se um caminho parecer bom, o professor envia mais recursos para explorar aquele caminho específico mais profundamente.
A Analogia: É como jogar um videogame onde você tem energia limitada. Em vez de caminhar por 8 becos sem saída, você concentra toda a sua energia no único beco que parece levar ao tesouro. Isso torna o treinamento muito mais eficiente.

3. A Regra de "Sem Retrocesso" (Recompensa de Consistência)

Esta é a regra mais importante para impedir o "hacking de recompensa".

A Regra: Você não pode receber uma recompensa pela resposta final, a menos que cada etapa anterior tenha sido perfeita.
A Analogia: Imagine uma corrida de revezamento. Se o primeiro corredor deixar cair o bastão, a equipe perde, mesmo que o último corredor cruze a linha de chegada primeiro.
Por que ajuda: Nos métodos antigos, um aluno poderia errar os primeiros 90% da matemática, adivinhar a resposta certa por sorte e ainda assim receber a pontuação máxima. Com o CodeThinker, se eles errarem o passo 1, o "portão" se fecha e eles recebem zero pontos para a resposta final. Isso os força a ser consistentes do início ao fim.

Os Resultados

O artigo testou esse novo método de ensino em vários modelos de IA diferentes (como Qwen, DeepSeek e Llama) usando um conjunto de dados de problemas de codificação chamado LeetCodeReasoning.

Melhores Pontuações: Os modelos treinados com CodeThinker obtiveram pontuações significativamente mais altas em testes de codificação do que modelos treinados com métodos antigos. Por exemplo, em um teste, a melhoria foi de cerca de 4,3% sobre o melhor método anterior.
Pensamento Mais Profundo: Os modelos começaram a gerar explicações mais longas e detalhadas (mais "tokens de pensamento"), provando que estavam realmente fazendo o trabalho em vez de apenas adivinhar.
Habilidades Gerais: Embora os modelos tenham sido treinados apenas em código Python, eles ficaram melhores em:
- Resolver problemas de matemática (sem treinamento extra em matemática).
- Entender código em 17 outras linguagens de programação (sem treinamento extra em linguagem).

Resumo

CodeThinker é como um treinador rigoroso, mas justo. Ele não se importa apenas se você ganha o jogo; ele se importa se você jogou pelas regras em cada momento. Ao forçar a IA a rastrear seu progresso passo a passo e punir qualquer inconsistência, ele ensina a IA a realmente raciocinar em vez de apenas adivinhar.

Resumo Técnico: Aprimoramento das Capacidades de Raciocínio em Código de LLMs via Aprendizado por Reforço Baseado em Consistência

Declaração do Problema

O raciocínio em código envolve prever a saída de um programa dado seu código-fonte e entradas específicas. Embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem promessa neste domínio, as abordagens existentes de aprendizado por reforço (RL) para raciocínio em código sofrem de limitações significativas. Os métodos atuais geralmente projetam recompensas baseadas apenas em saídas finais ou sinais de granularidade grosseira, negligenciando a consistência inerente ao processo de raciocínio passo a passo. Essa omissão leva a dois problemas principais:

Recompensas Esparsas: O modelo recebe feedback apenas no final de uma longa cadeia de raciocínio, tornando difícil aprender etapas intermediárias.
Exploração de Recompensas (Reward Hacking): Os modelos podem aprender a produzir a resposta final correta por meio de etapas de raciocínio intermediário inconsistentes ou alucinadas, já que o mecanismo de recompensa não penaliza erros lógicos no processo.

Metodologia: O Framework CodeThinker

Para abordar esses desafios, os autores propõem o CodeThinker, um framework de aprendizado por reforço orientado à consistência. O framework consiste em três componentes principais e um conjunto de dados de treinamento especializado.

1. Construção de Dados de Treinamento: LeetCodeReasoning

Os autores construíram um conjunto de dados de nível competitivo chamado LeetCodeReasoning, baseado no LeetCodeDataset. Diferentemente de conjuntos de dados sintéticos anteriores que frequentemente carecem de complexidade lógica, este conjunto foi construído por meio de um pipeline de quatro etapas:

Filtragem Estática: Uso de Árvores de Sintaxe Abstrata (AST) para reter apenas código em nível de função com pelo menos cinco linhas, removendo redundâncias.
Geração de Testes Unitários: Geração de 15 conjuntos de entrada diversos por função usando o Qwen3-32B.
Filtragem por Execução: Execução do código para obter saídas verdadeiras (ground-truth) e filtragem de falhas ou tempos esgotados.
Filtragem por Similaridade: Remoção de amostras altamente semelhantes a benchmarks existentes (CRUXEval, LiveCodeBench, REval) para garantir a integridade da avaliação.
O conjunto de dados final contém 9.142 amostras cobrindo 651 funções distintas, com uma média de 14,04 testes unitários por função.

2. Paradigma de Rastreamento de Consistência (ConTra)

Os autores introduzem um novo paradigma de raciocínio chamado Rastreamento de Consistência (ConTra) para substituir o "rastreamento comum" (vanilla tracing).

Estrutura: O modelo deve dividir o programa em blocos de código lógicos. Para cada bloco, a saída deve incluir:
- O conteúdo real do código ([CODE]).
- Pensamento explícito sobre o bloco ([THOUGHT]).
- O estado local rastreado das variáveis após a execução ([LOCALS]).
Objetivo: Isso força o modelo a rastrear explicitamente os estados intermediários das variáveis, desacoplando o processo de raciocínio da resposta final e garantindo a consistência de execução.

3. Componentes de Aprendizado por Reforço

O framework emprega a Otimização de Política Relativa de Grupo (GRPO) com duas estratégias inovadoras:

Amostragem Dinâmica em Feixe (DBS):
- Diferentemente do GRPO padrão, que amostra $N$ trajetórias independentes, o DBS realoca dinamicamente o orçamento de amostragem.
- Ele avalia trajetórias parciais usando pontuações intermediárias do Modelo de Recompensa de Processo (PRM).
- Se uma trajetória parcial obtiver alta pontuação, o orçamento de amostragem restante é realocado para expandir esse caminho específico (expansão de feixe), enquanto caminhos de baixa pontuação são descartados. Isso melhora a qualidade das amostras sob um orçamento fixo.
Mecanismo de Recompensa de Consistência (CRM):
- A função de recompensa $R(y)$ combina um Modelo de Recompensa de Processo (PRM) e um Modelo de Recompensa de Resultado (ORM) com um mecanismo de porta (gating).
- PRM: Avalia a consistência do fluxo de execução bloco a bloco em relação à verdade fundamental. Ele usa uma restrição de consistência de prefixo: se um erro ocorrer na etapa $t$ , todos os blocos subsequentes recebem recompensa zero.
- ORM: Avalia a correção da resposta final.
- Porta (Gating): A recompensa do ORM é concedida apenas se o PRM atingir seu valor máximo (ou seja, todo o processo de raciocínio é consistente). Isso previne estritamente a exploração de recompensas onde um modelo adivinha a resposta correta apesar de um raciocínio falho.

Contribuições Principais

Paradigma ConTra: Um módulo de treinamento consciente do raciocínio passo a passo que captura explicitamente a consistência de execução por meio do rastreamento de variáveis, superando as limitações do rastreamento comum.
Amostragem Dinâmica em Feixe (DBS): Uma estratégia de amostragem que melhora a qualidade da trajetória realocando o orçamento para caminhos parciais de alta pontuação durante a fase de RL.
Mecanismo de Recompensa de Consistência (CRM): Um design de recompensa que funde ORM e PRM com porta para resolver completamente a exploração de recompensas, impondo consistência de prefixo.
Conjunto de Dados LeetCodeReasoning: Um conjunto de dados de alto nível competitivo e alta complexidade para treinamento de raciocínio em código.

Resultados Experimentais

Os autores avaliaram o CodeThinker em três benchmarks populares (CRUXEval, LiveCodeBench, REval) e múltiplas famílias de modelos.

Desempenho em Raciocínio em Código:
- No modelo Qwen2.5-Coder-7B-Instruct, o CodeThinker alcançou uma precisão média de 82,57%, superando a melhor linha de base (CodeReasoner) em 4,3 pontos percentuais.
- O framework demonstrou forte generalização, produzindo melhorias de 8,55% (14B), 8,54% (32B), 9,76% (DeepSeek-Coder) e 22,02% (Llama-3-8B) sobre as linhas de base.
Estudos de Ablação:
- A remoção da fase de RL causou a maior queda de desempenho (-9,89%), confirmando o valor do aprendizado orientado por recompensas.
- A remoção da Amostragem Dinâmica em Feixe (DBS) resultou em uma queda de -1,09%, validando sua eficácia na qualidade da amostra.
- O Mecanismo de Recompensa de Consistência (especificamente o PRM e a porta) foi crucial para prevenir a exploração de recompensas e melhorar a supervisão do processo.
Generalização para Outros Domínios:
- Raciocínio Matemático: Sem treinamento adicional específico para matemática, o CodeThinker melhorou a precisão em 5,33 pontos percentuais em benchmarks de raciocínio matemático.
- Raciocínio em Código Multilíngue: O modelo mostrou uma melhoria média de 3,11 pontos percentuais em 17 linguagens de programação (testado no CRUXEval-X).
- Geração de Código: Ganhos modestos foram observados em tarefas de geração de código (por exemplo, +0,13% no HumanEval).

Significado e Alegações

O artigo afirma que o CodeThinker avança significativamente o estado da arte em raciocínio em código, deslocando o foco de recompensas apenas de resultado para consistência de processo. Ao impor que as etapas intermediárias de raciocínio estejam alinhadas com o estado de execução verdadeiro, o framework mitiga efetivamente a exploração de recompensas e os problemas de recompensas esparsas inerentes às abordagens anteriores de RL.

Os autores enfatizam que as melhorias não se devem meramente a conjuntos de dados maiores ou mais computação, mas derivam da consistência estruturada do paradigma ConTra e do mecanismo de recompensa com porta. A capacidade de um modelo treinado exclusivamente em raciocínio de código Python de generalizar para raciocínio matemático e 17 outras linguagens de programação sugere que a capacidade subjacente sendo aprimorada é uma proficiência de raciocínio fundamental, e não apenas correspondência de padrões específica de linguagem. O trabalho posiciona a consistência como um princípio crítico para treinar agentes de raciocínio confiáveis em código e além.