💬 NLP

PCL-Reasoner-V1.5: Advancing Math Reasoning with Offline Reinforcement Learning

O PCL-Reasoner-V1.5 é um modelo de raciocínio matemático de 32 bilhões de parâmetros construído sobre o Qwen2.5-32B que utiliza um novo método de aprendizado por reforço offline para alcançar desempenho de estado da arte em benchmarks AIME com estabilidade e eficiência de treinamento superiores em comparação com abordagens de RL online.

Autores originais: Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

Publicado 2026-01-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: Um Gênio da Matemática em Dieta

Imagine que você tem um aluno muito inteligente (o modelo de IA) que já é bom em matemática, mas quer se tornar um campeão mundial. Os pesquisadores do Peng Cheng Laboratory e da Universidade de Pequim pegaram um aluno poderoso chamado Qwen2.5-32B e o colocaram em um treinamento especial para criar o PCL-Reasoner-V1.5.

O resultado? Este novo modelo é atualmente o melhor na resolução de problemas matemáticos difíceis entre os modelos construídos sobre esta base específica de "aluno". Ele obteve 90,9% em uma competição de matemática de 2024 e 85,6% em uma versão de 2025.

O Ingrediente Secreto: Treinamento de Duas Etapas

Os pesquisadores não apenas jogaram o modelo em uma sessão de prática aleatória. Eles usaram um processo de duas etapas:

Ajuste Fino Supervisionado (SFT) – "A Fase do Livro Didático":
Primeiro, eles ensinaram o modelo usando uma biblioteca massiva de problemas matemáticos de alta qualidade e suas soluções passo a passo (chamadas de Cadeia de Pensamento ou Chain-of-Thought). Pense nisso como o aluno lendo os melhores livros didáticos e memorizando como resolver problemas corretamente. Isso criou um modelo intermediário chamado PCL-Reasoner-V1.
Aprendizado por Reforço Offline (RL) – "A Fase do Exame de Prática":
É aqui que o artigo é inovador. Normalmente, os modelos de IA aprendem fazendo um teste, sendo avaliados imediatamente e depois tentando novamente enquanto o professor está observando (isso é chamado de RL Online). É como um aluno fazendo uma prova, recebendo uma nota e, imediatamente, mudando seu cérebro para corrigir o erro, tudo em tempo real. Isso pode ser caótico e lento.

O PCL-Reasoner-V1.5 usou RL Offline em vez disso. Aqui está a analogia:
- O Jeito Antigo (RL Online): O aluno faz um teste, o professor corrige, o aluno muda seu cérebro e, então, faz o próximo teste imediatamente. Se o professor ficar cansado ou o sistema de correção falhar, todo o processo trava.
- O Novo Jeito (RL Offline): O aluno faz uma enorme pilha de testes de prática de uma só vez e escreve todas as suas respostas. O professor corrige toda a pilha depois e cria um único livro de "Gabarito" perfeito. O aluno então estuda apenas a partir desse livro estático. Eles não fazem novos testes enquanto estudam; eles apenas aprendem a partir dos dados fixos.

Por que o "Offline" é Melhor?

O artigo argumenta que essa abordagem de "Gabarito" (RL Offline) é superior por três razões principais:

Estabilidade (Sem Montanha-Russa): O aprendizado online é como dirigir um carro enquanto o motor está sendo reconstruído. É instável e pode causar acidentes. O aprendizado offline é como estudar em uma biblioteca silenciosa; os dados não mudam, então o processo de aprendizagem é suave e previsível.
Eficiência (A Linha de Montagem): No método online, o computador tem que parar, pensar, avaliar e atualizar constantemente. No método offline, o computador pode gerar todas as respostas em um surto massivo e eficiente (como uma linha de montagem de fábrica) e, então, o treinamento acontece separadamente. Isso economiza muito tempo e poder de computação.
Simplicidade: É mais fácil de gerenciar. Você não precisa de um sistema complexo para coordenar a correção e o aprendizado em tempo real. Você apenas gera os dados, salva-os e treina neles mais tarde.

O Que o Modelo Realmente Apreu?

Os pesquisadores notaram algo interessante sobre como o modelo melhorou.

Antes (PCL-Reasoner-V1): O modelo tentava resolver problemas rapidamente. Se um problema exigisse uma cadeia de raciocínio muito longa e complexa (como um processo de pensamento de 30.000 palavras), o modelo frequentemente desistia ou cometia erros.
Depois (PCL-Reasoner-V1.5): O modelo aprendeu a pensar por mais tempo. Ele começou a escrever passos de raciocínio muito mais longos e detalhados. Ele aprendeu que, para problemas difíceis, você não pode se apressar; você tem que explorar cada caminho cuidadosamente.

A Conclusão

O artigo afirma que você não precisa dos métodos de treinamento "online" complexos e instáveis que todos os outros estão usando para obter ótimos resultados. Ao usar um método "offline" mais simples e estável — onde você gera um conjunto de dados fixo de respostas e depois treina com base nele — o modelo se tornou um campeão da matemática.

Lição Principal: Às vezes, a melhor maneira de aprender não é continuar fazendo testes enquanto o professor está observando. É fazer uma enorme quantidade de testes de prática, obter um gabarito perfeito e estudar esse gabarito minuciosamente. Essa abordagem tornou o PCL-Reasoner-V1.5 o novo líder de sua classe.

Resumo Técnico: PCL-Reasoner-V1.5

Declaração do Problema

O raciocínio matemático permanece um benchmark rigoroso para Grandes Modelos de Linguagem (LLMs), exigindo dedução lógica precisa e resolução de problemas estruturada. Embora avanços recentes como o DeepSeek-R1 tenham demonstrado que o Aprendizado por Reforço (RL) combinado com a Cadeia de Pensamento (CoT) pode elicitar um raciocínio superior, o paradigma predominante depende fortemente de métodos de RL online (por exemplo, Group Relative Policy Optimization ou GRPO). Essas abordagens online introduzem desafios técnicos significativos, incluindo instabilidade de treinamento, colapso de recompensa e alta sobrecarga computacional devido ao acoplamento estreito entre os loops de inferência e treinamento. Além disso, a orquestração complexa necessária para rollouts em tempo real e atualizações de gradiente distribuídas aumenta a complexidade da engenharia e os custos de experimentação.

Metodologia

Os autores apresentam o PCL-Reasoner-V1.5, um LLM de 32 bilhões de parâmetros construído sobre a arquitetura Qwen2.5-32B. O modelo é refinado através de um pipeline de dois estágios: Ajuste Fino Supervisionado (SFT) seguido por uma abordagem inovadora de RL Offline.

1. Ajuste Fino Supervisionado (SFT)

Modelo Base: Qwen2.5-32B.
Dados: 666K amostras do subconjunto matemático do AM-DeepSeek-R1-0528-Distilled. Os dados foram filtrados para remover sequências que excediam 32K tokens.
Configuração de Treinamento: Tamanho de batch global de 128, taxa de aprendizado de $6 \times 10^{-5}$ (decaimento de cosseno) e 4 épocas. Os autores utilizaram empacotamento de dados (data packing) para concatenar amostras de comprimento variável em sequências de 32K, eliminando a redundância de preenchimento (padding).
Prompting: Um template específico foi usado para impor uma estrutura de CoT, exigindo que o modelo produza o raciocínio dentro de tags <thought> e a resposta final dentro de tags <answer>.

2. Aprendizado por Reforço Offline

Ao contrário do RL online, que amostra e treina iterativamente, esta abordagem desacopla a inferência do treinamento.

Curadoria de Dados: O conjunto de dados foi derivado do Nemotron-Post-Training-Dataset-v1. Os autores filtraram tarefas de alta dificuldade retendo questões onde o comprimento médio da resposta inferida era >32K tokens e nem todas as 8 respostas candidatas eram corretas. Isso resultou em 6.068 questões difíceis.
Fase de Inferência: O modelo SFT (PCL-Reasoner-V1) gerou 8 respostas candidatas por questão usando decodificação baseada em amostragem (top-k=40, top-p=0.95, temperatura=0.6) em NPUs Huawei Ascend 910C.
Verificação & Filtragem: Um modelo verificador separado (Qwen3-32B) atribuiu recompensas binárias ( $R=1$ $R = 1$ para correto, $R=-1$ $R = - 1$ para incorreto).
- Questões com variância de recompensa zero (todas corretas ou todas incorretas) foram excluídas para mimetizar o mecanismo interno do GRPO.
- Amostras positivas que excediam 48K tokens foram descartadas para evitar viés de comprimento.
- O conjunto de dados final continha 30.215 amostras (14.512 positivas, 15.703 negativas).
Objetivo de Treinamento: O modelo de política foi treinado para minimizar a perda de RL $L(\theta) = -\sum R_i \pi_\theta(y_i|x_i)$ , onde $\pi_\theta$ é definida como a média geométrica das probabilidades por token. A amostragem de importância (importance sampling) foi explicitamente omitida com base em descobertas prévias de sua ineficácia em configurações de RL para LLMs.
Infraestrutura: O treinamento utilizou 8 nós de computação com 8 NPUs Ascend 910C cada, empregando paralelismo de tensor (grau 8) e paralelismo de pipeline (grau 4) via framework MindSpeed-LLM.

Principais Contribuições

Paradigma de RL Offline: O artigo propõe e valida o RL offline como uma alternativa estável e eficiente ao RL online (GRPO) para tarefas de raciocínio. Argumenta-se que o desacoplamento da inferência do treinamento elimina os loops de feedback que causam instabilidade e permite fluxos de trabalho de "infira uma vez, treine muitas vezes", reduzindo significamente os custos de experimentação.
Desempenho de Estado da Arte: O PCL-Reasoner-V1.5 alcança novos resultados de estado da arte entre modelos pós-treinados no Qwen2.5-32B.
Eficiência de Hardware: Todos os experimentos foram realizados com sucesso em NPUs Huawei Ascend 910C, demonstrando a viabilidade deste hardware para o treinamento de modelos de raciocínio em larga escala.
Lançamento Aberto: Os autores liberaram o modelo, os dados de treinamento e o código (incluindo processamento de dados e scripts de avaliação) para facilitar a reprodutibilidade.

Resultados Experimentais

O modelo foi avaliado nos benchmarks AIME 2024 e AIME 2025 (30 problemas cada).

Acurácia (pass@1):
- AIME 2024: 90.9%
- AIME 2025: 85.6%
- Estes resultados superam outros derivados do Qwen2.5-32B (ex: DeepSeek-R1-Distill-Qwen-32B com 72.6% no AIME 2024) e competem com modelos muito maiores como OpenAI-o3 (91.6%) e DeepSeek-R1-0528 (91.4%).
Análise Comportamental:
- Comprimento da Resposta: O treinamento de RL aumentou significativamente o comprimento médio da resposta (de ~22.5K para ~30.5K tokens no AIME 2024), sugerindo que o modelo se envolve em um raciocínio mais extenso.
- Capacidade de Long-CoT: A análise desagregada mostra que, enquanto o modelo SFT tem dificuldades com problemas que exigem CoTs longos ( $\ge$ 32K tokens), o modelo treinado por RL apresenta melhorias dramáticas de acurácia especificamente nesta faixa, indicando uma capacidade aprimorada para raciocínio complexo e sustentado.

Significância e Alegações

Os autores alegam que o RL offline é um paradigma robusto para avançar o raciocínio de LLMs, oferecendo vantagens distintas sobre métodos online:

Estabilidade: Ao treinar em um conjunto de dados estático fixo, o método evita o colapso de recompensa e a divergência frequentemente vistos no RL online devido à interação dinâmica entre inferência e treinamento.
Eficiência: O desacoplamento permite a otimização independente da inferência (usando frameworks de alto throughput como vLLM) e do treinamento, maximizando a utilização do hardware e reduzindo o overhead de latência da sincronização.
Simplicidade: O fluxo de trabalho simplifica a engenharia ao remover a necessidade de frameworks de orquestração em tempo real complexos.

O artigo conclui que, embora o RL offline seja limitado pela qualidade de seu conjunto de dados estático e não possa descobrir iterativamente novos caminhos de raciocínio como o estilo "R1-Zero" de autocorreção, ele é altamente eficaz para refinar modelos com bases sólidas. O trabalho desafia a necessidade do RL online para alto desempenho em raciocínio, demonstrando que uma abordagem offline estável e computacionalmente eficiente pode gerar resultados competitivos de estado da arte.