💬 NLP

PCL-Reasoner-V1.5: Advancing Math Reasoning with Offline Reinforcement Learning

PCL-Reasoner-V1.5 est un modèle de raisonnement mathématique de 32 milliards de paramètres construit sur Qwen2.5-32B qui exploite une nouvelle méthode d'apprentissage par renforcement hors ligne pour atteindre des performances de pointe sur les benchmarks AIME avec une stabilité et une efficacité d'entraînement supérieures par rapport aux approches de RL en ligne.

Auteurs originaux : Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

Publié 2026-01-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yao Lu, Dengdong Fan, Jianzheng Nie, Fan Xu, Jie Chen, Bin Zhou, Yonghong Tian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Un génie des maths au régime

Imaginez que vous avez un étudiant très intelligent (le modèle d'IA) qui est déjà bon en mathématiques, mais qui veut devenir un champion de classe mondiale. Les chercheurs du Peng Cheng Laboratory et de l'Université de Pékin ont pris un étudiant puissant nommé Qwen2.5-32B et lui ont fait suivre un camp d'entraînement spécial pour créer PCL-Reasoner-V1.5.

Le résultat ? Ce nouveau modèle est actuellement le meilleur pour résoudre des problèmes mathématiques difficiles parmi les modèles construits sur ce "base d'étudiant" spécifique. Il a obtenu un score de 90,9 % lors d'une compétition mathématique de 2024 et de 85,6 % sur une version de 2025.

La recette secrète : Un entraînement en deux étapes

Les chercheurs n'ont pas simplement jeté le modèle dans une session de pratique aléatoire. Ils ont utilisé un processus en deux étapes :

L'ajustement fin supervisé (SFT) – "La phase manuel scolaire" :
D'abord, ils ont enseigné au modèle en utilisant une immense bibliothèque de problèmes mathématiques de haute qualité et leurs solutions étape par étape (appelées "Chaîne de pensée" ou Chain-of-Thought). Considérez cela comme l'étudiant lisant les meilleurs manuels scolaires et mémorisant comment résoudre les problèmes correctement. Cela a créé un modèle intermédiaire appelé PCL-Reasoner-V1.
L'apprentissage par renforcement hors ligne (RL) – "La phase examen blanc" :
C'est ici que l'article est innovant. Habitellement, les modèles d'IA apprennent en passant un test, en étant notés immédiatement, puis en essayant à nouveau pendant que le professeur les regarde (c'est ce qu'on appelle l'apprentissage par renforcement en ligne ou Online RL). C'est comme un étudiant qui passe un test, reçoit une note, et modifie immédiatement son cerveau pour corriger l'erreur, tout cela en temps réel. Cela peut être chaotique et lent.

PCL-Reasoner-V1.5 a utilisé l'apprentissage par renforcement hors ligne (Offline RL). Voici l'analogie :
- L'ancienne méthode (Online RL) : L'étudiant passe un test, le professeur le note, l'étudiant modifie son cerveau, puis il passe le test suivant immédiatement. Si le professeur se fatigue ou si le système de notation bugue, tout le processus s'effondre.
- La nouvelle méthode (Offline RL) : L'étudiant passe une énorme pile de tests d'entraînement d'un coup et écrit toutes ses réponses. Le professeur corrige toute la pile ensuite et crée un livre unique et parfait : le "Corrigé Type". L'étudiant étudie ensuite uniquement à partir de ce livre statique. Il ne passe pas de nouveaux tests pendant qu'il étudie ; il étudie simplement à partir des données fixes.

Pourquoi le mode "Hors ligne" est-il meilleur ?

L'article soutient que cette approche de "Corrigé Type" (Offline RL) est supérieure pour trois raisons principales :

Stabilité (Pas de montagnes russes) : L'apprentissage en ligne est comme conduire une voiture pendant que le moteur est en train d'être reconstruit. C'est instable et cela peut provoquer des accidents. L'apprentissage hors ligne est comme étudier dans une bibliothèque calme ; les données ne changent pas, donc le processus d'apprentissage est fluide et prévisible.
Efficacité (La chaîne de montage) : Dans la méthode en ligne, l'ordinateur doit s'arrêter, réfléchir, noter et se mettre à jour constamment. Dans la méthode hors ligne, l'ordinateur peut générer toutes les réponses en une seule rafale massive et efficace (comme une usine de montage), puis l'entraînement se fait séparément. Cela permet de gagner beaucoup de temps et de puissance de calcul.
Simplicité : C'est plus facile à gérer. Vous n'avez pas besoin d'un système complexe pour coordonner la notation et l'apprentissage en temps réel. Vous générez simplement les données, vous les enregistrez, et vous vous entraînez dessus plus tard.

Qu'est-ce que le modèle a réellement appris ?

Les chercheurs ont remarqué quelque chose d'intéressant sur la manière dont le modèle s'est amélioré.

Avant (PCL-Reasoner-V1) : Le modèle essayait de résoudre les problèmes rapidement. Si un problème nécessitait une chaîne de raisonnement très longue et complexe (comme un processus de réflexion de 30 000 mots), le modèle abandonnait souvent ou faisait des erreurs.
Après (PCL-Reasoner-V1.5) : Le modèle a appris à réfléchir plus longtemps. Il a commencé à écrire des étapes de raisonnement beaucoup plus longues et détaillées. Il a appris que pour les problèmes difficiles, on ne peut pas se précipiter ; il faut explorer chaque chemin avec soin.

L'essentiel à retenir

L'article affirme que vous n'avez pas besoin des méthodes d'entraînement "en ligne" complexes et instables que tout le monde utilise pour obtenir de grands résultats. En utilisant une méthode "hors ligne" plus simple et plus stable — où vous générez un ensemble de données fixe de réponses, puis vous vous entraînez sur celles-ci — le modèle est devenu un champion de mathématiques.

Point clé : Parfois, la meilleure façon d'apprendre n'est pas de continuer à passer des tests pendant que le professeur vous regarde. C'est de passer un énorme lot de tests d'entraînement, d'obtenir un corrigé type parfait, et d'étudier minutieusement ce corrigé. Cette approche a fait de PCL-Reasoner-V1.5 le nouveau leader de sa catégorie.

Résumé technique : PCL-Reasoner-V1.5

Problématique

Le raisonnement mathématique demeure un test de référence rigoureux pour les grands modèles de langage (LLM), exigeant une déduction logique précise et une résolution de problèmes structurée. Bien que des percées récentes comme DeepSeek-R1 aient démontré que l'apprentissage par renforcement (RL) combiné à la chaîne de pensée (CoT) peut susciter un raisonnement supérieur, le paradigme prédominant repose fortement sur les méthodes de RL en ligne (par exemple, Group Relative Policy Optimization ou GRPO). Ces approches en ligne introduisent des défis techniques importants, notamment l'instabilité de l'entraînement, l'effondrement des récompenses et une charge de calcul élevée due au couplage étroit entre l'inférence et l'entraînement. De plus, l'orchestration complexe requise pour les déploiements (rollouts) en temps réel et les mises à jour de gradients distribués augmente la complexité de l'ingénierie et les coûts d'expérimentation.

Méthodologie

Les auteurs présentent PCL-Reasoner-V1.5, un LLM de 32 milliards de paramètres basé sur l'architecture Qwen2.5-32B. Le modèle est affiné via un pipeline en deux étapes : un ajustement fin supervisé (SFT) suivi d'une nouvelle approche de RL hors ligne (Offline RL).

1. Ajustement fin supervisé (SFT)

Modèle de base : Qwen2.5-32B.
Données : 666K échantillons provenant du sous-ensemble mathématique de AM-DeepSeek-R1-0528-Distilled. Les données ont été filtrées pour éliminer les séquences dépassant 32K tokens.
Configuration de l'entraînement : Taille de batch globale de 128, taux d'apprentissage de $6 \times 10^{-5}$ (décroissance cosinus), et 4 époques. Les auteurs ont utilisé le "data packing" pour concaténer des échantillons de longueurs variables en séquences de 32K, éliminant ainsi la redondance liée au padding.
Prompting : Un template spécifique a été utilisé pour imposer une structure CoT, exigeant que le modèle produise le raisonnement à l'intérieur de balises <thought> et la réponse finale dans des balises <answer>.

2. Apprentissage par renforcement hors ligne (Offline RL)

Contra-rent à l'apprentissage RL en ligne, qui échantillonne et entraîne de manière itérative, cette approche découple l'inférence de l'entraînement.

Curation des données : Le jeu de données a été dérivé de Nemotron-Post-Training-Dataset-v1. Les auteurs ont filtré les tâches de haute difficulté en conservant les questions où la longueur moyenne de la réponse inférée était >32K tokens et où les 8 réponses candidates n'étaient pas toutes correctes. Cela a abouti à 6 068 questions difficiles.
Phase d'inférence : Le modèle SFT (PCL-Reasoner-V1) a généré 8 réponses candidates par question en utilisant un décodage par échantillonnage (top-k=40, top-p=0.95, température=0.6) sur des NPU Huawei Ascend 910C.
Vérification et filtrage : Un modèle de vérification distinct (Qwen3-32B) a assigné des récompenses binaires ( $R=1$ $R = 1$ pour correct, $R=-1$ $R = - 1$ pour incorrect).
- Les questions présentant une variance de récompense nulle (toutes correctes ou toutes incorrectes) ont été exclues pour imiter le mécanisme interne de GRPO.
- Les échantillons positifs dépassant 48K tokens ont été écartés pour éviter le biais de longueur.
- Le jeu de données final contenait 30 215 échantillons (14 512 positifs, 15 703 négatifs).
Objectif d'entraînement : Le modèle de politique a été entraîné pour minimiser la perte RL $L(\theta) = -\sum R_i \pi_\theta(y_i|x_i)$ , où $\pi_\theta$ est définie comme la moyenne géométrique des probabilités par token. L'échantillonnage préférentiel (importance sampling) a été explicitement omis en se basant sur des découvertes antérieures démontrant son inefficacité dans les contextes de RL pour LLM.
Infrastructure : L'entraînement a utilisé 8 nœuds de calcul avec 8 NPU Ascend 910C chacun, employant le parallélisme de tenseur (degré 8) et le parallélisme de pipeline (degré 4) via le framework MindSpeed-LLM.

Contributions clés

Paradigme de RL hors ligne : L'article propose et valide le RL hors ligne comme une alternative stable et efficace au RL en ligne (GRPO) pour les tâches de raisonnement. Il soutient que le découplage de l'inférence de l'entraînement élimine les boucles de rétroaction causant l'instabilité et permet des flux de travail de type "inférer une fois, entraîner plusieurs fois", réduisant considérablement les coûts d'expérimentation.
Performance de pointe (State-of-the-Art) : PCL-Reasoner-V1.5 atteint de nouveaux résultats de pointe parmi les modèles post-entraînés sur Qwen2.5-32B.
Efficacité matérielle : Toutes les expériences ont été menées avec succès sur des NPU Huawei Ascend 910C, démontrant la viabilité de ce matériel pour l'entraînement de modèles de raisonnement à grande échelle.
Publication ouverte : Les auteurs ont publié le modèle, les données d'entraînement et le code (incluant le traitement des données et les scripts d'évaluation) pour faciliter la reproductibilité.

Résultats expérimentaux

Le modèle a été évalué sur les benchmarks AIME 2024 et AIME 2025 (30 problèmes chacun).

Précision (pass@1) :
- AIME 2024 : 90.9%
- AIME 2025 : 85.6%
- Ces résultats surpassent les autres dérivés de Qwen2.5-32B (par exemple, DeepSeek-R1-Distill-Qwen-32B à 72.6% sur AIME 2024) et rivalisent avec des modèles beaucoup plus grands comme OpenAI-o3 (91.6%) et DeepSeek-R1-0528 (91.4%).
Analyse comportementale :
- Longueur de réponse : L'entraînement RL a considérablement augmenté la longueur moyenne des réponses (passant d'environ 22.5K à environ 30.5K tokens sur AIME 2024), suggérant que le modèle s'engage dans un raisonnement plus étendu.
- Capacité Long-CoT : Une analyse désagrégée montre que si le modèle SFT peine avec les problèmes nécessitant des CoT longs ( $\ge$ 32K tokens), le modèle entraîné par RL montre des améliorations spectaculaires de la précision spécifiquement dans cette plage, indiquant une capacité accrue pour un raisonnement complexe et soutenu.

Signification et affirmations

Les auteurs affirment que le RL hors ligne est un paradigme robuste pour faire progresser le raisonnement des LLM, offrant des avantages distincts par rapport aux méthodes en ligne :

Stabilité : En s'entraînant sur un jeu de données statique fixe, la méthode évite l'effondrement des récompenses et la divergence souvent observés en RL en ligne en raison de l'interaction dynamique entre l'inférence et l'entraînement.
Efficacité : Le découplage permet une optimisation indépendante de l'inférence (en utilisant des frameworks à haut débit comme vLLM) et de l'entraînement, maximisant l'utilisation du matériel et réduisant la latence de synchronisation.
Simplicité : Le flux de travail simplifie l'ingénierie en supprimant le besoin de frameworks d'orchestration complexes en temps réel.

L'article conclut que bien que le RL hors ligne soit limité par la qualité de son jeu de données statique et ne puisse pas découvrir de nouveaux chemins de raisonnement de manière itérative comme le ferait un style "R1-Zero" d'auto-correction, il est extrêmement efficace pour affiner des modèles possédant des bases solides. Ce travail remet en question la nécessité du RL en ligne pour un raisonnement de haute performance, démontant qu'une approche hors ligne, stable et efficacement calculable, peut produire des résultats compétitifs et de pointe.