🤖 machine learning

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

Ce rapport présente Klear-Reasoner, un modèle de raisonnement performant qui améliore l'efficacité de l'apprentissage par renforcement grâce à une nouvelle méthode d'optimisation appelée GPPO, tout en fournissant une analyse approfondie de l'ensemble du processus de post-entraînement.

Auteurs originaux : Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

Publié 2026-04-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 L'Histoire de Klear-Reasoner : Le Génie qui Apprend à Réfléchir

Imaginez que vous avez un élève très intelligent (un modèle d'IA) qui sait déjà beaucoup de choses, mais qui a du mal à réfléchir longuement et à raisonner pas à pas pour résoudre des énigmes de mathématiques ou de programmation. C'est là qu'intervient Klear-Reasoner.

Ce n'est pas une simple machine qui répond vite ; c'est un penseur qui prend son temps, qui se trompe, qui corrige, et qui finit par trouver la solution parfaite. Voici comment les chercheurs de Kuaishou ont transformé cet élève en champion, en trois étapes clés.

1. La Phase d'Étude : Apprendre des Maîtres (SFT)

Avant de pouvoir raisonner seul, l'élève doit lire les meilleurs manuels et voir comment les grands maîtres résolvent des problèmes. C'est ce qu'on appelle le Supervised Fine-Tuning (SFT).

Le Secret de la Qualité vs. La Quantité :
Imaginez que vous devez apprendre à jouer au tennis. Avez-vous besoin de regarder 10 000 vidéos de gens qui jouent mal, ou 100 vidéos de champions du monde ?
Les chercheurs ont découvert que la qualité prime sur la quantité. Au lieu de donner à l'IA une montagne de données variées (et parfois mauvaises), ils lui ont donné un petit nombre de très bons exemples venant des meilleurs sources. C'est comme si on lui donnait un manuel écrit par les meilleurs professeurs, plutôt que de lui jeter des milliers de journaux au hasard.
L'Importance des Erreurs Difficiles :
Habituellement, on pense qu'il faut supprimer toutes les erreurs des livres d'apprentissage. Mais ici, ils ont fait une découverte surprenante : pour les problèmes très difficiles, les erreurs sont utiles !
- Analogie : Si vous apprenez à faire du vélo sur un terrain plat, une erreur vous fait tomber (c'est inutile). Mais si vous apprenez à faire du vélo en montagne, voir comment quelqu'un a échoué sur une pente raide vous aide à comprendre où ne pas mettre le pied. Les erreurs sur les problèmes "faciles" sont du bruit, mais sur les problèmes "difficiles", elles sont des leçons précieuses.

2. La Phase d'Entraînement : Le Coach qui Ne Coupe Pas le Souffle (GPPO)

Une fois l'élève prêt, on passe à l'entraînement par renforcement (RL). C'est comme un coach qui donne des points pour les bonnes réponses et des pénalités pour les mauvaises. Mais il y a un problème avec les méthodes classiques : elles sont trop strictes.

Le Problème du "Ciseau" (Clipping) :
Imaginez un coach qui, dès qu'un élève essaie une idée un peu folle (même si elle pourrait être géniale), lui dit : "Stop ! Trop risqué !" et coupe l'explication. Ou alors, si l'élève se trompe lourdement, le coach dit : "Oublie ça, je ne t'écoute plus".
C'est ce qu'on appelle le clipping en informatique. Cela stabilise l'entraînement, mais cela empêche l'IA d'explorer de nouvelles idées ou d'apprendre de ses grosses erreurs.
La Solution Magique : GPPO (Gradient-Preserving)
Klear-Reasoner utilise une nouvelle méthode appelée GPPO.
- Analogie : Au lieu de couper le micro de l'élève quand il dit quelque chose de "trop audacieux" ou de "trop faux", le coach GPPO dit : "Attends, je vais garder ce que tu as dit, mais je vais l'adoucir un peu pour ne pas te faire peur, tout en m'assurant que tu apprends quand même de cette expérience."
- Résultat : L'IA ose explorer des chemins nouveaux (ce qui mène à des solutions créatives) et apprend très vite de ses échecs, au lieu de les ignorer. C'est comme si le coach permettait à l'élève de faire des essais-erreurs rapides sans le punir trop sévèrement.

3. Le Système de Récompense : La Justesse des Points

Dans les jeux de programmation, il est souvent difficile de savoir si le code est "presque" bon.

L'Ancienne Méthode (Récompense Dure) : Si votre code passe 15 tests sur 16, vous avez 0 point. C'est décourageant !
La Méthode Klear (Récompense Douce) : Si votre code passe 15 tests sur 16, vous obtenez 15/16 de point.
- Analogie : C'est comme un professeur qui ne vous donne pas une note de 0/20 parce que vous avez une faute d'orthographe, mais qui vous dit : "Tu as bien compris la structure, c'est 19/20, corrige juste cette petite chose." Cela encourage l'IA à s'améliorer petit à petit, plutôt que de se décourager.

🏆 Le Résultat Final : Un Champion

Grâce à cette combinaison de bons manuels, d'un coach intelligent qui encourage l'exploration, et d'un système de points juste, Klear-Reasoner est devenu un champion incontesté.

Il bat des records sur des examens de mathématiques très difficiles (comme l'AIME, l'équivalent des Olympiades).
Il excelle dans la programmation, résolvant des problèmes que même les meilleurs modèles précédents peinaient à résoudre.

En résumé : Klear-Reasoner nous apprend que pour créer une IA qui réfléchit bien, il ne faut pas juste lui donner plus de données, mais lui donner les bonnes données, lui permettre de faire des erreurs pour apprendre, et la récompenser pour chaque petit progrès. C'est une approche plus humaine et plus efficace pour enseigner à une machine comment penser.

1. Problématique et Contexte

Bien que des modèles de raisonnement performants comme OpenAI O1 et DeepSeek-R1 aient démontré le potentiel de l'apprentissage par renforcement (RL) à grande échelle, la reproduction de ces modèles reste difficile en raison du manque de transparence sur les détails d'entraînement. Les modèles actuels de taille moyenne (7-8B paramètres) peinent souvent à égaler les performances des modèles distillés plus avancés, notamment sur des tâches complexes de mathématiques et de programmation.

Les auteurs identifient deux limitations majeures dans les mécanismes de clipping (écrêtage) actuels utilisés dans l'optimisation de politique (comme PPO et GRPO) :

Suppression des signaux d'exploration critiques : Le mécanisme de clipping traditionnel coupe les gradients des tokens à haute entropie (souvent associés à des comportements exploratoires valables aux points de décision critiques) dès qu'ils dépassent un seuil, ce qui peut prématurément arrêter l'exploration.
Convergence lente sur les échantillons négatifs : Les trajectoires sous-optimales dont le ratio d'échantillonnage important tombe en dessous du seuil inférieur voient leurs gradients forcés à zéro, empêchant le modèle d'apprendre efficacement de ses erreurs et ralentissant la convergence.

De plus, des questions subsistent sur la qualité des données pour le Supervised Fine-Tuning (SFT) : faut-il filtrer rigoureusement les données pour ne garder que les réponses correctes, ou inclure des échantillons difficiles et potentiellement erronés ?

2. Méthodologie

Le rapport propose une approche complète couvrant le SFT et le RL, centrée sur la qualité des données et une nouvelle méthode d'optimisation.

A. Supervised Fine-Tuning (SFT) à long Chain-of-Thought (CoT)

Stratégie de données : Au lieu d'utiliser un grand volume de données diversifiées, les auteurs privilégient un petit ensemble de sources de très haute qualité (OpenThoughts, NuminaMath, AceReason, etc.).
Filtrage de la difficulté : Une découverte clé est que pour les échantillons difficiles, l'inclusion de réponses incorrectes (non filtrées) est bénéfique. Ces erreurs servent de signaux de contraste pour améliorer l'exploration du modèle. En revanche, pour les tâches faciles, les erreurs nuisent à la performance. Étant donné que la majorité des données sont difficiles, le filtrage strict par exactitude est évité.
Modèle enseignant : L'utilisation de DeepSeek-R1-0528 comme modèle enseignant pour générer les réponses s'avère supérieure à d'autres modèles (comme QwQ-32B).

B. Reinforcement Learning (RL) : GPPO

Le cœur de l'innovation réside dans Gradient-Preserving clipping Policy Optimization (GPPO).

Principe : Contrairement aux méthodes traditionnelles qui annulent les gradients des tokens hors des bornes de clipping, GPPO conserve ces gradients dans le graphe de calcul lors de la rétropropagation.
Mécanisme :
- Pour les tokens à haute entropie (ratio > $1+\epsilon_h$ ) : Les gradients sont conservés mais contraints à une valeur bornée ( $1+\epsilon_h$ ), permettant une exploration continue sans instabilité.
- Pour les trajectoires négatives (ratio < $1-\epsilon_l$ ) : Les gradients sont également conservés (bornés à $1-\epsilon_l$ ), accélérant l'apprentissage des erreurs (trial-and-error rapide).
Perte combinée : L'entraînement RL intègre également une perte SFT ( $\alpha L_{SFT}$ ) sur les exemples positifs pour agir comme régularisateur et éviter le "reward hacking".
Récompenses :
- Mathématiques : Récompense binaire basée sur la justesse finale.
- Code : Utilisation d'une récompense douce (Soft Reward) proportionnelle au taux de réussite des cas de test (pass@k), plutôt qu'une récompense binaire dure. Cela fournit un signal d'apprentissage plus dense et réduit la variance.

3. Contributions Clés

GPPO (Gradient-Preserving clipping Policy Optimization) : Une nouvelle méthode d'optimisation qui résout le compromis entre stabilité et exploration en ne jetant aucun signal de gradient, tout en maintenant la stabilité de l'entraînement via une contrainte douce.
Stratégie de données SFT "Qualité > Quantité" : Démonstration qu'un petit ensemble de données de haute qualité est plus efficace qu'un grand ensemble diversifié, et que le filtrage par exactitude doit être évité pour les échantillons difficiles.
Récompenses Douces pour le Code : L'adoption d'une récompense basée sur le taux de réussite des cas de test améliore significativement l'apprentissage par rapport aux récompenses binaires.
Filtrage des échantillons à avantage nul : L'élimination des groupes de réponses où l'avantage est nul (toutes correctes ou toutes incorrectes) améliore la stabilité et la convergence du modèle.

4. Résultats Expérimentaux

Le modèle Klear-Reasoner-8B (basé sur Qwen3-8B) a été évalué sur plusieurs benchmarks de référence :

Mathématiques :
- AIME 2024 : 90,5 % (avec un budget d'inférence de 64K tokens, moyenne sur 64 tentatives).
- AIME 2025 : 83,2 %.
- HMMT 2025 : 70,8 %.
Programmation :
- LiveCodeBench V5 : 66,0 %.
- LiveCodeBench V6 : 58,1 %.

Comparaison : Klear-Reasoner-8B surpasse ou égale des modèles de pointe de taille comparable (DeepSeek-R1-0528-Distill-8B, OpenReasoning-Nemotron-7B, Qwen3-8B), et ce, même avec un budget d'inférence de 32K tokens (où il atteint déjà des performances SOTA), et des performances optimales à 64K.

5. Signification et Conclusion

Ce rapport démontre que des améliorations substantielles des capacités de raisonnement ne nécessitent pas nécessairement une augmentation massive de la taille du modèle ou des données, mais plutôt une ingénierie précise du pipeline d'entraînement :

La qualité des données (sources ciblées, gestion intelligente des erreurs dans les tâches difficiles) est primordiale pour le SFT.
L'optimisation du RL via GPPO permet de surmonter les limitations des méthodes de clipping classiques, favorisant à la fois l'exploration et l'apprentissage rapide des erreurs.
La combinaison de ces techniques permet à un modèle de 8B paramètres d'atteindre des niveaux de performance exceptionnels en mathématiques et en code, rivalisant avec des modèles distillés beaucoup plus complexes.

En résumé, Klear-Reasoner établit un nouvel état de l'art pour les modèles de raisonnement de taille moyenne en prouvant qu'une conception rigoureuse des données et des algorithmes d'optimisation peut débloquer des capacités de raisonnement avancées.