💻 computer science

CLORE: Content-Level Optimization for Reasoning Efficiency

CLORE est un cadre d'optimisation au niveau du contenu qui améliore l'efficacité du raisonnement dans les grands modèles de langage en utilisant un modèle d'augmentation externe pour éditer et élaguer le contenu répétitif ou non pertinent des traces de raisonnement correctes, améliorant ainsi le compromis précision-efficacité sans dépendre de budgets de longueur explicites.

Auteurs originaux : Yuyang Wu, Qiyao Xue, Guanxing Lu, Weichen Liu, Zihan Wang, Manling Li, Olexandr Isayev

Publié 2026-05-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuyang Wu, Qiyao Xue, Guanxing Lu, Weichen Liu, Zihan Wang, Manling Li, Olexandr Isayev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant brillant mais trop bavard qui tente de résoudre un problème de mathématiques. Cet étudiant, représentant un modèle de langage moderne (LLM), est très bon pour trouver la bonne réponse, mais il a souvent tendance à « trop réfléchir ». Il pourrait rédiger un essai de 50 pages pour résoudre une simple équation, répéter les mêmes étapes trois fois, écrire du charabia au milieu, ou continuer à écrire longtemps après avoir déjà trouvé la solution.

L'article présente une nouvelle méthode appelée CLORE (Content-Level Optimization for Reasoning Efficiency) pour remédier à cela. Voici comment elle fonctionne, expliquée par des analogies simples :

Le problème : l'étudiant qui « trop réfléchit »

Les modèles d'IA actuels sont entraînés pour obtenir la bonne réponse. Si l'étudiant trouve la bonne réponse, l'enseignant (le système d'entraînement) dit : « Bien joué ! » et lui accorde une récompense.

Cependant, l'enseignant ne se soucie pas de la manière dont l'étudiant y est arrivé.

Le problème : L'étudiant pourrait rédiger une solution parfaite, puis ajouter 10 pages de non-sens, répéter la même phrase 50 fois, ou continuer à écrire même après que la réponse a été encadrée.
Le résultat : L'IA gaspille du temps et de la puissance informatique (des tokens) sur du « remplissage ». Les méthodes existantes tentent de résoudre ce problème en disant simplement à l'étudiant : « Arrêtez d'écrire après 500 mots. » Mais c'est comme un éditeur strict qui coupe simplement la fin de l'essai ; cela ne résout pas le fait que le milieu de l'essai était rempli de non-sens répétitif.

La solution : CLORE (l'« éditeur intelligent »)

CLORE change la donne. Au lieu de simplement compter les mots, il examine la qualité de la réflexion.

Imaginez CLORE comme un éditeur intelligent qui travaille aux côtés de l'étudiant. Voici le processus :

Le brouillon : L'étudiant (l'IA) résout un problème. S'il se trompe, CLORE l'ignore. S'il trouve la bonne réponse, CLORE intervient.
La révision : L'éditeur intelligent lit la solution correcte et se demande : « Cette partie est-elle nécessaire ? Cette partie se répète-t-elle simplement ? Cette partie est-elle du charabia ? »
- Analogie : Imaginez que l'étudiant ait écrit un paragraphe disant : « Je dois additionner 2 et 2. 2 plus 2 fait 4. Donc, 2+2=4. La somme est 4. » L'éditeur barre les répétitions et ne laisse que « 2+2=4 ».
- Analogie : Si l'étudiant avait écrit toute une section de code qui contredisait ses mathématiques, l'éditeur supprimerait le code.
La leçon : L'éditeur crée deux versions : l'Originale (longue, désordonnée, correcte) et l'Augmentée (courte, propre, correcte).
L'entraînement : L'IA est ensuite enseignée à préférer la version Augmentée. Elle apprend : « Hé, je peux obtenir la même bonne réponse, mais si je l'écris plus concisément et sans le non-sens, je reçois une meilleure récompense. »

Pourquoi c'est différent

La plupart des autres méthodes sont comme un minuteur. Elles disent : « Vous avez 1 minute pour résoudre cela. » Si vous terminez en 30 secondes, c'est bien. Si vous terminez en 59 secondes, c'est bien. Mais elles ne vous empêchent pas de gaspiller 50 de ces secondes à regarder le plafond.

CLORE est comme un coach de contenu. Il dit : « Vous avez résolu cela en 59 secondes, mais 40 de ces secondes étaient consacrées à vous répéter. La prochaine fois, essayons de résoudre cela en 20 secondes en éliminant les répétitions. »

Les résultats

L'article a testé cela sur des problèmes de mathématiques (comme des compétitions de lycée et des olympiades). Ils ont constaté que :

Des réponses plus courtes : L'IA a commencé à rédiger des explications beaucoup plus courtes.
La même précision : L'IA n'est pas devenue moins bonne en mathématiques ; elle obtient toujours les bonnes réponses.
Moins de « remplissage » : L'IA a cessé d'écrire des boucles répétitives, du charabia, ou de continuer à réfléchir après que la réponse a été trouvée.
Une meilleure efficacité : Parce que l'IA écrit moins, elle utilise moins de puissance informatique et fonctionne plus rapidement.

En résumé

CLORE enseigne aux modèles d'IA à devenir des penseurs concis. Il ne se contente pas de les forcer à être courts ; il leur apprend à reconnaître et à supprimer leur propre « encombrement mental » (répétitions, non-sens et sur-réflexion) tout en conservant les parties intelligentes qui résolvent réellement le problème. Le résultat est une IA qui pense plus vite, consomme moins d'énergie et obtient toujours la bonne réponse.

Résumé Technique : CLORE – Optimisation au Niveau du Contenu pour l'Efficacité du Raisonnement

Énoncé du Problème

Les récentes avancées des grands modèles de langage (LLM), en particulier ceux utilisant l'apprentissage par renforcement (RL) après l'entraînement (par exemple, OpenAI o1, DeepSeek-R1), ont démontré des capacités remarquables dans des tâches de raisonnement multi-étapes comme la résolution de problèmes mathématiques. Ces systèmes incitent à des traces de Chaîne de Pensée (CoT) étendues. Cependant, l'article identifie que des trajectoires de raisonnement excessivement longues souffrent souvent de « surréflexion », caractérisée par trois motifs spécifiques de contenu de faible qualité :

Segments de raisonnement répétitifs : Révisions redondantes d'états intermédiaires équivalents sans nouveau progrès.
Contenu illisible ou sans rapport avec la tâche : Texte sémantiquement incohérent, corrompu ou déconnecté qui réduit l'interprétabilité.
Exploration superflue : Raisonnement continu après que la solution correcte a déjà été déterminée.

Les méthodes existantes de raisonnement efficace traitent principalement ce problème par un contrôle au niveau de la longueur, tel que l'imposition de budgets de tokens explicites ou la conception de récompenses conscientes de la longueur. Les auteurs soutiennent que ces approches reposent sur des signaux grossiers au niveau de la séquence qui régulent combien de raisonnement est généré, mais échouent à superviser quel contenu est généré. Par conséquent, elles laissent le contenu de raisonnement intermédiaire faiblement supervisé, permettant à des segments de faible utilité, illisibles ou non contributifs de persister et potentiellement de déstabiliser la dynamique de l'entraînement par RL.

Méthodologie : Cadre CLORE

L'article propose CLORE (Optimisation au Niveau du Contenu pour l'Efficacité du Raisonnement), un cadre qui optimise l'efficacité du raisonnement en éditant le contenu des trajectoires de raisonnement correctes plutôt que de simplement contraindre leur longueur.

Flux de Travail Principal

Génération de Déroulements (Rollout) : Le modèle de politique $\pi_\theta$ échantillonne plusieurs trajectoires de raisonnement $\tau$ pour un prompt donné $x$ .
Sélection des Trajectoires Correctes : Le cadre restreint l'augmentation aux trajectoires où la réponse finale est correcte ( $R(x, \tau) = 1$ ). Cela garantit que les données de base contiennent moins de raisonnement de faible qualité que les trajectoires incorrectes et maintient les données augmentées plus proches de la distribution de la politique.
Augmentation du Raisonnement : Un modèle d'augmentation externe (un LLM agissant comme éditeur) traite les trajectoires correctes. Il reçoit l'instruction de :
- Supprimer les segments de raisonnement répétitifs.
- Retirer le contenu illisible ou sans rapport avec la tâche.
- Couper l'exploration superflue survenant après l'établissement de la solution.
- Contrainte : L'éditeur ne doit pas réécrire, paraphraser ou réorganiser le contenu ; il effectue uniquement des opérations de suppression pour préserver la structure originale et la validité de la solution.
Construction de Paires de Préférence : Le résultat est une paire de trajectoires $(\tau, \tilde{\tau})$ , où $\tilde{\tau}$ est la version éditée et plus concise. Une préférence est établie où $\tilde{\tau} \succ \tau$ basée sur la qualité du raisonnement, et non sur l'exactitude de la réponse (puisque les deux sont correctes).
Objectif d'Entraînement : La politique est entraînée en utilisant un objectif hybride combinant :
- Gradient de Politique (PG) Standard : Optimisation des trajectoires de base (par exemple, GRPO, DAPO).
- DPO Sans Référence : Un objectif auxiliaire d'Optimisation Directe des Préférences (DPO) appliqué aux paires $(\tau, \tilde{\tau})$ . La perte est formulée comme suit :
  $L_{DPO} = -\log \sigma(\beta [\log \pi_\theta(\tilde{\tau} | x) - \log \pi_\theta(\tau | x)])$
  Contrairement au DPO standard, cette formulation ne nécessite pas de politique de référence explicite. Les auteurs soutiennent que, puisque $\tilde{\tau}$ est dérivé par suppression locale de $\tau$ , il reste structurellement proche de la distribution sur-politique, contraignant implicitement la déviation.

Compatibilité

CLORE est conçu pour être agnostique au socle RL sous-jacent. Il peut être intégré à diverses méthodes de gradient de politique (PPO, GRPO, REINFORCE) et aux méthodes existantes de raisonnement efficace basées sur la longueur (par exemple, ThinkPrune, Training Efficient) en ajoutant le terme DPO à la fonction de perte existante.

Contributions Clés

Cadre d'Optimisation au Niveau du Contenu : CLORE déplace l'accent du contrôle de la longueur au niveau de la séquence vers la supervision au niveau du contenu. Il cible et supprime explicitement les composants de raisonnement de faible qualité (répétition, illisibilité, bruit post-réponse) tout en préservant la réponse finale.
Apprentissage de Préférence Augmenté-Original : La méthode introduit un mécanisme pour entraîner des politiques en utilisant des paires augmentées-originales via un objectif DPO sans référence, atténuant les problèmes de décalage hors-politique généralement associés aux éditions post-hoc.
Validation Empirique : Le cadre est évalué sur DeepSeek-R1-Distill-Qwen-7B et Qwen2.5-Math-7B à travers cinq benchmarks de raisonnement mathématique (OlympiadBench, Minerva, MATH500, AMC2023, AIME2025).
Démonstration de Complémentarité : L'article démontre que CLORE n'est pas un remplacement pour le contrôle au niveau de la longueur, mais une couche complémentaire qui améliore le compromis précision-efficacité lorsqu'il est combiné avec des méthodes existantes.

Résultats Expérimentaux

Compromis Précision-Efficacité : CLORE améliore constamment le Score Précision-Efficacité (AE) sur tous les points de référence testés (GRPO, DAPO, Training Efficient, ThinkPrune).
- Sur DeepSeek-R1-Distill-Qwen-7B, l'application de CLORE a amélioré les scores AE moyens d'environ 0,4 sur les benchmarks.
- Sur Qwen2.5-Math-7B, les améliorations étaient plus prononcées, avec des gains AE moyens dépassant souvent 1,0, et un gain spécifique de plus de 6 points sur Minerva lorsqu'appliqué à GRPO.
Réduction de la Longueur : CLORE réduit considérablement le nombre de tokens de sortie (20–30 % sur DeepSeek, 30–50 % sur Qwen) sans provoquer d'effondrement systématique de la précision.
Analyse du Contenu :
- Répétition : CLORE réduit à la fois la répétition locale de n-grammes et les plus longs segments répétés.
- Illisibilité : Il réduit drastiquement le taux de contenu illisible ou sans rapport avec la tâche (mesuré via LLM-as-a-judge).
- Exploration Post-Réponse : Il supprime efficacement le raisonnement qui continue après la découverte de la solution.
Études d'Ablation :
- Poids DPO : Un poids DPO modéré ( $\lambda$ ) offre le meilleur équilibre entre réduction de la longueur et maintien de la précision.
- Modèle d'Augmentation : La méthode reste efficace même avec un modèle d'augmentation plus petit (Qwen3-1.7B), bien qu'un modèle plus puissant (Qwen3-4B) produise des résultats légèrement meilleurs.

Importance et Revendications

L'article revendique que le raisonnement efficace nécessite une optimisation duale : contrôler la quantité de raisonnement (longueur) et superviser la qualité du raisonnement (contenu).

Au-delà du Contrôle de la Longueur : Les auteurs soutiennent que minimiser simplement la longueur ou imposer des budgets est insuffisant car cela ne distingue pas le raisonnement à haute valeur du bruit redondant. CLORE traite la « faible supervision » du contenu intermédiaire inhérente à l'entraînement RL standard.
Optimisation Stable : En restreignant l'augmentation aux trajectoires correctes et en utilisant la suppression locale, CLORE maintient les déroulements édités proches de la distribution de la politique, atténuant le décalage hors-politique qui affecte souvent les méthodes d'édition post-hoc.
Applicabilité Générale : Le cadre est présenté comme une amélioration générale des pipelines d'entraînement de raisonnement basés sur RL existants, capable d'améliorer à la fois l'efficacité de l'entraînement (en réduisant les gradients bruyants provenant de tokens de faible qualité) et l'efficacité de l'inférence (en générant des traces de raisonnement plus concises et denses).

Les auteurs concluent que si le contrôle au niveau de la longueur régule combien de raisonnement est généré, la supervision au niveau du contenu (tel que fourni par CLORE) est nécessaire pour déterminer quel contenu de raisonnement est informatif et mérite d'être conservé.