Curriculum Learning for Efficient Chain-of-Thought Distillation via Structure-Aware Masking and GRPO

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous essayez d'enseigner à un enfant de 6 ans (le petit modèle) comment résoudre des problèmes de mathématiques complexes, en lui donnant les leçons d'un professeur de mathématiques brillant mais très bavard (le grand modèle).

Le problème ? Si le professeur écrit une explication de 50 lignes avec des détails inutiles, l'enfant est submergé. Il ne peut pas tout mémoriser, il se perd, et finit par répéter bêtement les mots sans comprendre la logique, ou alors il abandonne.

C'est exactement le défi que résout ce papier de recherche, baptisé BRIDGE. Voici comment leur méthode fonctionne, expliquée avec des images simples :

1. Le Problème : Le "Miroir Cassé"

Habituellement, pour apprendre à l'enfant, on lui fait copier mot pour mot les longues explications du professeur.

Résultat : L'enfant essaie de copier, mais comme il est trop petit, il oublie la fin de la phrase pendant qu'il écrit le début. Il fait des boucles de répétition ou donne une réponse fausse. C'est comme essayer de boire l'océan avec une petite cuillère : ça ne marche pas.

2. La Solution : L'École "BRIDGE" (Un parcours en 3 étapes)

Les chercheurs ont créé un programme d'apprentissage progressif, comme un jeu vidéo où l'on passe de niveau en niveau.

Étape 1 : Le Puzzle et le Masque (Comprendre la structure)

Au lieu de demander à l'enfant de copier le texte entier, on lui donne le texte du professeur, mais on le mélange et on cache certaines parties (comme un puzzle avec des pièces manquantes).

L'analogie : Imaginez que vous donnez à l'enfant les pièces d'un puzzle mélangées et qu'il manque deux pièces. Il doit deviner l'ordre logique des pièces et imaginer ce qu'il y a sous les pièces manquantes.
Le but : L'enfant ne mémorise plus les mots par cœur. Il apprend à comprendre la logique (pourquoi cette étape vient avant celle-là). Il construit un "squelette" mental de la solution.

Étape 2 : Le Jeu du "Plus Court est Mieux" (Apprendre à être concis)

Maintenant que l'enfant comprend la logique, on lui dit : "Très bien, tu as compris, mais maintenant, explique-le moi en moins de mots possible, tout en restant juste."

L'analogie : C'est comme un jeu de télé-réalité où l'enfant doit résoudre un problème. S'il parle trop, on lui retire des points. S'il trouve la bonne réponse en 3 phrases au lieu de 30, il gagne des points bonus.
La magie : L'enfant apprend à faire le tri. Il garde l'essentiel et jette le superflu, tout en restant précis.

Étape 3 : La Réécriture Guidée (Pour les cas difficiles)

Parfois, certains problèmes sont trop durs, même pour l'enfant bien entraîné. Il bloque.

L'analogie : Au lieu de le laisser seul, le professeur lui montre la solution complète, mais lui dit : "Regarde ma solution, mais maintenant, réécris-la avec tes propres mots de manière très courte."
Le but : L'enfant ne copie pas. Il absorbe la logique du professeur et la reformule à sa manière, en la rendant plus petite et plus efficace. C'est comme si l'enfant apprenait à "digest" l'information pour la rendre plus légère.

3. Les Résultats : Un Super-Héros Compact

Grâce à cette méthode, les chercheurs ont pris un petit modèle (Qwen2.5-3B) et l'ont rendu plus intelligent et plus rapide.

Avant : Il était souvent confus ou trop long.
Après : Il résout mieux les problèmes de mathématiques (+11% de réussite) et parle beaucoup moins (-27% de mots).

En résumé :
Au lieu de forcer un petit cerveau à avaler un éléphant entier (la solution longue du professeur), on lui apprend d'abord à dessiner l'éléphant (comprendre la structure), puis à le dessiner en miniature (être concis), et enfin à le redessiner à sa façon pour les cas les plus difficiles.

C'est une méthode qui permet aux petits ordinateurs de devenir aussi intelligents que les grands, sans avoir besoin de la même taille de cerveau, en apprenant à penser plutôt qu'à copier.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

L'article aborde le défi fondamental de la distillation de raisonnement (Chain-of-Thought ou CoT) des grands modèles de langage (LLM "enseignants") vers des modèles compacts ("élèves", ex: 3B de paramètres).

Le déséquilibre de capacité : Les enseignants (ex: DeepSeek-R1-14B) génèrent des chaînes de raisonnement longues et détaillées pour garantir la justesse. Les petits modèles, manquant de capacité de représentation, échouent souvent à reproduire fidèlement ces séquences via un apprentissage supervisé standard (SFT).
Les échecs des approches existantes :
- Le SFT direct sur des CoT verbeux entraîne des modèles qui produisent des sorties tronquées, des boucles de répétition ou une imitation superficielle sans compréhension réelle.
- La compression heuristique (troncature aléatoire, mélange de longueurs) détruit l'intégrité logique et la lisibilité du raisonnement.
- Le raisonnement implicite (compression dans les états cachés) sacrifie l'interprétabilité, qui est pourtant la valeur principale du CoT.
L'objectif : Comment permettre à un petit modèle de maintenir un raisonnement explicite et vérifiable tout en le compressant pour qu'il rentre dans ses limites de capacité ?

2. Méthodologie : Le Framework BRIDGE

Les auteurs proposent BRIDGE, un cadre d'apprentissage par curriculum en trois étapes qui progresse de la compréhension structurelle à la compression active, en utilisant l'optimisation de politique par groupe relatif (GRPO).

Étape 1 : Échauffement conscient de la structure (Structure-Aware Warmup)

Avant d'optimiser la longueur, le modèle doit comprendre la logique.

Objectif : Construire un "squelette logique" sans forcer la mémorisation mot à mot.
Technique : Reconstruction de séquences corrompues.
- Mélange (Shuffling) : Les étapes du raisonnement sont mélangées aléatoirement pour empêcher le modèle d'apprendre par position et l'obliger à comprendre les dépendances causales.
- Masquage (Masking) : Environ 15 % des étapes sont masquées. Le modèle doit inférer la logique manquante à partir du contexte.
Résultat : Le modèle apprend la topologie sémantique du raisonnement plutôt que de simples motifs locaux.

Étape 2 : Compression basée sur GRPO

Une fois la structure comprise, l'objectif est d'optimiser le compromis entre justesse et concision.

Algorithme : Utilisation de Group Relative Policy Optimization (GRPO) sur des tâches de complétion masquée (sans mélange cette fois).
Fonction de récompense hiérarchique : C'est une contribution clé pour éviter le "hacking de récompense" (produire des réponses très courtes mais fausses).
- Priorité 1 (Justesse) : Une réponse incorrecte reçoit une pénalité fixe, quelle que soit sa brièveté.
- Priorité 2 (Efficacité) : Une récompense de compression n'est accordée que si la réponse est correcte. La récompense est proportionnelle à la réduction de longueur par rapport à une référence.
Mécanisme : Le modèle explore lui-même l'équilibre optimal entre précision et brièveté.

Étape 3 : Internalisation guidée par l'enseignant

Cette étape cible les cas d'échec persistants (problèmes trop difficiles pour l'étape 2).

Approche : Au lieu de demander au modèle de générer un raisonnement complexe à partir de zéro, on lui fournit la solution complète de l'enseignant comme "échafaudage" (scaffold).
Tâche : Le modèle doit réécrire cette solution longue de manière concise, en internalisant la logique mais en adaptant le style à sa propre capacité.
Récompense : Similaire à l'étape 2, mais la récompense de compression est calculée par rapport à la longueur de la solution de l'enseignant. Une pénalité est appliquée si la sortie est plus longue que celle de l'enseignant.
Principe clé : Les modèles peuvent souvent comprimer un raisonnement existant même s'ils ne peuvent pas le générer de zéro. BRIDGE exploite cette asymétrie.

3. Contributions Clés

Identification du goulot d'étranglement : Démonstration que le SFT direct sur des CoT verbeux est préjudiciable aux petits modèles en raison d'un déséquilibre de capacité.
Framework BRIDGE : Introduction d'un curriculum en trois étapes (Reconstruction structurelle $\rightarrow$ Compression par GRPO $\rightarrow$ Internalisation guidée) qui permet aux modèles compacts d'internaliser et de réécrire efficacement les chaînes de raisonnement.
Récompense Hiérarchique : Conception d'une fonction de récompense pour GRPO qui impose une priorité stricte à la justesse avant la brièveté, éliminant les risques de triche (reward hacking).
Preuve de concept : Validation sur des modèles de 3B paramètres, montrant qu'il est possible d'obtenir un raisonnement explicite et vérifiable sans sacrifier la performance.

4. Résultats Expérimentaux

Les expériences ont été menées principalement sur le benchmark GSM8K (problèmes mathématiques de niveau primaire), avec des généralisations sur SVAMP et MATH-500.

Modèle testé : Qwen2.5-3B-Base (entraîné avec BRIDGE) vs DeepSeek-R1-14B (enseignant).
Performance sur GSM8K :
- Précision : BRIDGE atteint 76,19 %, soit une amélioration de 11,29 % par rapport au modèle de base (64,90 %).
- Longueur de sortie : Réduction de 27,4 % (moyenne de 167 tokens contre 230 pour le modèle de base).
Comparaison avec l'état de l'art :
- Surpasse les méthodes de distillation standard (Std-CoT KD) qui sont précises mais trop longues (374 tokens).
- Surpasse les méthodes de compression naïve (Short-CoT) qui sont courtes mais peu précises (39,42 %).
- Surpasse les méthodes RL traditionnelles (SuperRL) qui peinent à maintenir la brièveté après consolidation SFT.
Généralisation : Le modèle montre une forte capacité de transfert en zero-shot sur SVAMP (+4,0 % de précision) et MATH-500, prouvant que les motifs de raisonnement internalisés sont généralisables et non spécifiques au jeu de données d'entraînement.

5. Signification et Impact

L'article BRIDGE marque une avancée significative dans le domaine de la distillation de modèles de raisonnement :

Changement de paradigme : Il passe d'une logique de "copie" (memorization) à une logique d'internalisation. Le modèle apprend à comprendre la structure du raisonnement avant d'apprendre à le condenser.
Efficacité des ressources : Il démontre que des modèles très compacts (3B) peuvent rivaliser avec des modèles beaucoup plus grands sur des tâches de raisonnement complexe, à condition d'utiliser un curriculum d'apprentissage adapté.
Interprétabilité préservée : Contrairement aux méthodes de compression implicite, BRIDGE maintient des chaînes de raisonnement explicites, ce qui est crucial pour le débogage et l'audit des décisions de l'IA.
Robustesse : L'utilisation de GRPO avec une récompense hiérarchique résout le problème classique de l'optimisation RL où les modèles sacrifient la justesse pour minimiser la longueur.

En résumé, BRIDGE offre une voie viable pour déployer des capacités de raisonnement avancées dans des environnements contraints en ressources, en transformant la contrainte de capacité en un défi d'apprentissage structuré plutôt qu'en une limitation infranchissable.