On the Role of Reasoning Patterns in the Generalization Discrepancy of Long Chain-of-Thought Supervised Fine-Tuning

Titre de l'article

Sur le rôle des motifs de raisonnement dans la divergence de généralisation du fine-tuning supervisé (SFT) à longue chaîne de pensée (CoT)

1. Problématique

L'affinement supervisé (SFT) sur des trajectoires de longue chaîne de pensée (CoT) est devenu une étape fondamentale pour construire des modèles de raisonnement de grande taille (LRM). Cependant, une question ouverte persiste : comment les trajectoires de CoT provenant de différentes sources (modèles enseignants) influencent-elles la capacité de généralisation des modèles étudiants ?

Les auteurs ont observé un paradoxe surprenant lors d'une étude comparative contrôlée :

• Les modèles entraînés sur des données générées par DeepSeek-R1-0528 atteignent une perte d'entraînement (loss) significativement plus faible que ceux entraînés sur des données de gpt-oss-120b.
• Pourtant, malgré cette perte plus faible, les modèles entraînés sur DeepSeek-R1 affichent une performance de généralisation nettement inférieure sur des benchmarks de raisonnement mathématique par rapport à ceux entraînés sur gpt-oss-120b.

L'objectif de l'article est de comprendre pourquoi une meilleure adéquation aux données d'entraînement (perte plus faible) ne se traduit pas par une meilleure capacité de raisonnement, et d'identifier les propriétés intrinsèques des trajectoires qui expliquent cette divergence.

2. Méthodologie

Les auteurs ont mené une étude comparative rigoureuse et contrôlée :

• Données : Utilisation de deux modèles enseignants open-source (DeepSeek-R1-0528 et gpt-oss-120b) pour générer des trajectoires de CoT sur le même ensemble de ~500 000 problèmes mathématiques complexes. Seules les trajectoires vérifiées comme correctes ont été utilisées.
• Modèles Étudiants : Fine-tuning de quatre modèles de base de différentes familles et échelles (Qwen2.5-7B/32B, Llama3.1-8B, Qwen3-8B) sur les données de chaque enseignant.
• Analyse Multi-facettes :
  1. Analyse au niveau des tokens : Étude de la distribution de la perte (loss) pour identifier les tokens clés du raisonnement.
  2. Analyse comportementale (Niveau étape) : Décomposition des trajectoires en étapes discrètes annotées automatiquement via un LLM (DeepSeek-V3.2) en quatre catégories de comportements : Proposer (divergence), Déduire (convergence linéaire), Vérifier et Reculer (Backtrack).
  3. Expériences d'intervention :
     • Suppression aléatoire : Suppression de 10% des étapes de raisonnement dans les données d'entraînement pour tester la redondance structurelle.
     • Filtrage ciblé : Proposition d'une stratégie de curation de données pour éliminer les trajectoires trop "branchantes" (divergentes) avant l'entraînement.

3. Contributions Clés

1. Révélation d'une divergence de généralisation : L'article démontre que, dans des conditions contrôlées (mêmes problèmes, mêmes réponses correctes), les trajectoires de DeepSeek-R1 induisent une perte d'entraînement plus faible mais une généralisation pire que celles de gpt-oss-120b.
2. Identification des motifs de raisonnement : L'analyse révèle une différence structurelle fondamentale :
   • DeepSeek-R1 favorise un motif divergent et exploratoire, caractérisé par des embranchements fréquents (Propose) sans déduction profonde, créant une redondance structurelle.
   • gpt-oss-120b favorise un motif convergent et déductif, avec des chaînes de raisonnement linéaires et profondes (Deduce).
   • Les modèles étudiants héritent de ces motifs : ceux entraînés sur DeepSeek-R1 restent piégés dans des branches exploratoires redondantes, ce qui nuit à leur capacité à trouver la solution correcte.
3. Solution par filtrage de données : Les auteurs proposent une méthode simple et efficace pour améliorer le SFT : filtrer les trajectoires les plus fréquemment branchantes (divergentes) de l'ensemble de données DeepSeek-R1.

4. Résultats Expérimentaux

• Performance de généralisation :
  • Les modèles entraînés sur gpt-oss-120b surpassent systématiquement ceux entraînés sur DeepSeek-R1 sur tous les benchmarks (MATH500, AIME24/25, BeyondAIME, HMMT25).
  • L'écart est particulièrement marqué sur Llama3.1-8B (50,5% vs 29,5% de moyenne).
• Analyse de la perte (Loss) :
  • La perte plus faible de DeepSeek-R1 est un "effet de dilution" : elle provient d'une grande proportion de tokens à perte quasi-nulle (calculs simples, routine), masquant une densité plus faible de tokens clés de transition logique.
• Validation par suppression d'étapes :
  • La suppression aléatoire de 10% des étapes dans les données gpt-oss entraîne une chute drastique de performance (les chaînes sont denses et dépendantes).
  • La même suppression sur les données DeepSeek-R1 a un impact minime, voire améliore la performance dans certains cas, confirmant la présence de redondances structurelles.
• Impact du filtrage (Remède proposé) :
  • En filtrant les trajectoires les plus branchantes de DeepSeek-R1 (en utilisant des métriques proxy comme le ratio de différence de longueur ou la présence de mots-clés de branchement), les performances s'améliorent significativement.
  • Gains observés : Jusqu'à +5,1% sur AIME25, +5,5% sur BeyondAIME, et une amélioration moyenne de 3,6% sur cinq benchmarks pour les modèles Qwen3-8B et Qwen2.5-7B.

5. Signification et Impact

Ce travail remet en question l'hypothèse selon laquelle une perte d'entraînement plus faible est toujours un indicateur de qualité pour le SFT de modèles de raisonnement. Il démontre que :

• La structure intrinsèque des données d'entraînement (motifs de raisonnement) est aussi critique, voire plus, que la simple exactitude des réponses.
• L'exploration excessive et redondante (divergence sans déduction profonde) peut être préjudiciable à l'apprentissage, car elle enseigne aux modèles à "tourner en rond" plutôt qu'à converger vers une solution.
• Une curation de données intelligente (filtrage des motifs inefficaces) est une stratégie puissante, peu coûteuse et efficace pour améliorer la généralisation des modèles de raisonnement, offrant une nouvelle voie pour l'optimisation des pipelines de distillation de connaissances.

En résumé, l'article fournit une explication mécaniste à un phénomène contre-intuitif et propose une solution pratique pour optimiser l'entraînement des futurs modèles de raisonnement.