Résumé technique : Diagnostic de la continuation nuisible dans les traces d'entraînement Long-CoT à réponse correcte

Énoncé du problème

Les traces de chaîne de pensée (CoT) longues sont largement utilisées comme supervision pour le fine-tuning supervisé (SFT) des grands modèles de langage (LLM) orientés vers le raisonnement. Bien que la littérature existante reconnaisse que les traces à réponse correcte varient en utilité d'entraînement en raison du style ou de la structure, les modes de défaillance internes de ces traces restent sous-explorés. Plus précisément, il est incertain qu'une longue trace de raisonnement reste uniformément utile une fois la réponse finale correcte.

Cet article examine un phénomène spécifique dans les données Long-CoT à réponse correcte : la continuation post-conclusion. Cela se produit lorsque la réponse est déjà suffisamment étayée par la trace de raisonnement, pourtant la génération se poursuit avec des étapes de raisonnement supplémentaires qui restent partie intégrante de la cible supervisée. Les auteurs émettent l'hypothèse que cette phase peut être « de faible valeur », caractérisée par une incertitude locale persistante et un faible progrès de l'état caché, agissant potentiellement comme une « continuation nuisible » qui dégrade les résultats du SFT malgré le maintien de la justesse de la réponse.

Méthodologie

1. Partitionnement opérationnel et diagnostic

Pour diagnostiquer ce phénomène sans supposer a priori une nocivité inhérente, les auteurs utilisent un éditeur de type suppression uniquement (Qwen3.5-27B) pour traiter 4 780 trajectoires Long-CoT à réponse correcte issues du jeu de données OpenR1-Math-220k.

• Groupes opérationnels : L'éditeur marque les phrases pouvant être supprimées tout en préservant le raisonnement nécessaire pour retrouver la réponse finale. Cela partitionne chaque trace en :
  • Raisonnement conservé : Le préfixe soutenant la réponse finale.
  • Continuation supprimée par l'éditeur : Le suffixe post-conclusion marqué comme supprimable.
• Diagnostics d'incertitude : Les auteurs analysent l'entropie au niveau de la réponse et la Négative Log-Likelihood (NLL). Ils observent que, tandis que le raisonnement conservé réduit la NLL de la réponse, la continuation supprimée par l'éditeur augmente souvent l'entropie et la NLL de la réponse, indiquant une saturation du soutien de la réponse suivie d'une exploration instable.
• Diagnostics géométriques : En utilisant l'analyse de l'état caché (déplacement caché et progrès vers l'état terminal), les auteurs constatent que la continuation supprimée par l'éditeur présente un mouvement d'état plus faible et un progrès directionnel vers le terminal inférieur par rapport au raisonnement conservé.
• Inadéquation Incertitude-Géométrie : La découverte diagnostique centrale est une inadéquation où le suffixe post-conclusion reste localement coûteux (forte incertitude) tout en montrant un progrès géométrique faible.

2. Coupe de continuation nuisible (HCC)

Pour opérationnaliser ce diagnostic sans dépendre d'un grand éditeur hors ligne pendant l'entraînement, les auteurs proposent la Coupe de continuation nuisible (HCC), un proxy de frontière léger.

• Architecture : HCC utilise une colonne vertébrale Qwen2.5-0.5B-Instruct figée avec une tête de coupe.
• Mécanisme : Il extrait les états cachés au niveau de la phrase et estime conjointement :
  • Un signal d'incertitude locale (basé sur les statistiques d'entropie/NLL).
  • Un signal de progrès opérationnel (basé sur le mouvement de l'état caché).
• Objectif d'entraînement : Le modèle est entraîné à prédire la frontière identifiée par l'éditeur en utilisant une combinaison de :
  • Régularisation latente séquentielle (style auto-encodeur variationnel).
  • Pertes de régression d'incertitude et de géométrie.
  • Pertes de prédiction de frontière et de classification de suppression au niveau de la phrase.
• Objectif : HCC approxime la frontière de continuation post-conclusion identifiée par l'éditeur pour la supprimer lors de la préparation des données SFT.

Résultats clés

1. Preuve interventionnelle de la continuation nuisible

Les auteurs mènent des expériences de SFT sur les colonnes vertébrales LLaMA3.2-3B et Qwen2.5-Math-7B en utilisant trois méthodes de traitement des données : Vanilla (originale), Troncature heuristique, et Traitée par l'éditeur (vérité terrain pour la suppression).

• Gain de performance : La suppression de la continuation post-conclusion identifiée par l'éditeur améliore systématiquement les performances SFT en aval sur les benchmarks MATH500, AMC23 et GSM8K par rapport à l'entraînement sur des traces originales.
• Efficacité de HCC : HCC atteint des performances comparables à la référence traitée par l'éditeur de 27B, et dans certains cas (par exemple, LLaMA3.2-3B sur MATH500), la dépasse. Cela démontre qu'un proxy léger peut efficacement récupérer les bénéfices de l'édition de traces par un grand modèle.
• Longueur vs Qualité : Les traces traitées par HCC sont significativement plus courtes que les traces Vanilla mais surpassent la simple troncature heuristique, suggérant que les gains sont dus à la qualité du contenu supprimé (continuation nuisible) plutôt qu'à une simple réduction de longueur. Des bases de référence de coupe aléatoire confirment que le raccourcissement arbitraire dégrade les performances.

2. Diagnostics post-entraînement

Les modèles entraînés sur des traces traitées par HCC exhibent des dynamiques de raisonnement cohérentes avec la suppression de la continuation nuisible :

• Stabilité : Ils maintiennent une NLL de réponse stable et une entropie de segment décroissante tout au long de la génération, évitant le « rebond d'entropie » observé dans les modèles Vanilla.
• Progrès géométrique : Ils montrent un déplacement caché normalisé par token plus fort et une inadéquation entropie-progrès réduite par rapport aux modèles Vanilla.

3. Généralisation et initialisation RL

• Transversalité des domaines : Le SFT basé sur HCC améliore les performances sur des sujets non mathématiques de MMLU (par exemple, biologie, physique), suggérant que les bénéfices de la suppression de la continuation nuisible peuvent se transférer aux tâches riches en connaissances, bien que les auteurs notent que cela ne prouve pas que le motif existe identiquement dans les traces non mathématiques.
• Apprentissage par renforcement : Les modèles initialisés avec un SFT basé sur HCC servent de points de départ plus solides pour l'entraînement GRPO (Apprentissage par renforcement) ultérieur, surpassant systématiquement les modèles initialisés avec Vanilla à travers les étapes RL.

Signification et revendications

L'article revendique fournir la première vue diagnostique de la continuation post-conclusion au sein des traces Long-CoT à réponse correcte. Ses contributions principales sont :

1. Formulation : Définir une phase de faible valeur dans les traces de raisonnement où la réponse est soutenue mais la génération se poursuit avec une forte incertitude et un faible progrès.
2. Validation empirique : Démontrer, par une suppression préservant la réponse, que cette continuation est empiriquement « nuisible » aux résultats du SFT dans les contextes étudiés.
3. Caractérisation : Identifier une inadéquation incertitude-géométrie comme la signature de cette phase nuisible.
4. Outil pratique : Introduire HCC, un proxy computationnellement efficace (54 fois moins cher que l'éditeur de 27B) qui approxime la suppression de la continuation nuisible, permettant un nettoyage de données évolutif pour les modèles de raisonnement.

Les auteurs adoptent une position modeste, précisant que l'étiquette « nuisible » est empiriquement soutenue par les résultats du SFT et que les étiquettes de l'éditeur servent d'intervention opérationnelle plutôt que d'oracle de vérité terrain d'une nocivité intrinsèque. Le travail se concentre sur le contexte spécifique du SFT Long-CoT à réponse correcte, laissant l'attribution plus fine au niveau des composants et l'applicabilité plus large comme travaux futurs.