💻 computer science

Why Do Reasoning Models Lose Coverage? The Role of Data and Forks in the Road

Ce papier examine le phénomène de « rétrécissement du raisonnement » dans les modèles de raisonnement affinés, identifiant la prévalence de scénarios de points de décision ambigus dans les données d'entraînement comme cause principale et démontrant que la synthèse ciblée de données et le décodage soucieux de la diversité peuvent atténuer efficacement cette perte de couverture.

Auteurs originaux : Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ngoc-Hieu Nguyen, Parshin Shojaee, Phuc Minh Nguyen, Nan Zhang, Chandan K Reddy, Khoa D Doan, Rui Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un élève comment résoudre un labyrinthe. Vous voulez qu'il soit capable de trouver la sortie, peu importe le chemin qu'il emprunte, mais vous souhaitez également qu'il soit rapide et précis.

Ce document examine un problème étrange qui survient lorsque nous entraînons des modèles d'intelligence artificielle avancés (comme ceux qui effectuent des calculs mathématiques complexes ou du raisonnement logique) à devenir des experts en « raisonnement ». Nous appelons ce problème « Rétrécissement de la Couverture ».

Voici une explication simple de ce que les auteurs ont découvert, en utilisant des analogies du quotidien :

Le Problème : La Carte qui « Rétrécit »

Lorsque ces modèles d'IA sont entraînés, ils deviennent très bons pour trouver le seul meilleur chemin vers la réponse. Si vous leur posez une question une seule fois, ils ont de fortes chances de la résoudre correctement (ceci est appelé pass@1).

Cependant, si vous leur posez la même question 10 ou 100 fois pour voir toutes les différentes façons dont ils pourraient la résoudre, ils cessent de vous offrir de la variété. Ils commencent tous à donner exactement la même réponse, ou pire, ils se retrouvent tous bloqués sur le même mauvais chemin. Leur « carte » des solutions possibles a rétréci. Ils ont perdu la capacité d'explorer différents itinéraires.

Le Coupable : Les « Carrefours »

Les auteurs soutiennent que ce n'est pas parce que l'algorithme d'apprentissage de l'IA est défectueux. Au contraire, le problème réside dans les données d'entraînement.

Imaginez un livre d'histoires où un personnage arrive à un carrefour.

Le Monde Réel : Le personnage peut aller à gauche ou à droite. Les deux chemins semblent valables, mais un seul mène au trésor.
Les Données d'Entraînement : Le livre d'histoires ne montre que le personnage empruntant le bon chemin. Il n'explique jamais pourquoi il a choisi le droit plutôt que le gauche, ni même mentionne que le chemin de gauche était une option.

Les auteurs appellent ces moments des « Carrefours ». Ce sont des points de décision où le modèle doit choisir entre plusieurs options valides, mais où les données ne montrent qu'une seule option.

Parce que le modèle ne voit jamais qu'un seul chemin emprunté, il apprend une mauvaise habitude : « Je dois choisir la première chose qui semble juste, et je dois être à 100 % certain d'avoir raison, même si ce n'est pas le cas. » Il cesse d'explorer. Il cesse de considérer le chemin de « gauche » parce que le livre d'histoires ne l'a jamais montré.

Les Expériences : Prouver la Théorie

Les chercheurs ont testé cela avec deux dispositifs ingénieux :

Le Graphe en Étoile (Le Labyrinthe) :
Ils ont créé une énigme mathématique simple qui ressemblait à un labyrinthe en forme d'étoile. Au départ, il y avait deux chemins. Un seul menait à la réponse.
- Groupe A a été entraîné sur des données montrant le modèle avançant vers l'avant à travers le labyrinthe, faisant un choix au carrefour.
- Groupe B a été entraîné sur des données montrant le modèle avançant vers l'arrière depuis la réponse jusqu'au départ (aucun choix nécessaire).
- Résultat : Le Groupe A (ceux qui devaient faire des choix) a perdu sa capacité à trouver des chemins alternatifs. Le Groupe B a conservé sa carte complète. Cela a prouvé que l'acte de faire un choix sans suffisamment d'informations provoque le rétrécissement.
Le Changement de Style (Code vs Mots) :
Ils ont examiné des problèmes mathématiques qui pouvaient être résolus soit en écrivant du code, soit en écrivant en anglais courant.
- Scénario 1 : Ils ont donné au modèle un mélange de problèmes, mais chaque problème n'avait qu'un seul style de solution (certains étaient en code, d'autres en mots).
- Scénario 2 : Ils ont donné au modèle le même mélange, mais pour chaque problème individuel, ils ont montré à la fois la solution en code ET la solution en mots.
- Résultat : Dans le Scénario 1, le modèle s'est confondu et a commencé à choisir un style basé sur des indices minuscules et sans pertinence (comme l'ordre des mots), rétrécissant ses options. Dans le Scénario 2, où le modèle voyait les deux options pour le même problème, il est resté flexible et a maintenu sa « carte » large.

Les « Indices Spuriaux » (Les Mauvaises Habitudes)

Parce que le modèle est forcé de choisir à ces « carrefours » sans connaître la bonne réponse, il commence à s'accrocher à des indices spuriaux (faux signaux).

Exemple : Si le problème commence par le mot « Soit », le modèle pourrait décider : « D'accord, j'utiliserai le style de pensée "Retour en arrière" ». S'il commence par « Pour », il pourrait décider : « D'accord, j'utiliserai le style "Linéaire" ».
Le modèle ne réfléchit pas réellement aux mathématiques ; il réagit simplement au premier mot. Cela le rend fragile. Si vous changez le premier mot, le modèle pourrait basculer vers une façon de penser complètement différente (et pire).

La Solution : Faire Bouger le Premier Pas

Le document propose deux façons de résoudre ce problème sans réentraîner tout le modèle :

Meilleure Conception des Données : Lors de la création de données d'entraînement, ne vous contentez pas de mélanger différents types de problèmes. Pour chaque problème spécifique, montrez au modèle plusieurs façons valides de le résoudre. Cela apprend au modèle que « à ce carrefour, les deux chemins sont possibles ».
L'Astuce du « Premier Mot » : Puisque le modèle se bloque sur le tout premier mot qu'il génère, les chercheurs ont découvert qu'ils pouvaient « secouer » le début. En forçant le modèle à essayer de commencer avec différents mots courants (comme « D'accord », « Commençons par », ou « Pour »), ils pouvaient déverrouiller les différents styles de pensée qui étaient enfermés.
- Analogie : C'est comme une porte coincée. Le modèle pense que la porte est verrouillée, mais si vous poussez la poignée dans une direction légèrement différente (changez le premier mot), la porte s'ouvre, et le modèle se souvient de tous les chemins qu'il connaissait autrefois.

La Conclusion

Le document conclut que les modèles d'IA n'« oublient » pas comment être diversifiés. Ils sont simplement bloqués dans un seul chemin parce que leurs données d'entraînement les ont forcés à faire des choix aveugles à des « carrefours » sans leur montrer les alternatives. En changeant la façon dont nous présentons ces choix dans les données, ou en poussant le modèle au tout début de sa réponse, nous pouvons retrouver cette diversité perdue.

Résumé Technique : Pourquoi les Modèles de Raisonnement Perdent-ils en Couverture ? Le Rôle des Données et des Fourches dans le Chemin

Énoncé du Problème

Les récents progrès des modèles de raisonnement, obtenus grâce à des procédures de post-entraînement spécialisées comme le Fine-Tuning Supervisé (SFT) et l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR), ont considérablement amélioré la précision pass@1 (la probabilité que la première solution générée soit correcte). Cependant, un phénomène contre-intuitif connu sous le nom de rétrécissement de la couverture a été observé : alors que le pass@1 s'améliore, le pass@k (la probabilité qu'au moins une solution correcte apparaisse parmi $k$ échantillons indépendants) se dégrade par rapport au modèle de base.

La littérature antérieure a largement attribué ce rétrécissement aux dynamiques d'optimisation du RLVR, suggérant que l'entraînement piloté par la récompense suraccentue des chemins étroits et à haute récompense, conduisant à un effondrement de mode. Cependant, des preuves récentes indiquent que ce rétrécissement se produit également sous SFT, impliquant que la cause racine pourrait ne pas être l'algorithme lui-même, mais un moteur plus fondamental. Cet article examine l'hypothèse selon laquelle la structure des données, spécifiquement la présence de « fourches dans le chemin » (points de décision où plusieurs chemins de raisonnement valides existent mais où le raisonnement du choix est obscurci), est le principal moteur du rétrécissement de la couverture.

Méthodologie

Les auteurs proposent une approche centrée sur les données, arguant que les problèmes de raisonnement impliquent souvent des points de décision où un modèle doit choisir entre plusieurs stratégies valides sans savoir laquelle réussira. Si les données d'entraînement n'exposent que le chemin réussi (biais de survie) sans expliquer le choix, le modèle apprend à s'appuyer sur des indices fallacieux pour résoudre l'ambiguïté, supprimant éventuellement les trajectoires alternatives.

Pour tester cela, les auteurs ont conçu des études de cas contrôlées isolant ces points de décision :

Navigation sur Graphes (Tâche Synthétique) :
- Configuration : Une tâche de navigation sur un graphe en étoile où un modèle doit traverser d'un nœud de départ à un nœud cible. Le graphe contient des « nœuds indéchiffrables » (points de bifurcation) où plusieurs branches sont des continuations valides, mais une seule mène à la cible.
- Variantes :
  - Avant : Le modèle doit naviguer de la source à la cible, rencontrant des points de bifurcation (points de décision).
  - Arrière (sans DP) : Le modèle navigue de la cible à la source, présentant la solution dans l'ordre inverse, éliminant efficacement le besoin de sélection de chemin.
- Modèles : Évalués sur Qwen2.5-0.5B et EvoLM-1B.
Sélection du Mode de Raisonnement (Tâches Réelles) :
- Langage Naturel (LN) vs Code : Les auteurs ont analysé des ensembles de données de raisonnement mathématique (OpenMathInstruct-1 et 2) pour comparer deux structures de diversité de données :
  - Diversité au niveau des données : L'ensemble de données est globalement équilibré (50 % LN, 50 % Code), mais chaque problème est résolu avec un seul mode.
  - Diversité au niveau des problèmes : Chaque problème est présenté avec les deux solutions LN et Code dans les données d'entraînement.
- Linéaire vs Backtracking : En utilisant des modèles de raisonnement distillés (par exemple, les variantes DeepSeek-R1), les auteurs ont examiné comment les tokens de préfixe initiaux (par exemple, « Okay », « Let », « To ») agissent comme des points de décision qui engagent le modèle dans des structures de raisonnement soit linéaires, soit de type backtracking.
Stratégies d'Atténuation :
- Conception des Données : Comparaison des effets de la diversité au niveau des problèmes par rapport à la diversité au niveau des données.
- Intervention au Moment de l'Inférence : Test d'un mécanisme de décodage « Top-k prefix » où le modèle est forcé de démarrer à partir de différents tokens initiaux à haute probabilité pour retrouver la diversité.

Résultats Clés

1. Les Points de Décision Conduisent au Rétrécissement

Dans la tâche de Navigation sur Graphes, les modèles entraînés sur le réglage Avant (avec points de décision) ont montré un schéma classique de rétrécissement : le pass@1 s'est amélioré, mais le pass@k s'est dégradé de manière significative à mesure que l'entraînement progressait. En revanche, les modèles entraînés sur le réglage Arrière (sans points de décision) ont maintenu des performances pass@k élevées pour toutes les valeurs de $k$ .

Analyse de la Confiance : Les modèles entraînés avec des points de décision sont devenus excessivement confiants aux points de bifurcation, attribuant une probabilité élevée à la fois aux branches correctes et incorrectes. Cela suggère qu'ils ont appris à s'engager sur un chemin basé sur des indices fallacieux plutôt que sur une incertitude calibrée.

2. La Structure de la Diversité Compte

Dans la tâche de Sélection du Mode de Raisonnement, le réglage de Diversité au niveau des données (équilibre global, mode unique par problème) a entraîné un rétrécissement sévère de la couverture. Le modèle est devenu de plus en plus confiant dans le choix d'un seul mode (LN ou Code) par problème, conduisant à une distribution bimodale et à une dégradation du pass@k.

À l'inverse, le réglage de Diversité au niveau des problèmes (modes multiples par problème) a maintenu des performances pass@k stables. Cela indique que la couverture n'est pas déterminée uniquement par la quantité de diversité dans l'ensemble de données, mais par la manière dont cette diversité est structurée au sein des problèmes individuels.

3. Fragilité aux Points de Décision

L'analyse du raisonnement Linéaire vs Backtracking a révélé que les modèles sont très sensibles aux tokens de préfixe initiaux. De petits changements dans le premier token (par exemple, « Okay » vs « Let ») pouvaient modifier radicalement le mode de raisonnement du modèle, la longueur de la réponse et la précision.

Sur-réflexion/Sous-réflexion : Les modèles appliquaient souvent le mauvais mode de raisonnement par défaut (par exemple, backtracking sur des questions factuelles simples ou pensée linéaire sur des arithmétiques contre-factuelles complexes). Cependant, la manipulation du préfixe permettait de retrouver le mode approprié et boostait considérablement les performances (jusqu'à 60 % sur des tâches spécifiques).

4. Atténuation par Intervention au Moment de l'Inférence

Les auteurs ont démontré que le rétrécissement de la couverture n'est pas une perte permanente de capacité, mais une suppression des chemins alternatifs. En appliquant une stratégie d'échantillonnage Top-k prefix (forçant le modèle à démarrer à partir de tokens initiaux divers) lors de l'inférence, ils ont pu récupérer la couverture perdue.

Résultat : Alors que le décodage standard montrait un déclin du pass@k dans les étapes ultérieures de l'entraînement, le réglage Top-8 prefix a maintenu un pass@k élevé, réactivant efficacement les trajectoires de raisonnement supprimées sans réentraînement supplémentaire.

Contributions Clés

Hypothèse Centrée sur les Données : L'article identifie les « fourches dans le chemin » (points de décision avec un raisonnement obscurci) dans les données de fine-tuning comme un moteur clé du rétrécissement de la couverture, remettant en question l'idée que le rétrécissement est uniquement un artefact des algorithmes d'optimisation comme le RLVR.
Preuves Empiriques Contrôlées : Grâce à des tâches de graphes synthétiques et à une analyse des modes de raisonnement réels, les auteurs fournissent des preuves que la prévalence et la structure des points de décision sont fortement corrélées à la sévérité du rétrécissement de la couverture.
Insight sur la Structure de la Diversité : L'étude révèle que comment la diversité est distribuée (par problème vs à travers les problèmes) est critique ; la diversité par problème est bien plus efficace pour préserver la couverture.
Atténuation Pratique : L'article introduit deux stratégies pour contrôler le rétrécissement :
- Concevoir des données synthétiques pour exposer plusieurs modes de raisonnement au sein de problèmes uniques.
- Utiliser la perturbation de préfixe au moment de l'inférence pour récupérer la diversité supprimée, démontrant que la capacité de raisonnement du modèle est latente plutôt que perdue.

Signification

L'article soutient que le rétrécissement de la couverture est un artefact piloté par les données où les modèles apprennent à verrouiller les chemins de raisonnement alternatifs derrière des points de décision non calibrés. En déplaçant l'accent de l'optimisation algorithmique vers la curation des données et l'intervention au moment de l'inférence, les auteurs suggèrent que la couverture perdue dans les modèles de raisonnement n'est pas définitivement oubliée, mais simplement supprimée. Ces résultats offrent une perspective pour améliorer la conception des données de post-entraînement et le scaling au moment du test, soulignant qu'un raisonnement efficace nécessite non seulement de trouver le chemin correct, mais aussi de maintenir la capacité d'explorer plusieurs chemins valides lorsque le « bon » choix est ambigu.