Résumé technique : Difficile ou simplement inatteignable ? Diagnostiquer l'angle mort de l'échantillonnage dans l'estimation de la difficulté du raisonnement mathématique

1. Énoncé du problème

Les pipelines actuels pour le raisonnement mathématique — englobant l'apprentissage par renforcement (RL) avec des récompenses vérifiables, la curation de données, la génération de curriculum synthétique et l'annotation de la difficulté — reposent largement sur le pass@k comme signal canonique pour la difficulté par exemple. Dans ce cadre, un exemple est étiqueté comme « difficile » si aucun échantillon parmi $k$ tentatives n'atteint la réponse correcte. Par conséquent, les exemples présentant un $pass@k=0$ sont souvent filtrés, pondérés à la baisse ou traités comme intrinsèquement insolubles.

L'article soutient que cette dépendance à l'échantillonnage stochastique crée un angle mort persistant sur le strate la plus difficile des problèmes. L'hypothèse centrale est que les exemples signalés comme « difficiles » par les estimateurs basés uniquement sur l'échantillonnage ne sont pas nécessairement intrinsèquement difficiles ; ils peuvent plutôt être structurellement inatteignables sur l'axe stochastique mais atteignables via un décodage déterministe à budgets de calcul équivalents. Les auteurs postulent que l'étiquette « difficile » confond « difficulté intrinsèque » et « non atteint par l'échantillonnage stochastique ».

2. Méthodologie

Configuration expérimentale

L'étude évalue quatre modèles à poids ouverts et ajustés pour l'instruction (Qwen-2.5-3B, Llama-3.2-3B, Llama-3.1-8B, Mistral-Nemo-12B) à travers trois benchmarks de raisonnement (GSM8K, MATH, MMLU-Pro).

• Régime d'échantillonnage : Six chaînes indépendantes ($k=6$) générées avec une température $T=0.7$ et un top-p $p=0.9$.
• Régime déterministe : Un « régime déterministe à six chaînes » construit en exécutant un décodage glouton (greedy decoding, $T=0$) avec greffage d'activation (activation grafting).
• Greffage d'activation : Il s'agit d'une intervention de diagnostic, et non d'une méthode de décodage. À la couche $\ell=26$ (le dernier jeton du prompt), l'état caché du modèle ($h_{last\_token}$) est remplacé par un ou plusieurs vecteurs synthétiques peu coûteux et sans paramètres avant de poursuivre la passe avant (forward pass). Les vecteurs de greffe incluent :
  • $g_B$ : Base gloutonne (sans greffe).
  • $g_Z$ : Vecteur nul.
  • $g_R$ : Gaussienne avec norme appariée.
  • $g_{RUNIT}$ : Direction unité aléatoire.
  • $g_{SHUF}$ : Permutation de la dimension cachée.
  • $g_{BOS}$ : Activation du jeton BOS.
  • $g_{AVG}$ : Moyenne des activations des jetons du prompt.
  • $g_{PREV}$ : État de la couche précédente à la même position.
• Calcul équivalent : La comparaison est strictement contrôlée pour le coût de calcul. Le « régime déterministe à six chaînes » effectue le même nombre de passes avant (pré-remplissage + décodage) que le régime d'échantillonnage à six chaînes.

Logique de diagnostic

Les auteurs isolent la strate $pass@6=0$ (les exemples où aucune graine d'échantillonnage ne réussit). Ils mesurent ensuite combien de ces exemples spécifiques sont résolus par le régime déterministe ($R_k$). Si une fraction significative de ces exemples « difficiles » est résolue par le greffage déterministe, l'hypothèse de la « difficulté intrinsèque » est infirmée.

3. Contributions clés et résultats

(1) Le mode glouton est compétitif à $k=1$

Contrairement à l'idée selon laquelle le décodage glouton est une base faible comparée à l'échantillonnage, les auteurs constatent qu'à $k=1$, le décodage glouton est compétitif ou supérieur à la précision moyenne d'un échantillon unique sur la plupart des cellules. L'écart atteint jusqu'à +2,8 % sur Llama-3.2-3B/MATH. Cela suggère que la base par défaut d'un passage unique pour la cohérence de soi (self-consistency) est déjà plus faible qu'une alternative déterministe pour un même calcul.

(2) L'angle mort de l'échantillonnage est structurel

Sur la strate $pass@6=0$ (qui représente 5,1 % à 43,5 % des prompts selon le modèle/benchmark), un régime détermiste à calcul équivalent récupère une fraction non négligeable d'exemples :

• Taux de récupération : Le régime déterministe à six chaînes ($R_6$) résout 10,3 % à 22,9 % des exemples que six graines d'échantillonnage manquent collectivement dans les huit cellules mathématiques à forme libre (GSM8K et MATH). Sur l'ensemble des douze cellules, cela varie de 10 % à 29 %.
• Mise à l'échelle : La récupération varie selon le budget déterministe. $R_1$ (le mode glouton seul) ne récupère que 0 à 9 %, mais l'ajout de greffes diversifiées augmente significativement la récupération, indiquant que la tranche « difficile » est accessible via plusieurs trajectoires déterministes distinctes.
• Distinction mécaniste : La récupération n'est pas pilotée par un vecteur « privilégié ». La similitude de Jaccard entre les ensembles de greffes est faible ($\le 0,47$) dans toutes les cellules, prouvant que différents types de greffes récupèrent des sous-ensembles disjoints de la strate.

(3) Mécanisme : Perturbation du flux résiduel, non reroutage de l'attention

Les auteurs étudient pourquoi les greffes réussissent. L'instrumentation du modèle Qwen-2.5-3B révèle :

• Divergence de l'état caché : Le greffage à la couche 26 provoque une divergence significative de l'état caché par rapport à la base (la distance L2 croît de manière monotone à travers les couches restantes ; la similitude cosinus reste faible).
• Stabilité de l'attention : Le greffage a un effet direct négligeable sur les poids d'attention ($\sim 10^{-5}$ de différence).
• Conclusion : Le greffage agit comme une condition initiale différente pour les blocs transformeurs restants. La passe avant du modèle ne projette pas ces perturbations sur la trajectoire de base ; au contraire, il les prolonge, verrouillant des trajectoires descendantes distinctes. Cela confirme que la tranche « difficile » est structurellement identifiable dans le flux résiduel.

(4) Utilité pratique

Les auteurs proposent deux stratégies déployables basées sur ces résultats :

1. Substitution à coût équivalent : Remplacer un passage d'échantillonnage par un greffage détermiste unique (spécifiquement le greffage de la moyenne des activations du prompt, $AVG$) couvre plus de données dans un pipeline de curation que l'utilisation de tous les passages pour l'échantillonnage dans la majorité des configurations.
2. Identification sans étiquette : Une sonde simple utilisant le désaccord entre les chaînes parmi trois chaînes (une gloutonne + deux graines d'échantillonnage) peut classer les éléments récupérables (ceux de la strate $pass@6=0$ mais solubles de manière déterministe) avec un gain de 3 à 5× sur les tâches mathématiques à forme libre, sans nécessiter d'étiquettes de vérité terrain (gold labels).

4. Signification et affirmations

L'article affirme que les estimations de difficulté dérivées de l'échantillonnage étiquettent systématiquement de manière erronée une fraction structurellement identifiable de la strate la plus difficile.

• Redéfinition de « Difficile » : L'étiquette « difficile » dans les pipelines actuels signifie souvent « non atteint sur l'axe stochastique » plutôt qu'« intrinsèquement difficile ».
• Impact sur les pipelines :
  • Construction de benchmarks : Les compartiments les plus « difficiles » dans des benchmarks comme GSM8K et MATH sont en partie des artefacts du régime de décodage, et non des propriétés des items eux-mêmes.
  • Curation de données : Les pipelines d'échantillonnage par rejet peuvent écarter des problèmes solubles en les considérant comme insolubles, gaspillant ainsi un potentiel de données d'entraînement.
  • RL et entraînement de vérificateurs : Les jeux de données de préférence construits à partir de chaînes échantillonnées héritent de cet angle mort, ne contribuant qu'à des signaux négatifs pour des items qu'une chaîne déterministe pourrait résoudre.
• Modestie des affirmations : Les auteurs précisent explicitement qu'ils ne proposent pas le greffage d'activation comme une nouvelle méthode d'inférence pour le déploiement. Il s'agit plutôt d'un outil de diagnostic pour exposer une tranche de l'espace de problèmes qui est actuellement invisible pour les métriques standards basées sur l'échantillonnage. Le modèle non modifié n'atteint pas ces éléments lors d'une inférence ordinaire ; cette tranche n'est accessible que via des interventions internes spécifiques.

5. Limites

• Récupération incomplète : Même avec huit chaînes déterministes, 66 % à 88 % de la strate $pass@6=0$ reste non récupérée. Ceux-ci peuvent être réellement difficiles ou atteignables via des axes de diversité non testés.
• Portée : L'étude est limitée à quatre modèles et trois benchmarks.
• Précision sans étiquette : Bien que le désaccord entre les chaînes puisse classer les éléments récupérables, la garantie de précision pour l'identification sans étiquette n'est pas totalement quantifiée et se dégrade sur les benchmarks à choix multiples (MMLU-Pro) en raison de l'accord par chance.
• Bruit : Sur les plus petites strates (ex: ~50 exemples), les comptes de récupération absolus sont faibles, bien que les taux restent cohérents.

En résumé, l'article démontre que les problèmes les plus « difficiles » dans les benchmarks de raisonnement mathématique sont souvent non pas intrinsèquement insolubles, mais sont simplement manqués par l'échantillonnage stochastique, un fait qui peut être révélé par des interventions déterministes sur le flux résiduel.