Résumé technique : Les traces de raisonnement échouées vous disent ce qui est réparable (mais pas en les lisant)

Énoncé du problème

Lorsque les modèles de langage post-entraînés échouent sur des tâches de raisonnement, la réponse standard de déploiement est le scaling au moment de l'inférence (test-time scaling) : dépenser du calcul supplémentaire pour générer davantage de trajectoires (par exemple, Best-of-N, auto-cohérence ou simples tentatives de réessai) à partir de la même distribution du modèle. Cette approche suppose que les échecs sont principalement dus à un « échantillonnage malchanceux ». Cependant, les auteurs soutiennent que cela est inefficace et souvent futile. Certains échecs sont structurels, ce qui signifie que le modèle est verrouillé dans une trajectoire de raisonnement stable mais incorrecte, que le rééchantillonnage ne peut pas corriger. Inversement, d'autres échecs ne sont récupérables localement qu'en changeant la direction de la trajectoire (par exemple, via le pilotage des logits) plutôt qu'en la rééchantillonnant.

Les méthodes actuelles manquent de mécanisme pour distinguer ces modes d'échec lors de l'inférence. Les métriques de précision agrégées traitent tous les échecs de manière identique, ignorant le signal diagnostique contenu dans la trace échouée elle-même. La question centrale est la suivante : Étant donné qu'un modèle a déjà échoué, quelle doit être la prochaine unité de calcul ?

Méthodologie

Le papier propose un cadre de diagnostic sans entraînement, utilisé au moment de l'inférence, qui traite les traces échouées comme des objets diagnostiques. Au lieu d'analyser le contenu en langage naturel de l'échec, la méthode analyse la signature distributionnelle (structure de probabilité par jeton/logits) de la trace.

1. Classes d'opérateurs et mécanismes

Le cadre catégorise les interventions au moment de l'inférence en deux classes mécanistes basées sur leur capacité à altérer le classement local des jetons du modèle :

• Opérateurs de préservation du rang (Rank-Preserving Operators) : Ils repondèrent la distribution du spécialiste mais ne peuvent pas inverser le rang local des jetons. Les exemples incluent le Réessai (rééchantillonnage) et la mise à l'échelle de la Température Locale ($T_{loc}$). Ils ne peuvent aider que si le jeton correct était déjà présent dans le support mais supprimé par le bruit d'échantillonnage.
• Opérateurs d'inversion de rang (Natural-Parameter Operators) : Ils appliquent un mélange de logits vers un ancêtre de la lignée (checkpoint de pré-entraînement), ce qui revient à moyenner les logits plutôt qu'à moyenner les probabilités. Cela permet à un jeton de rang inférieur de devenir le mode local si l'ancêtre est en désaccord avec le spécialiste. Les exemples sont le SL-G (pilotage de logits clairsemé à une jonction détectée), le SL-R (pilotage clairsemé à une position aléatoire) et le DL (pilotage dense à chaque position).

2. Trois caractéristiques de la trajectoire

Les auteurs dérivent trois caractéristiques au niveau du problème à partir de la géométrie de la trace échouée et des classes d'opérateurs disponibles. Ces caractéristiques sont calculées à partir des déroulés échoués uniquement, sans avoir besoin des résultats des opérateurs :

1. Étendue de la déformation ($\bar{J}_{frac+}$) : La fraction des jetons de la trace présentant un signal de jonction positif (désaccord entre le spécialiste et l'ancêtre). Cela mesure à quel point l'échec est distribué.
2. Concentration de la jonction ($\bar{C}$) : Le rapport entre le pic du signal de jonction et le signal moyen ($J_{max}/J_{mean}$). Cela distingue les erreurs nettes et localisées des déformations diffuses.
3. Budget de déplacement local ($V_{t^\star}$) : L'information de Fisher (variance) du sous-modèle de température locale du spécialiste au pire point de pivot. Cela mesure la « pilotabilité » ou la marge de manœuvre disponible pour l'inversion de rang.

3. Régimes de récupérabilité

En utilisant ces trois caractéristiques, les problèmes échoués sont regroupés en quatre régimes de récupérabilité stables :

• Erreur de routage de rang (géolocale) : Pic net, haute pilotabilité. Récupérable par un pilotage de logits clairsemé à la jonction spécifique.
• Erreur de routage de rang (jonction diffuse) : Pic net, faible pilotabilité. Nécessite une élévation de la température locale pour briser le verrouillage du rang.
• Déformation distribuée : Signal large et diffus. Nécessite théoriquement un pilotage dense, bien que le pilotage clairsemé suffise empiriquement.
• Non résolu : Pas de signal dominant ; le réessai ou d'autres interventions sont insuffisants.

4. Politique de routage

Le cadre implémente une règle de routage sans entraînement. Pour un problème donné ayant échoué, les trois caractéristiques sont normalisées par z-score, et l'opérateur correspondant à la caractéristique dominante est sélectionné :

• Haute étendue de la déformation $\rightarrow$ Pilotage dense (DL)
• Haute concentration de la jonction $\rightarrow$ Pilotage clairsemé à la jonction (SL-G)
• Haut budget de déplacement local $\rightarrow$ Élévation de la température locale ($T_{loc}$)
• Repli (Fallback) : Si aucune caractéristique n'est dominante, la politique revient par défaut au pilotage clairsemé à une position aléatoire (SL-R).

Contributions clés

1. Recadrage des traces échouées : Le papier recadre les traces de raisonnement échouées non pas comme des données jetées, mais comme des objets diagnostiques qui encodent la « structure de récupérabilité » de l'échec.
2. Lent théorique : Il fournit une dérivation théorique reliant les classes d'opérateurs (préservation du rang vs inversion de rang) à des quantités géométriques mesurables dans la trace, établissant des conditions en forme close pour l'inversion de rang.
3. Canal d'audit diagnostique : Les trois mêmes caractéristiques permettent l'audit des méthodes de post-entraînement (par exemple, distinguer le SFT du RL/GRPO) uniquement à partir des déroulés échoués, sans accès aux poids d'entraînement ou aux comparaisons appariées.
4. Routage sans entraînement : Il démontre un rôle de routage actionnable en déploiement qui sélectionne la classe d'intervention appropriée en fonction de la signature de l'échec, ne nécessant aucun entraînement supplémentaire.
5. Transfert inter-familles : Les caractéristiques et les règles de routage se transfèrent aux différentes familles de modèles (Qwen3, R1-Distill, Phi-4) et aux échelles, suggérant qu'elles encodent la structure de la classe d'opérateurs plutôt que des artefacts spécifiques au modèle.

Résultats

Performance sur les problèmes difficiles pilotables (Steerable-Hard)

Les auteurs définissent les problèmes Steerable-Hard (SH) comme ceux où le réessai est insuffisant (échoue plus de 50 % du temps) mais où au moins une intervention bornée peut les sauver (bat le réessai de $\ge$ 5 points de pourcentage). Ce sous-ensemble représente le « point idéal » pour le routage.

• Gain de sauvetage (Rescue Lift) : Sur le sous-ensemble SH, la règle de routage basée uniquement sur les caractéristiques sans entraînement améliore les taux de sauvetage de +12,2 points de pourcentage (de 16,3 % à 28,5 %) par rapport au réessai seul.
• Efficacité de calcul : La politique de routage atteint le même taux de sauvetage que le réessai avec $K=50$ déroulés en utilisant seulement $K=10$ déroulés plus une seule intervention, représentant une amélioration Pareto significative de la courbe précision-calcul.
• Coût global : La politique maintient un coût global proche de zéro (taux de sauvetage moyen sur tous les échecs) car elle ne redirige le calcul que sur le sous-ensemble spécifique où il est efficace, tout en revenant par défaut à un repli sûr (SL-R) pour les cas ambigus.

Audit et généralisation

• Audit de post-entraînement : La distribution des régimes des traces échouées distingue avec succès les méthodes de post-entraînement SFT et RL (GRPO) avec une précision de 84,3 % (±4,3 %), récupérant le contraste « le SFT mémorise, le RL généralise » uniquement à partir de la topographie des échecs au moment de l'inférence.
• Transfert inter-familles : La règle de routage entraînée sur Qwen3 se transfère efficacement aux modèles R1-Distill et Phi-4, identifiant correctement R1-Distill comme ayant une signature de « effondrement du support » (Déformation Distribuée) et Phi-4 comme ayant une signature de type SFT.

Signification et affirmations

Le papier affirme que les statistiques de trajectoire au moment de l'inférence sont un axe sous-utilisé pour comprendre et corriger la dégradation post-entraînement. Sa signification réside dans trois domaines :

1. Précision diagnostique : Il dépasse les métriques binaires de succès/échec pour identifier pourquoi un modèle a échoué, classant les échecs en régimes spécifiques aux opérateurs.
2. Actionnabilité de déploiement : Il fournit un mécanisme pratique et sans entraînement pour router le calcul dynamiquement. Au lieu de dépenser aveuglément plus de jetons pour des réessais, le système diagnostique le type d'échec et applique l'intervention spécifique (pilotage ou température) la plus susceptible de réussir.
3. Fondement théorique : L'approche n'est pas un ajustement empirique mais est dérivée des propriétés géométriques du mélange de logits et de l'inversion de rang, offrant une manière fondée pour comprendre les limites de différentes interventions au moment de l'inférence.

Les auteurs sont modestes quant à la portée, notant que le cadre s'applique aux tâches ayant une structure géométrique localisable (raisonnement, code, mathématiques) et pourrait ne pas s'appliquer à la génération ouverte où la variance des logits est élevée partout. Ils reconnaissent également que bien que la règle de routage fonctionne bien au niveau de la population, prédire l'opérateur gagnant pour un seul cas spécifique de problème reste un défi.