🤖 machine learning

Real-Time Progress Prediction in Reasoning Language Models

Cet article examine la faisabilité de la prédiction en temps réel de l'avancement dans les modèles de langage de raisonnement en démontrant que les états cachés encodent des informations sur l'avancement et que des modèles affinés peuvent générer des estimations précises de l'avancement, les modèles plus grands présentant une plus grande stabilité des étiquettes en raison d'une réduction de la variation de la longueur de la solution restante.

Auteurs originaux : Hans Peter Lyngsøe Raaschou-Jensen, Constanza Fierro, Anders Søgaard

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hans Peter Lyngsøe Raaschou-Jensen, Constanza Fierro, Anders Søgaard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandiez à un robot très intelligent, mais légèrement bavard, de résoudre un problème mathématique complexe. Au lieu de vous donner la réponse immédiatement, le robot commence à « réfléchir à voix haute », écrivant une longue chaîne de pensées avant de finalement dire : « La réponse est 2220. »

Le problème ? Pendant que le robot réfléchit, cela peut prendre 10 secondes ou 10 minutes. Vous n'avez aucune idée de combien de temps il reste. C'est comme regarder un film où l'écran est noir, et vous ne savez pas si vous êtes à 10 % de l'intrigue ou à 90 %. Vous devez simplement attendre et espérer.

Cet article pose la question suivante : Pouvons-nous apprendre au robot à nous dire, en temps réel, où il en est ? Comme une barre de progression lors du téléchargement d'une vidéo, mais pour le processus de réflexion du robot.

Voici comment les chercheurs ont tenté de résoudre ce problème, en utilisant des analogies simples :

1. Le test de « lecture de pensée » (états cachés)

D'abord, les chercheurs se sont demandé si le cerveau du robot (ses « états internes cachés ») savait déjà où il en était, même s'il ne le disait pas à voix haute.

L'analogie : Imaginez que le robot marche dans un labyrinthe sombre. Même s'il ne peut pas voir la sortie, peut-être que ses pas (les données internes) ont un rythme qui nous indique à quel point il est proche de la fin.
L'expérience : Ils ont construit un simple « décodeur » (une sonde linéaire) pour écouter les pensées internes du robot.
Le résultat : Le décodeur pouvait deviner la progression environ 30 % du temps. Ce n'était pas parfait, mais cela a prouvé que le robot porte effectivement une certaine notion de « jusqu'où je suis allé » dans son cerveau, même si elle est un peu floue.

2. L'entraînement de la « barre de progression » (affinement)

Puisque le robot avait une certaine notion cachée de la progression, les chercheurs ont décidé de l'entraîner à la dire à voix haute. Ils ont appris au robot à insérer un petit tag comme <progressbar> 45 % </progressbar> à chaque fois qu'il terminait un bloc de réflexion.

L'analogie : C'est comme apprendre à un marathonien de s'arrêter à chaque kilomètre et de crier : « Je suis à 40 % ! » afin que la foule sache quand applaudir.
Le défi : Si vous dites simplement à un robot « dis 45 % », il pourrait tricher. Il pourrait réaliser que s'il dit « 45 % » au 100e mot, il devrait probablement dire « 50 % » au 110e mot, simplement en comptant les mots, sans vraiment comprendre les mathématiques.
La solution : Ils ont utilisé une technique de « masquage ». Pendant l'entraînement, ils ont parfois caché les rapports de progression précédents du robot. Cela a forcé le robot à regarder le problème mathématique réel pour deviner sa progression, plutôt que de simplement compter le nombre de mots qu'il avait tapés jusqu'à présent.

3. Les résultats : À quel point le robot était-il bon ?

Les chercheurs ont testé cela sur des problèmes mathématiques.

Le meilleur robot : Le modèle plus grand (QWEN3-4B) est devenu assez bon dans ce domaine. Sa « barre de progression » était erronée d'environ 16 % en moyenne (par exemple, s'il disait 50 %, il était en réalité entre 34 % et 66 % terminé).
La comparaison : Cela était mieux que de simplement deviner en fonction de la durée habituelle du problème.
L'inconvénient : Apprendre au robot à parler de sa progression l'a parfois rendu légèrement moins bon pour résoudre réellement les problèmes mathématiques. C'est un compromis : un robot excellent pour vous dire quand il a terminé pourrait être légèrement plus lent pour faire le travail.

4. Le problème du « futur brumeux » (ambiguïté)

Les chercheurs ont également remarqué quelque chose d'intéressant sur la nature de la réflexion.

L'analogie : Imaginez que vous écrivez une histoire. Au point médian, vous pourriez penser : « Je suis presque fini. » Mais ensuite, vous décidez d'ajouter un nouveau personnage, et soudain l'histoire doit être deux fois plus longue. Votre point de « moitié » était faux car l'avenir était incertain.
La découverte : Parce que la réflexion du robot est un peu aléatoire (il peut emprunter un chemin différent vers la réponse), la « vraie » progression est parfois floue. Cependant, les robots plus grands et plus intelligents (QWEN3-4B) étaient moins flous. Ils étaient plus cohérents dans la durée de leurs chemins, rendant leurs barres de progression plus fiables.

Résumé

L'article montre que nous pouvons apprendre aux modèles d'IA à nous donner une « barre de progression » en temps réel pendant qu'ils réfléchissent.

Cela a-t-il fonctionné ? Oui, les modèles ont appris à estimer leur progression avec une précision raisonnable.
Est-ce parfait ? Non. Parfois, le robot se trompe parce que le chemin vers la réponse peut changer, ou parce qu'il compte simplement les mots au lieu de réfléchir.
Pourquoi cela importe-t-il ? Cela aide les humains à savoir quand arrêter d'attendre et quand s'attendre à une réponse, transformant une « boîte noire » de réflexion en quelque chose que nous pouvons observer de l'intérieur.

Les chercheurs concluent que bien que la technologie fonctionne, elle reste une boule de cristal imparfaite, et les meilleurs résultats proviennent de modèles plus grands et plus intelligents, moins susceptibles de changer d'avis sur la durée d'une tâche.

Résumé technique : Prédiction en temps réel de la progression dans les modèles de langage de raisonnement

Énoncé du problème

Les modèles de langage de raisonnement récents (Reasoning LMs), en particulier ceux utilisant de longues chaînes de pensée latentes (CoT), ont démontré de solides performances sur des tâches agentiques complexes. Cependant, à mesure que ces modèles opèrent sur des horizons temporels de plus en plus longs, leur progression interne devient opaque pour les utilisateurs. Cette opacité crée des défis majeurs pour l'interaction utilisateur, spécifiquement concernant la gestion des attentes et la surveillance en temps réel. Les utilisateurs ne peuvent pas facilement déterminer combien de temps une tâche prendra ou si le modèle effectue une progression réelle vers une solution. Bien que certains travaux antérieurs tentent d'imposer des budgets de raisonnement fixes, cette stratégie échoue lorsque le budget requis ne peut être déduit de la requête seule, conduisant potentiellement à une terminaison prématurée ou à des réponses incorrectes.

La question centrale abordée est de savoir si les Reasoning LMs encodent des informations sur leur distance computationnelle restante jusqu'à une réponse finale au sein de leurs états cachés, et si cette information peut être exploitée pour une prédiction de la progression en temps réel.

Méthodologie

Les auteurs emploient une approche à deux volets : le probing diagnostique de modèles existants et le fine-tuning supervisé (SFT) pour générer des rapports de progression explicites.

1. Probing Diagnostique (Analyse des états cachés)

Pour déterminer si l'information de progression est intrinsèquement encodée dans les représentations du modèle, les auteurs ont entraîné des sondes linéaires sur des états cachés intermédiaires.

Jeu de données : Environ 25 000 traces de raisonnement mathématique issues d'OpenR1-Math.
Étiquetage : La progression du raisonnement a été discrétisée en 10 intervalles (0–10 %, 11–20 %, ..., 91–100 %) basée sur la position normalisée du token ( $k/m$ ) au sein d'une trace de longueur $m$ .
Architecture de la sonde : Deux types de sondes linéaires ont été entraînés :
- $f_{token}$ : Prédit le créneau de progression à partir de l'état caché du token courant.
- $f_{q+token}$ : Prédit à partir de la concaténation de l'état courant et des états cachés des $n=2$ tokens précédents.
Évaluation : La performance a été mesurée à l'aide de la précision top-1 et de l'erreur absolue moyenne (MAE) sur des données intra-domaine et sur des traces longues hors distribution (OOD) (>16K tokens).

2. Fine-tuning Supervisé (Rapport de progression explicite)

Les auteurs ont investigué si une supervision explicite pouvait améliorer l'estimation de la progression en entraînant des modèles à émettre directement des pourcentages de progression au sein du CoT.

Construction des données : Des traces d'OpenR1-Math ont été augmentées avec des tokens <progressbar> X% </progressbar> insérés après des segments de paragraphe. La valeur de progression $a_i$ a été calculée comme le nombre cumulé de tokens du segment par rapport à la longueur totale de la trace.
Variantes d'entraînement :
- SFT standard : Les modèles ont été affinés en utilisant LoRA avec une perte d'entropie croisée, en surpondérant les tokens au sein des annotations de progression.
- Plan de masquage : Pour empêcher les modèles de s'appuyer sur le espacement régulier des marqueurs plutôt que sur le contenu du raisonnement, un plan de masquage a été appliqué où les annotations de progression précédentes étaient masquées aléatoirement pendant l'entraînement (plan cosinus de 0 à 0,5).
Modèles évalués : DEEPSCALER-1.5B, QWEN3-0.6B et QWEN3-4B.
Lignes de base : Des comparaisons ont été faites avec des lignes de base basées sur la position des tokens (Longueur moyenne globale, Longueur moyenne/médiane de la tâche) et une ligne de base « Marqueur précédent » qui extrapole à partir des rapports antérieurs.

3. Analyse de l'ambiguïté intrinsèque

Pour quantifier l'incertitude inhérente aux étiquettes de progression, les auteurs ont mesuré la dispersion des valeurs de progression à travers plusieurs continuations stochastiques issues du même préfixe partiel.

Métrique : Déviation absolue moyenne (MAD) et déviation absolue moyenne en pourcentage (MAPD) des valeurs de progression réalisées ( $g_{i,\ell}$ ) à travers $r=8$ continuations échantillonnées.

Résultats clés

Encodage dans l'état caché

Les sondes linéaires ont démontré que les états cachés contiennent des informations corrélées à la position normalisée de la trace, bien que ce signal ne soit pas purement sémantique.

Précision : Les sondes ont atteint des précisions significativement supérieures au hasard (10 %), avec les meilleurs résultats intra-domaine atteignant ~35,9 % (QWEN3-4B, couche intermédiaire).
Généralisation : La performance a chuté significativement sur les traces longues OOD, indiquant une difficulté de généralisation en longueur.
Interprétation : Les auteurs notent que ces résultats servent de « diagnostic de représentation » plutôt que de preuve concluante d'un suivi sémantique de la progression, car les étiquettes sont dérivées de la position des tokens ( $k/m$ ).

Performance du rapport de progression

Les modèles affinés ont appris avec succès à générer des estimations de progression, la performance variant selon la taille du modèle et la stratégie d'entraînement.

Meilleure performance : Le checkpoint QWEN3-4B masqué a obtenu les résultats les plus forts, avec un MAE de 0,161 sur les traces de raisonnement mathématique et 0,157 sur l'ensemble hors domaine BBEH (Big-Bench Extra Hard).
Effet du masquage : Le masquage a généralement amélioré la qualité de la prédiction de la progression (MAE plus faible) mais a parfois entraîné un compromis avec la précision de la tâche en aval. Par exemple, le QWEN3-4B masqué avait une précision macro légèrement inférieure sur les benchmarks mathématiques par rapport à sa contrepartie non masquée, mais une estimation de progression nettement meilleure.
Comparaison avec les lignes de base : Sur les benchmarks mathématiques, les meilleurs checkpoints de progression-SFT ont surpassé les lignes de base basées sur la position des tokens dans l'ensemble. Cependant, sur BBEH, des lignes de base simples basées sur la longueur étaient hautement compétitives, suggérant que les estimations de progression hors domaine peuvent reposer lourdement sur des régularités structurelles plutôt que sur un raisonnement sensible au contenu.

Ambiguïté intrinsèque

L'étude a quantifié le « bruit » inhérent au raisonnement stochastique.

Dispersion : QWEN3-4B a présenté la dispersion de déploiement la plus faible (MAD = 0,027), suivi de DEEPSCALER-1.5B (0,059) et QWEN3-0.6B (0,065).
Corrélation : Le modèle avec la dispersion la plus faible (QWEN3-4B) a également obtenu le MAE de prédiction le plus bas. Cela suggère que les modèles plus grands peuvent rendre les étiquettes de progression plus stables en réduisant la variation de la longueur de la solution restante.
Écart : Le MAE observé reste supérieur à la dispersion intrinsèque (MAD), indiquant que si la stochasticité explique une partie de l'erreur, il reste une marge d'amélioration dans les algorithmes d'estimation.

Importance et revendications

L'article revendique quatre contributions principales :

Visibilité en temps réel : Il introduit un cadre pour la prédiction de la progression en temps réel dans les Reasoning LMs, offrant une solution potentielle à l'opacité des longues trajectoires de raisonnement.
Preuve de représentation : Il démontre que les modèles de raisonnement encodent des informations liées à la progression dans leurs représentations internes, comme en témoigne le succès des sondes linéaires.
Intégration directe : Il montre que le rapport de progression peut être directement intégré au processus de génération via SFT, le checkpoint masqué QWEN3-4B atteignant un MAE de 0,161 sur les traces mathématiques.
Quantification de l'ambiguïté : Il quantifie l'ambiguïté intrinsèque des étiquettes de progression en mesurant la dispersion des déploiements, constatant que les modèles plus grands (QWEN3-4B) produisent des estimations de progression plus stables en raison d'une variation réduite des longueurs de solution restantes.

Les auteurs adoptent une position modeste, reconnaissant que les signaux de progression sont souvent liés à la position des tokens et aux régularités de la longueur de la trace plutôt qu'à une compréhension purement sémantique. Ils notent que si les rapports de progression sont analysables et alignés numériquement hors domaine, leur interprétation doit être relative aux contrôles structurels. L'étude est limitée à trois modèles compacts et principalement au raisonnement mathématique, la performance de prédiction se dégradant sur des traces plus longues que la distribution d'entraînement.