💬 NLP

Thinking Hard, Not Smart: Reasoning Models Fail to Ration Test-Time Compute Across Questions

Cet article introduit un cadre d'évaluation de type examen révélant que les modèles de raisonnement actuels échouent à allouer stratégiquement un budget partagé de calcul au moment de l'inférence entre plusieurs questions, se comportant plutôt comme des solveurs séquentiels gourmands qui privilégient l'ordre de présentation au détriment de la difficulté ou de la valeur de la question.

Auteurs originaux : Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

Publié 2026-08-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes assis dans une bibliothèque géante et de haute technologie où les livres sont écrits par des ordinateurs super intelligents appelés « modèles de raisonnement ». Ces ordinateurs sont incroyables pour résoudre des énigmes, mais ils ont une étrange particularité : plus l'énigme est difficile, plus ils « réfléchissent » avant de répondre. Ce processus de réflexion coûte quelque chose appelé « calcul » (compute), qui est comme une réserve limitée d'énergie ou une limite de temps stricte lors d'un examen. Les scientifiques savent depuis longtemps que si l'on donne à l'ordinateur plus de temps pour réfléchir sur un seul problème difficile, il s'améliore. Mais une nouvelle question a surgi : que se passe-t-il lorsque vous donnez à l'ordinateur une pile entière de problèmes différents, mais avec une seule limite de temps partagée pour toute la pile ? L'ordinateur peut-il décider quels problèmes valent la peine qu'il dépense son énergie, ou se contente-t-il de foncer à travers eux dans l'ordre où ils apparaissent, gaspillant son temps sur les faciles et tombant en panne de carburant avant même d'avoir vu les difficiles ? C'est le grand mystère que les chercheurs tentent de résoudre, car si ces ordinateurs intelligents ne peuvent pas gérer leur propre énergie à travers un groupe de tâches, ils pourraient échouer dans des situations réelles où ils doivent jongler avec de nombreuses missions à la fois.

Cet article, intitulé « Thinking Hard, Not Smart » (Réfléchir intensément, pas intelligemment), explore précisément ce problème. Les chercheurs ont mis en place un « examen » numérique pour plusieurs des modèles de raisonnement les plus avancés au monde. Au lieu de donner à chaque question sa propre limite de temps, ils ont donné à l'examen entier un budget partagé de « jetons de réflexion » (une unité d'effort informatique). L'examen comprenait des questions de difficultés variées, certaines valant plus de points que d'autres, et les modèles devaient déterminer comment répartir leur énergie limitée pour obtenir le score total le plus élevé. Les résultats ont été un peu choquants : les modèles n'ont pas réussi à agir comme des candidats stratégiques. Au lieu de sauter une question difficile et peu rémunératrice pour économiser de l'énergie pour une question facile et riche en points, ils se sont comportés comme un étudiant gourmand qui lit simplement les questions de haut en bas. Ils ont consacré énormément d'efforts aux premières questions, s'épuisant souvent avant même d'arriver à la fin de la copie, peu importe le nombre de points que les questions suivantes valaient.

L'étude a révélé que ces modèles sont des stratèges « aveugles à la position ». Ils ne semblent pas se soucier du fait qu'une question soit étiquetée « Difficile » ou « Facile », ou qu'elle vaille 20 points ou 5. Ils suivent principalement l'ordre dans lequel les questions sont présentées. Si une question est en première position, ils déversent toute leur énergie dedans ; si elle est en dernière position, ils l'ignorent souvent complètement. Les chercheurs ont testé cela en mélangeant l'ordre des questions et en changeant leurs valeurs de points, mais les modèles ne se sont pas adaptés. Même lorsque les chercheurs ont donné aux modèles une consigne spéciale leur disant de « planifier à l'avance » et de « répartir judicieusement », les modèles n'ont pas changé leurs habitudes ; ils ont simplement réparti ce manque de stratégie de manière un peu plus uniforme. L'article suggère que, bien que ces modèles deviennent meilleurs pour « réfléchir intensément » sur un seul problème, ils n'ont pas encore appris à « réfléchir intelligemment » sur quels problèmes méritent d'être étudiés.

Pour rendre cela plus clair, imaginez que vous avez un sac à dos avec une limite de poids stricte de 10 livres, et que vous êtes à un marché aux puces avec 20 articles. Certains articles sont lourds mais valent beaucoup d'argent (haute valeur, coût élevé), d'autres sont légers mais valent très peu (faible valeur, faible coût), et certains sont lourds mais sans valeur. Un acheteur intelligent examinerait toute la liste, choisirait les articles qui offrent le meilleur « rapport valeur/poids », et remplirait son sac pour obtenir le plus d'argent possible. Mais ces modèles d'IA ont agi comme un acheteur qui attrape simplement le premier article qu'il voit, puis le deuxième, puis le troisième, les fourrant dans le sac jusqu'à ce que le sac soit trop lourd pour être soulevé. Au moment où ils atteignaient le fond de la file, ils n'avaient plus de place pour les meilleures affaires. Les chercheurs ont constaté qu'à mesure que le nombre de questions (ou d'articles) passait de 5 à 20, les modèles devenaient moins capables de couvrir toute la liste. Par exemple, avec 20 questions, les modèles n'ont effectué un travail sérieux sur seulement 4 à 8 d'entre elles, laissant le reste totalement inexploité.

L'article a également examiné si les modèles réagissaient à la difficulté des questions. Il s'avère qu'ils passent effectivement plus de temps sur les questions difficiles, mais seulement après les avoir déjà commencées. Ils ne regardent pas une question difficile en se disant : « Ça a l'air dur, je vais passer mon chemin pour économiser de l'énergie pour plus tard. » Au contraire, ils s'y lancent, réalisent que c'est difficile, et continuent jusqu'à ce qu'ils tombent à court d'énergie. C'est ce que les auteurs appellent une pensée « réactive » plutôt que « prospective ». Ils sont bons pour résoudre un problème une fois qu'ils l'ont commencé, mais mauvais pour décider quels problèmes commencer en premier lieu.

Il est intéressant de noter que les chercheurs ont testé cela à la fois sur des problèmes mathématiques et sur des problèmes de programmation, et les résultats étaient les mêmes. Que la tâche consistât à résoudre une équation ou à écrire un programme informatique, les modèles se sont comportés comme un train sur une voie fixe : ils avançaient, une question à la fois, jusqu'à ce que le carburant s'épuise. Ils ne changeaient pas de voie pour atteindre les arrêts plus faciles ou plus précieux. L'étude conclut que cette capacité à gérer un budget partagé à travers plusieurs tâches est une compétence distincte qui fait actuellement défaut aux modèles. Ils savent comment réfléchir intensément, mais ils n'ont pas encore compris comment rationner leur réflexion. Ce n'est pas qu'un simple petit bug ; cela suggère qu'à mesure que nous demanderons à ces modèles d'accomplir des tâches plus complexes et multi-étapes, nous devrons peut-être leur enseigner un nouveau type de « métacognition » — la capacité de réfléchir à leur propre façon de réfléchir et de gérer leurs ressources, et non pas seulement de résoudre l'énigme qui se trouve devant eux.

Résumé Technique : Penser Dur, Pas Intelligemment

Énoncé du Problème

Les modèles de langage de raisonnement actuels exploitent de plus en plus le calcul au moment de l'inférence (test-time compute) pour améliorer les performances sur des problèmes individuels. Cependant, les évaluations existantes évaluent généralement ces modèles question par question, en attribuant un budget indépendant à chaque cas. Cette configuration ne parvient pas à capturer une contrainte critique du déploiement en conditions réelles : l'allocation de budget global. Lorsque plusieurs problèmes sont en compétition pour un budget d'inférence unique et fini (par exemple, une limite de jetons ou une contrainte de latence), le modèle doit prendre des décisions stratégiques sur la manière de distribuer ses ressources de calcul. Il doit déterminer quels problèmes valent la peine d'être tentés, quand sauter ou différer certains problèmes, et quel effort investir dans chacun pour maximiser le score total.

L'article postule que si les modèles peuvent être capables de « penser dur » sur un problème unique, ils manquent de contrôle métacognitif pour « penser intelligemment » à travers un ensemble de problèmes concurrents. Plus précisément, il n'est pas clair si les modèles peuvent estimer la valeur d'une question par rapport à son coût et ajuster dynamiquement leur stratégie de raisonnement pour optimiser l'utilité globale, à l'instar de la résolution d'un problème de sac à dos (knapsack problem) où les poids (coûts) ne sont pas explicitement connus.

Méthodologie

Cadre d'Évaluation : Le Cadre de l'« Examen »

Les auteurs introduisent un cadre d'évaluation de type examen pour sonder l'allocation de budget partagé.

Tâche : Un modèle se voit présenter $N$ questions simultanément, chacune ayant une valeur de points visible ( $v_i$ ).
Contrainte : Le modèle reçoit un budget unique de $B$ jetons de raisonnement pour l'ensemble de l'examen.
Objectif : Maximiser le score total (somme des points pour les questions correctement répondues).
Mécanisme : Le modèle génère une trace de raisonnement unique pour l'ensemble de l'examen. Le prompt n'impose pas d'ordre spécifique. Après la phase de raisonnement, le modèle est interrogé pour fournir les réponses finales basées sur la trace.

Jeu de Données et Construction

Source : Les expériences primaires utilisent Omni-MATH (Gao et al., 2024).
Variables : Les examens sont construits avec $N \in \{5, 10, 20\}$ questions.
Schémas de Notation : Pour tester la sensibilité à la valeur, les auteurs font varier les attributions de points :
- Fixe : Toutes les questions valent 10 points.
- Aléatoire : Scores de 1 à 15, indépendants de la difficulté.
- Aligné : Les questions plus difficiles reçoivent des scores plus élevés.
- Inversé : Les questions plus faciles reçoivent des scores plus élevés.
Ordre : Les questions sont présentées dans des ordres aléatoires, ascendant par difficulté, ou descendant par difficulté pour découpler la position de présentation de la difficulté intrinsèque.

Modèles Évalués

L'étude couvre une gamme de modèles à poids ouverts et de modèles de pointe (frontier models) :

Poids Ouverts : DeepSeek-R1-Distill-Qwen (7B, 14B) et Qwen3 (8B, 14B, 32B).
Modèles API : DeepSeek-V4 Flash et Pro (versions preview).
Généralisation : Les résultats sont validés sur un domaine de raisonnement de code via CRUXEval-O.

Métriques

Pour analyser le comportement d'allocation, les auteurs définissent :

Effort de Jetons ( $t_i$ ) : Le nombre total de jetons de raisonnement attribués à la question $i$ .
Ensemble de Travail ( $W$ ) : Questions recevant un effort substantiel (défini comme $\ge 200$ jetons ou $\ge 2$ segments de raisonnement).
Ordre de Résolution : La séquence dans laquelle les questions de $W$ sont traitées de manière substantielle, déterminée par le centroïde pondéré par les jetons des segments de raisonnement.
Analyse de Corrélation : Les corrélations de Spearman sont calculées entre les comportements d'allocation (effort, ordre) et les signaux (position de présentation, difficulté, valeur de points). Des corrélations partielles sont utilisées pour contrôler les facteurs de confusion entre position et difficulté.

Principaux Résultats

1. Allocation Séquentielle, Non Stratégique

Les modèles se comportent largement comme des résolveurs séquentiels gourmands plutôt que comme des allocateurs stratégiques.

Dominance de la Position : Le prédicteur le plus fort de l'effort et de l'ordre de résolution est la position de présentation. Les modèles priorisent les questions selon l'ordre dans lequel elles apparaissent dans le prompt.
Négligence des Questions Ultérieures : À mesure que le nombre de questions ( $N$ ) augmente, le raisonnement se concentre de plus en plus sur le début de l'examen. La corrélation entre la position de présentation et l'effort de jetons est fortement négative ( $\rho \approx -0,48$ à $N=20$ ), tandis que la corrélation entre la position et l'ordre de résolution est fortement positive ( $\rho \approx +0,68$ ).
Insensibilité à la Valeur : Les modèles montrent une sensibilité négligeable aux valeurs de points indiquées. La corrélation entre l'effort/l'ordre et les valeurs de points reste proche de zéro dans toutes les conditions.

2. Gestion de la Difficulté Réactive, Non Proactive

Les modèles ne parviennent pas à allouer proactivement plus de calcul aux questions difficiles avant de les tenter.
Bien que les questions plus difficiles reçoivent plus de jetons, il s'agit d'un effet réactif : une fois qu'un modèle entre dans une question difficile, il continue de raisonner jusqu'à ce que le budget soit épuisé ou que le problème soit résolu. Cet effet s'affaiblit à mesure que le budget se resserre (c'est-à-dire quand $N$ augmente), suggérant que les modèles ne peuvent pas identifier préemptivement les problèmes à coût élevé pour les sauter ou les différer.

3. La Pression Budgétaire Amplifie l'Échec

Réduction de la Couverture : À mesure que la longueur de l'examen augmente, la fraction de questions recevant un effort substantiel (couverture) chute de manière monotone. Pour $N=20$ , la couverture tombe à environ 40 % pour les modèles ouverts et aussi bas que 23 % pour les modèles API.
Taux de Zéro-Jeton : Une fraction significative de questions (jusqu'à 69 % pour DSV4-F à $N=20$ ) ne reçoit aucun jeton de raisonnement, indiquant qu'elles sont effectivement ignorées.

4. Les Prompts de Planification Ne Résolvent Pas le Problème

Les instructions explicites demandant de « planifier l'allocation » ou de « considérer la difficulté et le coût » améliorent la couverture (les modèles tentent plus de questions) mais échouent à induire une priorisation consciente de la valeur.
Les modèles suivent toujours l'ordre de présentation et n'adaptent pas leur stratégie lorsque les valeurs ou les difficultés des questions sont réordonnées ou réévaluées.

5. Généralisation au Raisonnement de Code

Les mêmes schécompes comportementaux (résolution pilotée par la position, insensibilité à la valeur) s'étendent aux tâches de raisonnement de code sur CRUXEval-O, indiquant qu'il s'agit d'une limitation fondamentale des architectures de raisonnement actuelles plutôt que d'un artefact spécifique à un domaine.

Contributions

Cadre d'Évaluation : L'article introduit un cadre contrôlé de type « examen » pour étudier le raisonnement à budget partagé, se distinguant des évaluations conventionnelles par question.
Analyse Basée sur les Traces : Il fournit une analyse granulaire, basée sur les traces, de l'effort de raisonnement réalisé et de l'ordre de résolution, révélant l'écart entre la capacité de raisonnement au niveau de l'objet et le contrôle stratégique.
Preuve Empirique : Il établit que les modèles de raisonnement actuels, malgré leur capacité à résoudre des problèmes complexes individuellement, ne parviennent pas à faire preuve du contrôle métacognitif requis pour allouer le calcul de manière stratégique entre des tâches concurrentes.

Signification et Revendications

L'article conclut que l'allocation de budget global est une capacité distincte qui n'est pas capturée par les évaluations conventionnelles. Les auteurs soutiennent que les modèles actuels « savent comment penser dur sur la question devant eux, mais pas comment décider quelle question mérite d'être abordée ».

Les conclusions suggèrent que le simple fait de passer à l'échelle les modèles de raisonnement ou d'améliorer les performances par question ne suffira pas pour les scénarios avec des ressources globales finies. L'incapacité à rationner le calcul stratégiquement — spécifiquement l'échec à prioriser en fonction de la valeur et la tendance à concentrer l'effort en début de processus sans tenir compte de la valeur des questions — représente un goulot d'étranglement majeur pour le déploiement des modèles de raisonnement dans des environnements à contraintes de coût ou multi-tâches. L'article ne propose pas de solution, mais souligne cela comme un défi critique et non adressé pour le domaine.