Humans Disengage, Reasoning Models Persist: Separating Difficulty Registration from Deliberation Allocation

Résumé technique : Les humains se désengagent, les modèles de raisonnement persistent

Énoncé du problème
Des travaux récents (de Varda et al., 2025) ont établi un alignement de surface entre les Grands Modèles de Raisonnement (LRM) et les humains : les deux systèmes génèrent des traces de raisonnement plus longues (ou prennent plus de temps) sur les éléments difficiles. Cet « alignement inter-items » suggère que les LRM enregistrent la difficulté de manière similaire aux humains. Cependant, cette corrélation entre les items confond deux processus cognitifs distincts : l'enregistrement de la difficulté (classer les items par niveau de difficulté) et l'allocation de la délibération (décider de la quantité de calcul à consacrer à un item spécifique une fois sa difficulté connue).

L'article soutient que les corrélations inter-items sont insuffisantes pour revendiquer une similitude mécaniste car elles ne révèlent pas comment un agent planifie son calcul par rapport à ses propres succès et échecs. Plus précisément, on ignore si les LRM, comme les humains, allouent plus d'efforts aux items qu'ils prévoient de résoudre (engagement) ou s'ils allouent l'effort sur la base d'un signal différent, tel que l'incertitude, même lorsque cet effort mène à l'échec.

Méthodologie
L'étude introduit un diagnostic à deux niveaux pour séparer l'enregistrement de l'allocation, en utilisant un corpus public apparié humain–LRM à travers trois paradigmes de raisonnement : H-ARC (abstraction visuelle), INTUIT (physique intuitive) et Cortes (raisonnement relationnel binaire).

1. Enregistrement de la difficulté (Sonde 1) : Les auteurs répliquent l'analyse inter-items, en corrélant la longueur de la trace de raisonnement du LRM avec le temps de réaction (RT) humain sur les items.
2. Allocation de la délibération (Sonde 2) : L'innovation centrale est un diagnostic conditionné par le résultat et contrôlé par l'item. Les auteurs se demandent : Étant donné un item fixe, l'agent consacre-t-il plus de délibération aux essais réussis qu'aux essais erronés ?
   • Métrique : Le rapport $d$ intra-agent, défini comme le $d$ de Cohen sur le logarithme du temps de délibération (secondes pour les humains, jetons/tokens pour les LRM) entre les essais faux et les essais justes : $d = (\bar{\ell}_{faux} - \bar{\ell}_{juste}) / s_{regroupé}$.
   • Contrôles : Pour isoler l'allocation de la difficulté, l'analyse utilise des effets fixes d'item (absorbant l'identité de l'item) et des régressions contrôlées par la difficulté. Cela garantit que la comparaison se fait strictement au sein du même item, empêant les gradients de difficulté inter-items de fausser le résultat.
   • Normalisation : La délibération est mesurée dans l'échelle native de chaque agent (secondes vs jetons) ; les magnitudes absolues ne sont jamais comparées directement.
   • Modèles : Six LRM de réflexion en poids ouverts (ex. DeepSeek-R1, Qwen-QwQ, gpt-oss) et une ligne de base non-réflexive (DeepSeek-V3) sont comparés à des échantillons humains appariés.

Résultats clés
L'étude révèle une dissociation entre l'enregistrement et l'allocation :

• Enregistrement (Alignement) : Les LRM de réflexion et les humains s'accordent sur quels items sont difficiles. La longueur de la trace du LRM est positivement corrélée au RT humain à travers les items (Spearman $\rho = 0,16–0,30$), répliquant de Varda et al. (2025).
• Allocation (Divergence) : Une fois l'identité de l'item fixée, les deux systèmes présentent des politiques d'allocation opposées :
  • Humains : Présentent un rapport $d$ négatif ou proche de zéro ($d = -0,10$ sur H-ARC). Les humains passent moins de temps sur les essais qu'ils ratent, ce qui est cohérent avec une stratégie d'engagement contre abandon : ils persistent sur les items qu'ils espèrent résoudre et se désengagent (abandonnent) sur ceux qu'ils ne peuvent résoudre.
  • LRM de réflexion : Présentent un rapport $d$ positif important ($d = 1,47–3,13$ sur H-ARC). Les LRM utilisent plus de jetons sur les essais qu'ils ratent. Cela suggère une politique de longueur sur l'incertitude : les chaînes s'allongent quand le modèle est incertain, ce qui est précisément le moment où il tend à échouer.
  • Ligne de base non-réflexive : Le modèle non-réflexif DeepSeek-V3 présente également un rapport $d$ positif sur certaines tâches, suggérant que l'expansion de la longueur sous l'effet de l'incertitude peut être une propriété de la génération de base plutôt qu'une politique d'allocation de « raisonnement » spécifique, bien que les modèles de réflexion montrent des effets plus marqués.
• Contenu de la trace : À l'intérieur des traces des LRM, les essais erronés contiennent des densités plus élevées de marqueurs de doute de soi (ex. « attendez », « hmm ») sur H-ARC et une répétition lexicale plus élevée sur Cortes, soutenant l'interprétation que la longueur est pilotée par l'incertitude plutôt que par une recherche productive.

Contributions

1. Décomposition conceptuelle : L'article sépare formellement l'enregistrement de la difficulté de l'allocation de la délibération, démontant que l'alignement inter-items n'implique pas des politiques d'arrêt partagées.
2. Nouveau diagnostic : Il introduit le rapport $d$ conditionné par le résultat et contrôlé par l'item comme un test nécessaire pour l'alignement humain–LRM dans le contrôle métacognitif.
3. Constat empirique : Il révèle que si les LRM et les humains s'accordent sur ce qui est difficile, ils divergent fondamentalement sur la manière de répondre à cette difficulté. L'alignement apparent dans les travaux antérieurs masquait une politique d'allocation opposée.

Signification et affirmations
L'article affirme que la dissociation observée remet en question la vision selon laquelle les LRM implémentent un contrôle métacognitif semblable à celui de l'humain.

• Découplage métacognitif : Les résultats suggèrent que dans les LRM de réflexion actuels, la surveillance de l'incertitude (signalée par l'hésitation ou la longueur) est déconnectée du contrôle de l'arrêt. Les humains utilisent la surveillance pour filtrer l'effort (abandonnant les essais à faible valeur), tandis que les LRM semblent continuer à générer des jetons lorsqu'ils sont incertains, indépendamment du rendement décroissant sur la précision.
• Interprétation de la rationalité des ressources : Sous un cadre de rationalité des ressources, le schéma humain est cohérent avec une règle d'arrêt qui retire l'effort lorsque le gain marginal attendu disparaît. Le schéma des LRM implique soit un échec de la condition de gain attendu sur les caractéristiques spécifiques de l'item, soit un objectif d'optimisation différent de la précision de la tâche (ex. préférences conditionnées par la longueur).
• Changement méthodologique : Les auteurs soutiennent que la future modélisation cognitive des LRM doit coupler les tests d'enregistrement inter-items avec des tests d'allocation intra-items. Se fier uniquement aux corrélations inter-items est insuffisant pour revendiquer une similitude mécaniste.

Limites et directions futures
Les auteurs précisent explicitement que leurs conclusions sont observationnelles et ne prouvent pas la valeur causale des jetons supplémentaires. Ils ne prétendent pas que les LRM sont « irrationnels », mais qu'ils implémentent une politique de rationalité des ressources différente. L'article propose la troncation contrôlée de l'inférence comme étape suivante nécessaire pour distinguer la « longueur sur l'incertitude » (où la troncation ne nuirait pas à la précision) de la « recherche utile » (où la tronction dégraderait la performance), un test qui n'a pas été réalisé dans cette étude. Le champ d'application est limité aux modèles en poids ouverts et à des jeux de données spécifiques, et la lecture « engagement contre abandon » est une interprétation de signatures comportementales, et non une observation directe de l'architecture interne.