📄 other

Humans Disengage, Reasoning Models Persist: An Item-Controlled Dissociation in Deliberation Allocation

Cet article révèle une dissociation critique entre les humains et les grands modèles de raisonnement (LRM) dans l'allocation de la délibération : alors que les deux consacrent globalement plus de temps aux problèmes difficiles, les humains investissent moins de temps dans les éléments qu'ils échouent finalement à résoudre (abandonnant les tâches difficiles), tandis que les LRM génèrent paradoxalement des traces de raisonnement plus longues sur les problèmes où ils échouent (persistant dans l'incertitude), mettant en évidence une différence fondamentale dans les politiques d'arrêt et de contrôle malgré des similitudes de surface.

Auteurs originaux : Han-yu Wang

Publié 2026-07-23

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Han-yu Wang

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez deux étudiants différents passer un examen de mathématiques très difficile. L'un est un adolescent humain brillant, et l'autre est un programme informatique super intelligent conçu pour « réfléchir » aux problèmes étape par étape. Pendant longtemps, les scientifiques ont été fascinés par la manière dont ces deux-là se comparent. Ils ont remarqué une similitude de surface : quand un problème est complexe, l'humain comme l'ordinateur ont tendance à y passer plus de temps. C'est comme regarder le compteur de vitesse d'une voiture ; si la route devient escarpée, les deux conducteurs ralentissent pour grimper. Cette observation a conduit beaucoup de gens à croire que les ordinateurs commencent à « penser » comme les humains, en utilisant des rouages mentaux similaires pour déterminer quels problèmes sont difficiles et lesquels sont faciles.

Mais voici le rebondissement : le fait que deux conducteurs ralentissent sur la même pente ne signifie pas qu'ils conduisent de la même manière. Un conducteur peut ralentir pour négocier prudemment un virage, tandis que l'autre peut ralentir parce qu'il est confus et fixe sa carte, ne sachant plus quoi faire. La grande question dans le monde de l'intelligence artificielle et de la psychologie humaine est la suivante : comment ces penseurs décident-ils de continuer à essayer et quand abandonner ? Consacrent-ils un effort supplémentaire aux problèmes sur lesquels ils éprouvent des difficultés, ou abandonnent-ils la partie pour passer à autre chose ? Comprendre cela n'est pas seulement une question de scores en mathématiques ; il s'agit de savoir si les ordinateurs apprennent réellement à raisonner comme nous, ou s'ils se contentent de mimer l'apparence de la pensée sans posséder la même logique interne.

Le grand décalage de la « pensée »

Une nouvelle étude du chercheur Han-yu Wang lève le voile sur ce mystère et découvre un secret surprenant caché à la vue de tous. Bien que les humains et les modèles d'IA avancés de « raisonnement » s'accordent sur quels problèmes sont difficiles, ils sont en total désaccord sur ce qu'il faut faire face à eux.

Imaginez cela comme un jeu vidéo. Lorsqu'un joueur affronte un boss trop puissant, un joueur humain intelligent pourrait réaliser : « C'est trop difficile pour le moment », et décider de ne pas perdre son temps, peut-être en essayant une stratégie différente ou en passant à un autre niveau. Il se désengage. Mais l'IA, selon cette étude, fait exactement le contraire. Quand l'IA se trompe sur un problème, elle ne s'arrête pas ; elle continue, générant encore plus de texte, plus de « pensées » et plus d'étapes avant de finalement abandonner la mauvaise réponse.

La découverte fondamentale : l'écart entre le « faux » et le « vrai »
L'étude a examiné une collection massive de données où des humains et six modèles d'IA différents résolvaient les mêmes énigmes visuelles (appelées H-ARC). Les chercheurs ont mesuré deux choses :

La régression (Registration) : Étaient-ils d'accord sur les énigmes difficiles ? Oui. L'humain comme l'IA ont pris plus de temps sur les énigmes difficiles.
L'allocation : Lorsqu'ils se trompaient sur une énigme, passaient-ils plus ou moins de temps dessus par rapport à lorsqu'ils réussissaient ? Non. C'est là qu'ils divergent.

Les humains : Lorsque les humains se trompaient sur une énigme, ils y passaient moins de temps que lorsqu'ils réussissaient. Les données montrent un « Cohen's d » de -0,10. Cela suggère une stratégie d'« abandon ». Si un humain se sent bloqué, il arrête souvent de réfléchir rapidement.
Les modèles d'IA : Lorsque l'IA se trompait, elle passait significativement plus de temps. Les modèles d'IA affichaient un « Cohen's d » allant de 1,47 à 3,13. Cela signifie que l'IA continuait de produire des « pensées » (tokens) même lorsqu'elle échouait clairement.

L'article soutient qu'il ne s'agit pas d'un simple petit bug, mais d'une différence fondamentale dans leur façon de « penser ». Le schéma humain ressemble à un processus d'engagement versus abandon : nous restons sur les problèmes que nous pensons pouvoir résoudre et nous abandonnons ceux que nous ne pouvons pas. Le schéma de l'IA ressemble à une longueur liée à l'incertitude : quand l'IA est incertaine, elle continue simplement de parler, générant de longues chaînes de raisonnement, même si ce bavardage supplémentaire ne l'aide pas à trouver la bonne réponse.

Les indices de la « trace »

Pour comprendre pourquoi l'IA agit ainsi, les chercheurs ont examiné le texte réellement généré par l'IA (sa « trace de pensée »). Ils ont découvert que lorsque l'IA était sur le point de se tromper, son texte était rempli de « précautions » (hedging) et de « doute de soi ». Elle disait des choses comme « attendez, en fait », « hmm » ou « laissez-moi reconsidérer ». Elle se parlait essentiellement à elle-même, incertaine du chemin à suivre, mais elle ne s'arrêtait pas.

En revanche, lorsque les humains se trompaient rapidement, ils faisaient souvent moins de mouvements (comme moins de modifications de grille dans l'énigme), ce qui suggère qu'ils avaient déjà décidé que l'énigme ne valait pas l'effort. L'étude suggère que pour les humains, la décision de s'arrêter est un choix métacognitif intelligent. Pour l'IA, la décision de s'arrêter semble liée à une règle différente : elle continue jusqu'à épuiser son « budget » ou heurter un mur, même si elle sait (ou devrait savoir) qu'elle fait fausse route.

Ce que cela signifie (et ce que cela ne signifie pas)

L'article prend grand soin de ne pas dire que l'IA est « stupide » ou que les humains sont « parfaits ». Au lieu de cela, il suggère que l'IA et les humains ne jouent pas avec les mêmes règles.

L'IA ne manque pas nécessairement de pensée : Elle suit peut-être une règle qui dit : « Si vous êtes incertain, générez plus de texte. » Cela peut être une bonne stratégie pour certaines tâches, mais pour ces énigmes, cela mène à un effort gaspillé.
La « pensée » n'est pas la même : Le fait que l'IA produise une longue chaîne de texte qui ressemble à un raisonnement humain ne signifie pas qu'elle utilise les mêmes règles d'arrêt mental. L'étude montre que la « pensée » de l'IA ressemble davantage à un hamster courant dans une roue lorsqu'il est confus, tandis que l'humain est comme un randonneur qui décide de faire demi-tour quand le sentier devient trop escarpé.

Les chercheurs ont également testé cela sur d'autres types d'énigmes (comme la physique intuitive et le raisonnement binaire). Le schéma se confirmait : l'IA continuait de consacrer du temps supplémentaire à ses erreurs, tandis que les humains avaient tendance à y passer moins de temps. Cependant, dans un type spécifique d'énigme (Cortes), le comportement de l'IA changeait légèrement, montant que la règle de la « longueur sur l'incertitude » peut dépendre du jeu spécifique auquel on joue.

L'essentiel

Cette étude ne prouve pas que l'IA est incapable de penser ; elle prouve que l'IA et les humains allouent leur pensée différemment. La similitude de surface (les deux prenant plus de temps sur les choses difficiles) cache une différence profonde : les humains ont tendance à arrêter de réfléchir lorsqu'ils réalisent qu'ils sont bloqués, tandis que les modèles d'IA ont tendance à continuer de réfléchir (et de parler) même lorsqu'ils sont bloqués.

Les auteurs suggèrent que pour véritablement comprendre l'IA, nous devons regarder quand ils s'arrêtent, et pas seulement combien de temps ils pensent. Ils proposent une nouvelle façon de tester cela : si nous coupons prématurément la « pensée » de l'IA (troncation), nous pourrons voir si ces mots supplémentaires étaient réellement utiles ou s'ils n'étaient que du bruit. Tant que nous ne l'avons pas fait, l'article conclut que la « persistance » de l'IA sur les mauvaises réponses est le signe que sa logique interne pour décider « quand abandonner » est fondamentalement différente de la nôtre. C'est un rappel que dans la course à la construction d'une IA semblable à l'humain, nous construisons peut-être des machines qui sont très douées pour donner l'impression de penser, mais très mauvaises pour savoir quand s'arrêter.

Résumé technique : Les humains se désengagent, les modèles de raisonnement persistent

Énoncé du problème

Une question centrale de la science cognitive de la délibération est de savoir comment les agents décident quand continuer à réfléchir sur un problème et quand se désengager. Des recherches antérieures (ex. de Varda et al., 2025) ont établi un alignement « inter-items » entre les Grands Modèles de Raisonnement (LRM) et les humains : les deux systèmes génèrent des traces plus longues (tokens de raisonnement pour les LRM, temps de réaction pour les humains) sur les items qui sont objectivement plus difficiles. Cela suggère une détection de la difficulté partagée — la capacité de percevoir qu'une tâche est difficile.

Cependant, cette similitude de surface masque une divergence potentielle dans l'allocation de la délibération : comment un agent planifie-t-il le calcul après avoir détecté la difficulté, spécifiquement en relation avec son propre succès ou échec. L'article soutient que les corrélations inter-items seules ne peuvent pas distinguer un mécanisme de raisonnement partagé d'un alignement fortuit dans l'évaluation de la difficulté. Le problème central est de déterminer si les LRM et les humains allouent les ressources de délibération (temps/tokens) aux essais corrects et incorrects de la même manière lorsque l'identité de l'item est maintenue constante.

Méthodologie

L'étude emploie un cadre de diagnostic à deux niveaux utilisant des analyses conditionnées par le résultat et contrôlées par l'item, sur des jeux de données publics et anonymisés (H-ARC, INTUIT, Cortes) ainsi qu'un échantillon de six LRM de réflexion en poids ouverts (ex. DeepSeek-R1, Qwen-QwQ, gpt-oss) plus une ligne de base non-réflexive (DeepSeek-V3).

1. Diagnostic à deux niveaux

Niveau 1 : Détection de la difficulté (Inter-items) : Mesure la corrélation entre la longueur de la trace du LRM et le temps de réaction humain à travers différents items. Cela reproduit le constat selon lequel les deux systèmes s'accordent sur la difficulté des items.
Niveau 2 : Allocation de la délibération (Intra-item) : Mesure la relation entre la longueur de la délibération et la justesse au sein du même agent et au sein du même item. Ceci est la contribution novatrice. Elle pose la question : « L'agent consacre-t-il plus de délibération aux essais réussis ou ratés ? »

2. Approche statistique

Métrique : La métrique principale est le d-ratio (le d de Cohen sur le log de la délibération), calculé comme $(\bar{\ell}_{wrong} - \bar{\ell}_{right}) / s_{pooled}$ $(\overset{ˉ}{ℓ}_{w r o n g} - \overset{ˉ}{ℓ}_{r i g h t}) / s_{p oo l e d}$ .
- d positif : L'agent délibère plus longtemps sur les échecs.
- d négatif : L'agent délibère plus longtemps sur les succès.
Contrôles : Pour isoler l'allocation de la difficulté, les auteurs utilisent des régressions à effets fixes par item. Cela absorbe l'identité de l'item, garantissant que la comparaison est purement dictée par le résultat de la justesse au sein d'un même item.
Portée : L'analyse est « contrôlée par l'item » plutôt que strictement « intra-agent » dans un sens de mesures répétées, car les données publiques fournissent un seul résultat par paire (item $\times$ modèle). Le contraste est identifié à travers les modèles (et les humains) tentant le même item spécifique.

3. Sondes mécanistes

Pour interpréter la divergence comportementale, les auteurs ont analysé le contenu des traces :

Données humaines : Décomposition du temps de réaction via des « comptes d'actions » (éditions de grille) pour distinguer l'« abandon » (erreurs rapides) de l'« échec engagé » (erreurs lentes).
Données LRM : Analyse des traces de raisonnement pour les « marqueurs d'auto-doute » (hésitation/hedging), les marqueurs d'auto-correction et les taux de répétition lexicale afin de voir si des traces plus longues sont corrélées à l'incertitude.

Résultats clés

1. L'écart d'allocation (Inversion de signe)

Sur le jeu de données principal (H-ARC), une dissociation frappante émerge :

Humains : Présentent un d-ratio négatif ( $d = -0,10$ ). En contrôlant la difficulté de l'item, les humains passent moins de temps sur les essais qu'ils ratent. Cela suggère une politique d'engagement vs abandon : les humains persistent sur les items qu'ils prévoient de résoudre et se désengagent rapidement sur ceux qu'ils ne peuvent pas traiter.
LRM de réflexion : Présentent un d-ratio positif ( $d = 1,47–3,13$ ). En contrôlant la difficulté de l'item, les LRM génèrent plus de tokens sur les essais qu'ils ratent. Cela suggère une politique de longueur sur l'incertitude : le modèle génère des chaînes plus longues lorsqu'il est incertain, ce qui est précisément le moment où il tend à échouer.

2. Robustesse et généralisation

Trans-paradigme : L'inversion de signe se maintient sur INTUIT (physique intuitive), où les LRM montrent un $d > 0$ et les humains montrent un $d \approx 0$ .
Cas limite (Cortes) : Sur Cortes (raisonnement relationnel binaire), la pente intra-item des seuls LRM devient positive (opposée à H-ARC), mais l'interaction entre le type d'agent et la justesse reste significative car les humains présentent une pente positive encore plus forte. La dissociation survit, bien que la lecture du mécanisme soit plus complexe ici.
Ligne de base : Le modèle non-réflexif DeepSeek-V3 montre également une tendance à consacrer plus de tokens aux essais erronés (d-ratio positif), suggérant que ce comportement de « longueur sur l'incertitude » peut être une propriété de la génération des modèles de base sous incertitude, et non seulement une caractéristique de « raisonnement ».

3. Preuves mécanistes

Engagement humain : La pente intra-item positive pour les humains (sur les essais corrects) est médiée par les comptes d'actions. Les essais erronés rapides (abandon) comportent significativement moins d'actions que les essais erronés lents (échec engagé), soutenant l'hypothèse « engagement vs abandon ».
Incertitude des LRM : Sur H-ARC, les chaînes des essais erronés contiennent significativement plus de marqueurs d'auto-doute/hésitation. Sur Cortes, elles présentent une plus grande répétition de n-grammes et un ratio type-token plus faible. Ces marqueurs de surface suggèrent que le modèle est « bloqué » ou incertain, générant plus de tokens sans nécessairement améliorer la précision.

Contributions clés

Découplage de la détection et de l'allocation : L'article sépare deux niveaux comportementaux souvent confondus dans les comparaisons humain-modèle. Il démontre que si les LRM et les humains s'alignent sur la difficulté des items (détection), ils divergent fondamentalement sur la manière dont ils allouent les ressources à ces items (allocation).
Diagnostic contrôlé par l'item : Il introduit un diagnostic rigoureux, conditionné par le résultat, qui maintient l'identité de l'item fixe. Cela révèle que les corrélations inter-items (détection de la difficulté) sont orthogonales aux politiques de délibération intra-items.
Recadrage de l'alignement : L'article soutient que l'alignement apparent de la longueur des traces est une « similitude de surface » qui cache des politiques internes opposées. Il recadre l'alignement humain-LRM non pas comme une question de longueur de trace seule, mais comme une question de politiques d'arrêt et de contrôle.

Signification et affirmations

L'article affirme que la dissociation observée remet en question l'idée que les LRM actuels implémentent un contrôle métacognitif similaire à celui des humains.

Découplage métacognitif : Chez l'humain, la surveillance (incertitude) est couplée au contrôle (arrêt/abandon). Chez les LRM, les signatures de surveillance (hésitation, marqueurs d'incertitude) augmentent sur les essais erronés, mais elles sont faiblement couplées à l'arrêt ; le modèle continue de générer des tokens même quand l'issue est probablement incorrecte.
Interprétation de la rationalité des ressources : Le schéma humain est cohérent avec une politique de rationalité des ressources où le calcul est retiré lorsque le gain marginal attendu s'annule (abandon). Le schéma des LRM suggère une politique où des tokens supplémentaires sont alloués aux items incertains, indépendamment de leur utilité finale, optimisant potentiellement pour un objectif différent (ex. signaux d'entraînement, récompenses du vérificateur) plutôt que pour la justesse de l'item.
Changement méthodologique : Les auteurs affirment que les travaux futurs comparant les LRM à la cognition humaine doivent coupler les tests d'alignement inter-items avec des tests d'allocation intra-items. Se fier uniquement aux corrélations inter-items est insuffisant pour revendiquer des mécanismes de raisonnement partagés.

Limites : Les auteurs notent explicitement que les données sont observationnelles. Ils ne prouvent pas que les tokens supplémentaires sur les essais erronés des LRM n'ont aucune valeur causale, mais seulement que leur mode d'allocation est l'inverse du comportement humain. Ils proposent une expérience de « troncature contrôlée » comme étape suivante nécessaire pour déterminer si les tokens supplémentaires sont une « recherche utile » ou du « remplissage ». L'étude est limitée aux modèles en poids ouverts et ne teste pas les systèmes de pointe fermés.