🤖 AI

Measuring AI Reasoning: A Guide for Researchers

Ce papier soutient que l'évaluation du raisonnement des IA doit passer d'une dépendance exclusive à l'exactitude de la réponse finale à une approche fondée sur le processus qui évalue la fidélité et la validité des traces de raisonnement intermédiaires, car la recherche adaptative et multi-étapes est structurellement distincte des passes avant uniques et essentielle pour diagnostiquer le comportement des modèles.

Auteurs originaux : Munachiso Samuel Nwadike, Zangir Iklassov, Kareem Ali, Rifo Genadi, Kentaro Inui

Publié 2026-05-06

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Munachiso Samuel Nwadike, Zangir Iklassov, Kareem Ali, Rifo Genadi, Kentaro Inui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Ne notez pas seulement la réponse

Imaginez un élève passant un test de mathématiques. Depuis des années, les enseignants ne regardent que le nombre final écrit dans la case pour décider si l'élève est intelligent. Si la réponse est « 42 », l'élève obtient un A. Si c'est « 43 », il obtient un E.

Ce document soutient que c'est une façon terrible de mesurer le « raisonnement ».

Pourquoi ? Parce qu'un élève peut obtenir « 42 » pour trois raisons très différentes :

Mémorisation : Il a vu exactement ce problème sur une feuille d'exercices la semaine dernière et s'est simplement souvenu de la réponse.
Devinettes / Correspondance de motifs : Il a remarqué que chaque fois que la question contient le mot « pomme », la réponse est généralement « 42 », alors il a deviné.
Vrai raisonnement : Il a réellement fait les calculs, étape par étape, pour trouver la solution.

Si vous ne regardez que la réponse finale, vous ne pouvez pas faire la différence entre un génie qui a fait le travail et un tricheur qui a mémorisé la clé. Les auteurs disent que nous devons arrêter de noter uniquement la case finale et commencer à noter le travail montré sur le brouillon.

Les trois niveaux de « intelligence »

Le document décompose la façon dont l'IA (et les humains) résolvent des problèmes en trois niveaux distincts. Imaginez-les comme différentes façons d'arriver à une destination :

1. Mémorisation (La méthode « Flashcard »)

C'est quoi : L'IA voit une question qu'elle a déjà vue et recrache la réponse stockée dans sa mémoire.
L'analogie : C'est comme un perroquet répétant une phrase entendue à la télévision. Il ne comprend pas le sens ; il sait juste que quand vous dites « Quelle est la capitale de la France ? », il doit dire « Paris ».
Le problème : Si vous posez la question au perroquet à l'envers (« Paris est la capitale de quel pays ? »), il pourrait être confus. Il ne réfléchit pas ; il récupère simplement un fichier.

2. Compréhension (La méthode « Intuition »)

C'est quoi : L'IA relie les points en se basant sur des motifs qu'elle a vus des millions de fois. Elle ne fait pas un calcul étape par étape, mais utilise des associations de « bon sens » pour obtenir la bonne réponse.
L'analogie : Imaginez que vous sentiez de la fumée et pensiez immédiatement « incendie ». Vous n'avez pas fait une analyse scientifique de la combustion ; votre cerveau a simplement reconnu un motif. L'IA fait cela avec les mots. Elle voit « gens » et « foule » et sait qu'ils vont ensemble.
Le problème : Cela fonctionne pour les questions faciles, mais cela échoue lorsque le problème nécessite une longue chaîne de logique complexe que l'IA n'a jamais vue auparavant.

3. Raisonnement (La méthode « Détective »)

C'est quoi : C'est ce que le document dit que nous voulons réellement mesurer. C'est un processus de recherche. L'IA doit faire un pas, vérifier si c'est juste, faire un autre pas, peut-être revenir en arrière, et continuer jusqu'à trouver la solution.
L'analogie : C'est comme un détective résolvant une énigme. Il ne peut pas simplement deviner le meurtrier. Il doit examiner l'alibi, vérifier l'arme, interroger le témoin et réaliser qu'une pièce à conviction ne correspond pas, alors il revient en arrière et essaie un chemin différent. Le chemin qu'il emprunte dépend des indices qu'il trouve en cours de route.
La clé : Le document soutient que le vrai raisonnement est adaptatif. Vous ne savez pas combien d'étapes cela prendra tant que vous n'avez pas commencé. Certains casse-têtes prennent 3 étapes ; d'autres en prennent 30.

Le problème de la « Boîte noire »

Les auteurs soulèvent un obstacle technique majeur. Les modèles d'IA modernes sont comme des boîtes noires qui tentent de résoudre un problème en un seul bond géant (un « passage avant unique »).

La limitation : Imaginez essayer de résoudre un labyrinthe en sautant du départ à l'arrivée en un seul bond géant. Vous ne pouvez pas le faire si le labyrinthe change pendant que vous avancez.
La réalité : Les architectures d'IA actuelles sont conçues pour être rapides et parallèles (faire beaucoup de choses à la fois). Elles ont du mal à faire le travail de « s'arrêter et réfléchir » nécessaire au raisonnement complexe, car elles ne peuvent pas facilement décider quand s'arrêter ou quelle étape entreprendre ensuite sans regarder en avant.

La solution : Pistes externalisées
Pour résoudre cela, le document suggère que nous forçons l'IA à parler à voix haute pendant qu'elle réfléchit. Cela s'appelle « externaliser la trace de raisonnement » (souvent appelé « Chaîne de pensée »).

L'analogie : Au lieu que l'IA chuchote simplement la réponse à l'enseignant, nous lui donnons un tableau blanc. Elle doit écrire chaque étape : « D'abord je vais faire ça... oh attendez, c'est faux, essayons ça... »
Pourquoi cela aide : Maintenant, les chercheurs peuvent regarder le tableau blanc. Ils peuvent voir si l'IA a réellement fait le travail de détective, ou si elle a simplement écrit une histoire fictive pour paraître intelligente.

Deux nouvelles règles pour la notation

Le document propose que si nous allons regarder le « tableau blanc » (la trace de raisonnement), nous devons le noter sur deux points spécifiques, et pas seulement sur le fait que la réponse finale est juste.

1. Fidélité (Est-ce qu'elle dit la vérité ?)

Le problème : Parfois, une IA écrit une histoire belle et logique sur le tableau blanc, mais elle a en réalité deviné la réponse en premier et a simplement inventé l'histoire pour correspondre.
Le test : Si vous changez une étape de l'histoire (par exemple : « Et si le nombre était 5 au lieu de 3 ? »), la réponse finale change-t-elle ? Si la réponse reste la même, l'histoire était fausse. Le raisonnement n'était pas « fidèle » à la réponse.
L'objectif : Nous voulons que l'histoire cause réellement la réponse, et non qu'elle la décore simplement.

2. Validité (La logique est-elle solide ?)

Le problème : L'IA peut être honnête (elle a vraiment utilisé les étapes pour obtenir la réponse), mais les étapes peuvent être fausses.
Le test : Les calculs sont-ils justes ? La logique tient-elle debout ?
L'objectif : Nous voulons que les étapes soient factuellement et logiquement correctes, et pas seulement plausibles.

Le piège de la « contamination »

Le document met en garde contre la contamination des données. Cela se produit lorsque l'IA a accidentellement « triché » en mémorisant les questions du test pendant son entraînement.

L'analogie : Imaginez un élève qui a accidentellement vu la clé des réponses avant l'examen. Il obtient 100 %. A-t-il appris la matière ? Non.
Le point du document : De nombreux benchmarks d'IA célèbres sont « contaminés ». L'IA ne raisonne pas ; elle se souvient simplement de la clé des réponses. Cela rend l'IA plus intelligente qu'elle ne l'est. La seule façon de déceler cela est d'examiner la trace de raisonnement. Si la trace est courte et répétitive, c'est probablement de la mémorisation. Si c'est une recherche longue et adaptative, c'est probablement un vrai raisonnement.

Résumé

Le document est un guide pour les chercheurs disant : « Arrêtez de simplement compter combien de réponses sont justes. Commencez à regarder comment l'IA y est arrivée. »

Ne regardez pas seulement le score final (Précision).
Regardez le brouillon (Traces de raisonnement).
Vérifiez si le brouillon est honnête (Fidélité).
Vérifiez si le brouillon est correct (Validité).

En faisant cela, nous pouvons faire la différence entre une IA qui « réfléchit » vraiment et une qui n'est qu'un très bon imitateur.

Résumé technique : Mesurer le raisonnement de l'IA : Un guide pour les chercheurs

Énoncé du problème

Les évaluations actuelles des modèles de langage de grande taille (LLM) reposent de plus en plus sur des benchmarks de « raisonnement » (par exemple, MMLU, GSM8K, AIME, ARC-AGI) où les progrès sont mesurés principalement par la précision de la réponse finale (par exemple, pass@1, correspondance exacte). Les auteurs soutiennent que cette métrique est un proxy insuffisant et sous-déterminé du raisonnement. Une haute précision peut être atteinte par des mécanismes qui n'impliquent pas de véritable raisonnement, tels que :

Mémorisation : Récupération exacte de tokens de faits ou de définitions déjà vus.
Compréhension : Associations au niveau des tokens et complétion de motifs sans recherche déductive explicite.
Contamination des données : Lorsque des éléments de benchmark apparaissent dans les données de pré-entraînement, les modèles peuvent régresser vers une « mémoire musculaire » ou une interpolation plutôt que vers un calcul adaptatif.

De plus, la précision de la réponse finale ne permet pas de diagnostiquer comment un modèle arrive à une solution, rendant difficile la distinction entre un véritable raisonnement multi-étapes et l'exploitation de raccourcis. En outre, les architectures évolutives standard (comme les Transformers) sont structurellement limitées dans l'exécution de calculs de profondeur variable et dépendants de l'entrée au sein d'un seul passage avant, pourtant les méthodes d'évaluation actuelles obscurcissent souvent cette limitation en se concentrant uniquement sur les résultats.

Méthodologie et cadre théorique

Le papier propose un passage d'une évaluation basée sur les résultats à une évaluation basée sur le processus, fondée sur une définition spécifique du raisonnement et une analyse formelle des limites computationnelles.

1. Définir le raisonnement comme une recherche adaptative

Les auteurs définissent le raisonnement non pas comme une mapping statique entrée-sortie, mais comme un processus de recherche.

Formalisation : Le raisonnement est modélisé comme une séquence de transitions d'état $s_1 = f_1(x), s_2 = f_2(s_1), \dots, s_k = f_k(s_{k-1})$ .
Caractéristique clé : Le choix de la fonction de transition suivante et le temps d'arrêt $k$ doivent tous deux être dépendants de l'entrée. La profondeur du calcul doit s'adapter à la difficulté de l'instance spécifique.
Distinction par rapport à la compréhension/mémorisation :
- Mémorisation : Récupération exacte de séquences de tokens.
- Compréhension : Associations locales et complétion de motifs (par exemple, « personnes » $\to$ « zones peuplées ») sans chaîne déductive de longueur variable.
- Raisonnement : Nécessite des étapes intermédiaires sélectionnées séquentiellement en fonction des états précédents jusqu'à ce qu'une condition d'arrêt soit remplie.

2. Limites structurelles des architectures à profondeur fixe

Le papier soutient que les architectures évolutives standard (Transformers, SSM de type Mamba) opérant dans un seul passage avant sont limitées à des circuits de profondeur fixe (tombant en dehors de la classe de complexité $TC^0$ pour une profondeur illimitée). Elles ne peuvent pas implémenter nativement un arrêt dépendant de l'entrée ou une recherche de profondeur variable sans mécanismes externes. Par conséquent, le raisonnement « interne » (états latents) est souvent inaccessible ou structurellement contraint par les compromis de parallélisme, ce qui en fait une interface médiocre pour l'évaluation.

3. La nécessité de traces externalisées

Pour surmonter les limitations architecturales et permettre l'évaluation, les auteurs préconisent des traces de raisonnement externalisées.

Définition : Étapes intermédiaires explicites (texte, symboles, journaux d'outils) produites par le modèle qui sont observables et inspectables.
Justification : L'externalisation permet la vérification du processus de recherche, permettant aux chercheurs d'évaluer si le modèle effectue réellement le calcul adaptatif requis plutôt que de deviner ou de se souvenir.

Contributions clés

Le papier offre cinq contributions principales au domaine de l'évaluation de l'IA :

Définition du raisonnement orientée évaluation : Il formalise le raisonnement comme un calcul adaptatif multi-étapes (recherche) où la profondeur et la structure dépendent de l'entrée. Cela ancre la nécessité de preuves de processus dans l'établissement de benchmarks.
Plaidoyer pour les traces externalisées : Il soutient que les traces externalisées (incluant mais non limitées à la Chaîne de Pensée en langage naturel) constituent l'interface supérieure pour l'évaluation basée sur le processus, car elles exposent des états intermédiaires qui peuvent être vérifiés, comparés et validés.
Nouvelles cibles d'évaluation (Fidélité et Validité) : Il propose deux métriques principales pour l'évaluation du raisonnement :
- Fidélité : Si la trace reflète les informations intermédiaires réelles sur lesquelles le modèle s'est appuyé pour parvenir à la réponse (couplage causal).
- Validité : Si les étapes intermédiaires sont logiquement correctes et cohérentes avec les règles du domaine du problème.
Analyse comparative : Il oppose l'évaluation basée sur le processus à d'autres points de vue, tels que la mesure du raisonnement via des états internes latents (jugée irréalisable pour les modèles boîte noire), le rejet des traces externalisées en raison d'un manque de fidélité (contesté en montrant que la fidélité est un objectif de recherche, et non un prérequis), et l'exigence de modèles du monde (contesté pour les domaines en monde clos comme les mathématiques et la logique).
Taxonomie des capacités : Il fournit une lentille d'organisation distinguant la Mémorisation, la Compréhension et le Raisonnement, en mettant spécifiquement en évidence comment la contamination des données peut provoquer un « effondrement » où des tâches de raisonnement prévues sont résolues via des régimes plus faibles (compréhension ou mémorisation).

Résultats et constatations

Le papier ne présente pas de nouveaux résultats expérimentaux sur des modèles spécifiques, mais synthétise la littérature existante pour étayer ses arguments théoriques :

Loterie des benchmarks et sensibilité : La précision varie fortement entre des tâches apparentées, et les scores agrégés masquent l'hétérogénéité.
Exploitation de raccourcis : Des études montrent que les modèles peuvent atteindre une haute précision via la contamination des données ou des raccourcis spécifiques aux benchmarks sans compréhension profonde.
Limites architecturales : Des travaux théoriques (par exemple, Merrill & Sabharwal) confirment que les circuits de profondeur fixe ne peuvent pas généraliser à des étapes de recherche illimitées et dépendantes de l'entrée, rendant nécessaire un décodage intermédiaire (traces) pour simuler un calcul de Turing complet.
Problèmes de fidélité : Bien que les traces puissent être infidèles (rationalisation a posteriori), des travaux récents démontrent que la fidélité peut être améliorée grâce à des objectifs d'entraînement spécifiques et des tests basés sur l'intervention, plutôt que d'être un défaut inhérent de la méthode.

Importance et revendications

Le papier se positionne comme un guide pour les chercheurs afin de modifier fondamentalement la manière dont le raisonnement est mesuré. Son importance réside dans :

Puissance diagnostique : Aller au-delà de la précision « boîte noire » pour permettre le débogage de défaillances et de succès spécifiques du raisonnement.
Redéfinition du progrès : Affirmer que le vrai progrès du raisonnement ne consiste pas seulement à obtenir la bonne réponse, mais à le faire par le biais d'un processus de recherche fidèle, valide et adaptatif.
Standardisation : Proposer un système concret de Niveaux de Preuve pour la publication :
- Niveau 0 : Résultat uniquement (preuve faible).
- Niveau 1 : Trace présente mais non vérifiée.
- Niveau 2 : Trace vérifiée (mesure de la validité et de la fidélité).
Protocole pratique : Fournir un cadre pour que les créateurs de benchmarks publient des générateurs d'instances, des vérificateurs et des formats d'artefacts structurés afin de rendre l'évaluation basée sur le processus la norme plutôt que l'exception.

Les auteurs concluent que traiter la fidélité et la validité des traces de raisonnement comme des critères centraux, plutôt que comme des préoccupations d'interprétabilité auxiliaires, est essentiel pour mesurer avec précision les capacités de raisonnement des systèmes d'IA de pointe.