Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks

Cette étude révèle que les outils d'intelligence artificielle, qu'ils soient généralistes ou dédiés à l'éducation, peinent à classer avec précision la demande cognitive des tâches mathématiques en raison d'une tendance systématique à privilégier les caractéristiques textuelles de surface au détriment des processus cognitifs sous-jacents, ce qui limite leur fiabilité pour soutenir la planification pédagogique des enseignants.

L'essentiel

Voici une explication simple de cette étude, imagée comme si nous parlions d'un nouveau robot cuisinier dans une cuisine scolaire.

🍳 Le Contexte : Des chefs épuisés et un nouveau robot

Imaginez que les enseignants sont des chefs cuisiniers surmenés. Leur travail n'est pas seulement de servir le plat (enseigner), mais de préparer les ingrédients (adapter les leçons) pour que chaque élève puisse les manger et les comprendre.

Le problème ? Ils n'ont pas le temps. Ils doivent transformer des recettes complexes (des exercices de mathématiques) pour les rendre accessibles, tout en s'assurant qu'elles restent "nourrissantes" pour le cerveau (ce qu'on appelle la demande cognitive).

C'est là qu'intervient l'Intelligence Artificielle (IA). Les chercheurs se sont demandé : "Si on donne une recette de cuisine à un robot (l'IA), peut-il nous dire si ce plat est simple (juste de la farine et de l'eau) ou complexe (un soufflé au fromage qui demande de la technique) ?"

🔍 L'Expérience : Le test des 11 robots

Les chercheurs ont pris 11 robots (des outils d'IA) :

• 6 robots "généralistes" (comme ChatGPT, Claude, Gemini) qui savent tout faire.
• 5 robots "spécialistes" (comme Khanmigo, Magic School) qui sont censés être des experts en éducation.

On leur a donné 12 exercices de mathématiques (les "recettes") et on leur a demandé de les classer selon 4 niveaux de difficulté, en utilisant un guide de référence très strict (le "TAG").

📉 Les Résultats : Le robot est souvent "moyen"

Le verdict est sans appel : Les robots ne sont pas encore prêts à travailler seuls.

1. La note globale : En moyenne, les robots ont eu raison 63 % du temps. C'est mieux que le hasard (comme deviner au pile ou face), mais loin de la perfection. Pour un chef, ce serait comme si un assistant vous disait "c'est cuit" alors que la viande est encore crue.
2. Le mythe du spécialiste : Les robots "spécialistes pour l'éducation" n'ont pas été meilleurs que les robots "généralistes". Le robot le plus performant était d'ailleurs un généraliste (DeepSeek), mais même lui n'a pas dépassé 83 % de réussite.
3. Le piège du "Moyen" : C'est le résultat le plus drôle et le plus inquiétant. Les robots ont une manie de la moyenne.
   • Quand un exercice était très facile (juste apprendre par cœur) ou très difficile (résoudre un problème complexe et créatif), les robots avaient peur de trancher.
   • Ils ont tendance à dire : "Hum, ce n'est ni trop simple, ni trop dur, c'est probablement 'moyen'."
   • C'est comme un client qui, face à un menu, commande toujours le plat du jour par peur de choisir un plat trop épicé ou trop fade. Ils évitent les extrêmes.

🕵️‍♂️ Pourquoi les robots se trompent-ils ?

En regardant de plus près leurs erreurs, les chercheurs ont découvert deux problèmes majeurs :

• Ils lisent la couverture, pas le livre : Les robots se fient trop aux mots qu'ils voient à la surface. Si un exercice contient le mot "procédure" ou "formule", ils pensent automatiquement que c'est facile. Ils ne comprennent pas ce que l'élève doit faire dans sa tête.
  • Analogie : C'est comme si un robot jugeait un film d'horreur comme un film comique simplement parce qu'il y a un mot "rire" dans le scénario, sans comprendre l'ambiance réelle.
• Ils donnent de fausses bonnes raisons : Quand un robot se trompe, il donne souvent une explication qui semble très intelligente et logique. Un enseignant débutant pourrait être trompé par cette "fausse sagesse".
  • Exemple : Un exercice demandait de créer une équation pour un problème réel (très difficile). Le robot a dit : "C'est facile, il y a une méthode standard". Il a manqué l'essentiel : l'élève devait inventer la méthode, pas juste l'appliquer.

💡 La Conclusion : Le robot est un assistant, pas un patron

Cette étude nous dit deux choses importantes :

1. Ne confiez pas tout au robot : Si vous utilisez l'IA pour classer vos exercices de mathématiques sans vérifier, vous risquez de donner aux élèves des tâches trop faciles ou trop difficiles, car le robot va souvent "lisser" les extrêmes vers le milieu.
2. L'humain reste indispensable : L'expertise de l'enseignant est irremplaçable. L'IA peut être un assistant de cuisine qui épluche les légumes ou suggère des idées, mais c'est le chef (l'enseignant) qui doit goûter le plat et décider s'il est prêt à être servi.

En résumé : L'IA est un outil prometteur, mais pour l'instant, elle est un peu comme un élève de primaire très intelligent qui a lu beaucoup de livres mais qui n'a jamais vraiment cuisiné. Elle peut aider, mais elle ne doit jamais remplacer le jugement de l'expert humain.

Résumé technique

1. Problématique et Contexte

Les enseignants font face à une charge de travail croissante, notamment dans l'adaptation des curriculums mathématiques pour répondre aux besoins individuels des élèves tout en maintenant une rigueur pédagogique. La demande cognitive d'une tâche mathématique est un déterminant clé de l'apprentissage : les tâches exigeant une compréhension conceptuelle profonde favorisent un apprentissage plus robuste que celles se limitant à la mémorisation ou à l'application procédurale.

Cependant, identifier et modifier les tâches pour ajuster leur niveau de demande cognitive requiert une expertise pédagogique et du temps, deux ressources rares. Bien que l'intelligence artificielle (IA) soit envisagée pour alléger cette charge, il existe un manque de données empiriques sur la capacité des outils d'IA actuels à évaluer avec précision la demande cognitive des matériaux d'instruction, une tâche fondamentale pour la planification pédagogique.

2. Méthodologie

Échantillon de Tâches

Les chercheurs ont sélectionné 12 tâches mathématiques représentatives des quatre niveaux de demande cognitive définis par le Task Analysis Guide (TAG) de Stein et Smith (1998), un cadre validé par la recherche :

1. Mémorisation (Faible demande)
2. Procédures sans connexions (Faible demande)
3. Procédures avec connexions (Haute demande)
4. Faire des mathématiques (Haute demande)

Chaque catégorie comprenait trois exemples de tâches, allant de la conversion simple de fractions à des problèmes contextualisés complexes nécessitant une modélisation.

Outils Évalués

L'étude a testé 11 outils d'IA :

• 6 outils à usage général : ChatGPT, Claude, DeepSeek, Gemini, Grok, Perplexity.
• 5 outils spécifiques à l'éducation : Brisk, Coteach AI, Khanmigo, Magic School, School.AI.

Procédure Expérimentale

• Approche « Boîte noire » (Out-of-the-box) : Les chercheurs ont utilisé un prompt standardisé unique pour tous les outils, sans ingénierie de prompt avancée ni optimisation. L'objectif était d'évaluer la performance de base que les enseignants obtiendraient avec une requête simple.
• Prompt : « Sur la base du guide TAG téléchargé, déterminez si la tâche mathématique est à haute ou basse demande cognitive. Fournissez un raisonnement détaillé et un tableau d'analyse. »
• Analyse des erreurs : Une analyse qualitative approfondie a été menée sur les erreurs de classification, en codant le raisonnement de l'IA pour vérifier s'il correspondait aux critères du TAG (score de 0 à 3).

3. Résultats Principaux

Précision Globale

• La précision moyenne de classification des outils d'IA était de 62 %, nettement supérieure au hasard (25 %), mais insuffisante pour une utilisation autonome fiable en contexte éducatif.
• Aucun outil n'a dépassé 83 % de précision.
• Aucune différence significative n'a été observée entre les outils éducatifs spécialisés et les outils à usage général (63 % vs 61 %). L'outil le plus performant était DeepSeek (généraliste) avec 83 %, suivi de Coteach (éducatif) avec 75 %.

Biais de Classification

• Biais vers les catégories intermédiaires : Les outils ont systématiquement classé la majorité des tâches (77 % des classifications totales) comme « Procédures avec/sans connexions », négligeant les extrêmes.
• Difficultés aux extrêmes :
  • Les tâches de Mémorisation ont été correctement identifiées à seulement 44 % (souvent confondues avec des procédures simples).
  • Les tâches de Faire des mathématiques (la catégorie la plus complexe) ont été correctement identifiées à seulement 27 % (souvent dégradées vers « Procédures avec connexions »).
  • La tâche la plus difficile (Task K) n'a été correctement classée que par un seul outil (9 % de précision globale).

Analyse des Erreurs et Raisonnement

• Biais vers les caractéristiques de surface : Les outils sur-pondéraient les mots-clés explicites (ex: « algorithme », « procédure », « montrer votre travail ») plutôt que d'analyser les processus cognitifs sous-jacents.
• Raisonnement incomplet : Même lorsque la classification finale était correcte, le raisonnement fourni par l'IA était souvent partiel ou incorrect selon les critères du TAG. Les outils ignoraient rarement les dimensions pertinentes, mais les interprétaient mal.
• Exemple critique : Pour une tâche complexe (Task F vs Task G), les outils ont souvent échoué à distinguer qu'une instruction prescrivant une méthode (« établissez une proportion ») réduisait la demande cognitive, contrairement à une instruction ouverte (« expliquez votre décision »).

4. Contributions Clés

1. Évaluation de référence (Baseline) : Cette étude fournit la première évaluation systématique des capacités des outils d'IA actuels (généralistes et éducatifs) à analyser la demande cognitive des tâches mathématiques.
2. Identification des limites structurelles : Elle démontre que les modèles actuels souffrent d'un biais de tendance centrale et d'une incapacité à raisonner sur la nuance entre l'application mécanique d'une procédure et la compréhension conceptuelle.
3. Analyse fine du raisonnement : L'étude va au-delà de la simple précision binaire pour analyser la qualité du raisonnement de l'IA, révélant que les explications générées peuvent être persuasives mais pédagogiquement erronées, ce qui pose un risque pour les enseignants novices.

5. Signification et Implications

• Pas encore prêts pour une utilisation autonome : Avec une précision de ~62 %, les outils d'IA ne peuvent pas remplacer l'expertise humaine dans l'évaluation de la demande cognitive. Leur utilisation autonome dans la planification des cours est risquée.
• Rôle d'appui à la décision : Les outils peuvent servir de systèmes d'aide à la décision pour signaler des tâches à réviser ou fournir des classifications préliminaires, à condition qu'elles soient vérifiées par un enseignant.
• Nécessité d'ingénierie de prompt : Les performances actuelles sont basées sur des prompts simples. Des recherches futures suggèrent que l'utilisation de few-shot learning (exemples dans le prompt), de chaînes de pensée (chain-of-thought) et de rubriques optimisées pourrait améliorer significativement la précision.
• Sélection des outils : Le choix de l'outil est crucial, car les performances varient considérablement (de 50 % à 83 %).
• Perspectives futures : L'étude appelle à des recherches sur l'amélioration des prompts, l'itération avec l'humain (feedback en boucle), et l'agrégation de prédictions de plusieurs outils (ensemble methods) pour augmenter la fiabilité.

En conclusion, bien que l'IA montre un potentiel pour soutenir les enseignants, elle ne possède pas encore la finesse pédagogique nécessaire pour évaluer de manière fiable la complexité cognitive des tâches mathématiques sans supervision humaine stricte.