Auditing Generative AI Error Patterns in Applied Differential Calculus: Evidence from ChatGPT and Gemini
Cette étude descriptive-évaluative audite la performance de ChatGPT et de Gemini en calcul différentiel appliqué, révélant que bien que les deux modèles puissent exécuter des procédures isolées, ils échouent fréquemment à traduire des conditions narratives en fonctions, à gérer les contraintes de limites et à maintenir une cohérence arithmétique, suggérant ainsi que leurs solutions devraient être utilisées comme des artefacts de critique plutôt que comme des réponses incontestées dans l'enseignement.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous ayez engagé deux robots super intelligents et incroyablement bavards, ChatGPT et Gemini, pour vous aider à résoudre des énigmes mathématiques complexes sur des problèmes du monde réel. Vous leur demandez de déterminer comment maximiser les profits d'une entreprise, à quelle vitesse une particule se déplace ou jusqu'à quelle hauteur une fusée s'élèvera. Vous vous attendez à ce qu'ils soient des calculateurs parfaits, n'est-ce pas ?
Eh bien, une nouvelle étude menée par le chercheur Polemer M. Cuarto a décidé de mettre ces robots à l'épreuve. Les conclusions sont un peu comme découvrir que votre chef robot préféré sait couper les légumes parfaitement mais oublie systématiquement d'ajouter le sel, ou pire, pense que la recette demande du sucre au lieu du sel.
La découverte principale : Le piège du « Fluide mais Faussé »
L'étude a révélé que, bien que ces outils d'IA soient excellents pour effectuer les étapes mécaniques du calcul — comme calculer une dérivée ou une intégrale — ils trébuchent souvent lorsqu'ils doivent traduire une histoire en une équation mathématique ou se souvenir des conditions initiales.
Voyez cela ainsi : si vous demandez à un robot de construire une maison, il peut poser les briques (les opérations mathématiques) parfaitement. Mais s'il comprend mal votre plan et pense que vous vouliez un château au lieu d'une chaumière (le modèle mathématique), toute la maison sera fausse, peu importe la précision avec laquelle les briques sont empilées.
L'article suggère que ces outils ne sont pas des « clés de correction » fiables que l'on peut simplement copier. Ils sont plutôt à utiliser comme des partenaires d'entraînement pour trouver des erreurs. Les chercheurs soutiennent que l'aspect le plus dangereux de l'IA n'est pas qu'elle se trompe dans les calculs, mais qu'elle se trompe tout en paraissant totalement confiante et professionnelle.
Les trois grands faux pas
L'étude a examiné trois types spécifiques de problèmes, et les robots ont trébuché sur les mêmes obstacles dans chaque cas :
1. L'erreur de mélange commercial (Traduction sémantique-vers-algébrique)
Imaginez qu'un propriétaire de magasin dise : « Si je baisse le prix de 10 $, je vends 20 articles de plus. »
- La méthode de l'expert : Cela signifie que le prix baisse alors que les ventes augmentent. La pente mathématique est négative.
- La méthode de l'IA : ChatGPT et Gemini ont parfois inversé cette relation. Ils ont construit un modèle où la baisse du prix diminuait les ventes, ou ils ont totalement inversé la relation.
- Le résultat : Ils ont ensuite effectué des calculs parfaits sur un modèle erroné. C'est comme calculer l'itinéraire le plus rapide vers une destination qui n'existe pas. L'article note que dans le problème commercial, l'IA a produit une « relation de demande à pente positive », ce qui est un non-sens économique (impliquant que des prix plus élevés entraînent plus de ventes, ce qui contredit l'énoncé).
2. Le point de départ « Fantôme » (Suivi des conditions limites)
En physique, si vous lâchez une balle d'une tour de 140 pieds, vous devez vous souvenir de cette hauteur de 140 pieds.
- La méthode de l'expert : On conserve ce « 140 » dans l'équation tout au long du processus.
- La méthode de l'IA : ChatGPT a souvent simplement oublié la hauteur de départ ou l'a fixée à zéro. C'est comme si le robot regardait la balle, la voyait tomber, et décidait : « Oh, elle a dû partir du sol ! » même si vous lui avez dit qu'elle partait d'une tour.
- Le résultat : La réponse finale concernant le moment où la balle touche le sol était fausse parce que le robot résolvait un problème différent de celui que vous aviez posé.
3. Le glissement arithmétique (Vérification et contexte)
Parfois, la configuration était correcte, mais le calcul final a échoué.
- La méthode de l'IA : Gemini était capable de configurer l'équation de la fusée, mais a trébuché lors de la résolution de la formule quadratique finale (le calcul pour trouver le temps). Il a également parfois ajouté des explications étranges et non pertinentes sur la gravité qui n'étaient pas nécessaires.
- Le résultat : La réponse semblait plausible mais était numériquement fragile. L'article souligne que ces outils peuvent produire des « explications fluides mais faussées », insérant des informations non pertinentes qui distraient de l'erreur réelle.
Ce que l'article dit de NE PAS faire
Les chercheurs sont très clairs sur ce qu'il ne faut pas faire. Ils s'opposent à l'utilisation de ces outils d'IA comme une « source de réponses incontestée ».
- Ne vous contentez pas de copier la solution sous prétexte qu'elle semble soignée et contient toutes les bonnes formules.
- Ne supposez pas que parce que l'IA semble confiante, elle a raison.
- Ne pensez pas que si le chiffre final semble proche de la réalité, l'ensemble du processus est valide.
L'article exclut explicitement l'idée que ces outils soient prêts à remplacer le jugement humain en calcul infinitésimal. En fait, l'étude suggère que compter sur eux sans vérification est dangereux car les erreurs sont dissimulées derrière une présentation « polie ».
Sommes-nous certains ?
Les auteurs prennent soin de ne pas présenter cela comme un « verdict final » sur toute l'IA. Ils admettent que leur étude est basée sur un petit ensemble de problèmes spécifiques (commerce, mouvement de particules et mouvement vertical) résolus au début de 2026. Ils suggèrent que ces schémas d'erreurs sont réels et observables dans ces tâches spécifiques, mais ils ne prétendent pas avoir mesuré tous les problèmes mathématiques que l'IA pourrait un jour affronter.
Ils ont constaté que les outils montraient une « compétence procédurale partielle » (ils peuvent faire les étapes) mais une « fiabilité plus faible » dans la modélisation et la vérification. La conclusion est une suggestion forte qu'il faut changer notre façon d'enseigner les mathématiques : au lieu de demander aux étudiants de simplement « trouver la réponse », nous devrions leur apprendre à être des auditeurs mathématiques.
Le nouveau plan de bataille : Soyez le détective
Alors, quel est l'enseignement pour un étudiant curieux ?
Ne traitez pas l'IA comme un oracle magique. Traitez-la comme un étudiant qui écrit très bien mais qui réfléchit mal.
- La stratégie : Demandez à l'IA de résoudre un problème, puis jouez au détective.
- La mission : Trouvez la première étape où le robot s'est trompé. A-t-il mal compris l'histoire ? A-t-il oublié la hauteur de départ ? A-t-il raté l'arithmétique ?
- Le but : Corrigez l'erreur et expliquez pourquoi l'IA s'est trompée.
L'article suggère que cette approche d'« audit » transforme l'IA, passant de simple aide-mémoire à un puissant outil d'apprentissage. En traquant les erreurs du robot, vous apprenez réellement mieux les mathématiques qu'en les résolvant simplement par vous-même.
En résumé : les robots sont excellents pour effectuer le travail de calcul lourd, mais ils sont très mauvais pour comprendre l'histoire. C'est à vous de tenir la carte, de vérifier la boussole et de vous assurer qu'ils ne construisent pas accidentellement un château quand vous avez demandé une chaumière.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.