Analyzing Undergraduate Problem-Solving in Physics Through Interaction With an AI Chatbot

Imaginez un cours de physique comme une immense salle de sport bruyante où des étudiants essaient d'apprendre à jongler avec des tronçonneuses lourdes. Depuis des décennies, les enseignants savent que les experts (les pros) et les débutants (les novices) ne se contentent pas de jongler différemment ; ils pensent différemment. Les pros possèdent une carte secrète dans leur tête qui les aide à planifier leurs mouvements, à vérifier leur équilibre et à s'ajuster en plein vol. Mais dans une salle de classe traditionnelle, l'enseignant ne peut voir que le résultat final : la tronçonneuse a-t-elle touché le sol ou non ? Le processus de pensée désordonné et invisible qui s'est produit avant la chute reste un mystère. C'est un problème majeur car si vous ne pouvez pas voir comment un étudiant réfléchit, vous ne pouvez pas l'aider à corriger sa carte.

Entrez le nouveau coach : l'Intelligence Artificielle (IA). Ne voyez pas l'IA comme un robot qui donne simplement des réponses, mais comme un tuteur « socratique » — un mot savant pour désigner un coach qui ne vous donne jamais la réponse, mais qui vous pose les questions parfaites pour vous aider à la trouver par vous-même. C'est comme un GPS qui refuse de dire « tournez à gauche », mais qui demande plutôt : « Voyez-vous le panneau de signalisation pour la rue Main Street ? ». Cette approche est conçue pour construire la propre carte mentale de l'étudiant. La grande question pour les scientifiques est la suivante : ce coach IA aide-t-il réellement les étudiants à mieux jongler, et pouvons-nous apprendre quelque chose sur leur façon de penser simplement en écoutant les questions qu'ils posent au coach ?

---

Dans cette étude, des chercheurs de l'Université Purdue ont décidé de tester ce coach IA dans une véritable salle de sport de physique. Ils ont mis en place un chatbot personnalisé pour 150 étudiants de première année en sciences suivant un cours difficile de mécanique. Au lieu de simplement distribuer des devoirs, le chatbot agissait comme un assistant d'enseignement humain. Il présentait un scénario complexe : un casse-croûte humain lancé par un ressort géant, et l'étudiant devait déterminer si l'artiste franchirait un mur de 15 pieds. Le piège ? Le chatbot ne résoudrait pas le problème pour lui. Il demanderait : « Quel est votre plan ? » ou « Quelles données avons-nous ? » et attendrait la réponse de l'étudiant.

Les chercheurs voulaient savoir deux choses. Premièrement, comment les étudiants ressentaient-ils ce coach IA ? Cela les faisait-il se sentir plus intelligents ou plus confiants ? Deuxièmement, les chercheurs pouvaient-ils en apprendre davantage sur les capacités de résolution de problèmes des étudiants simplement en analysant les questions que les étudiants posaient au bot ? Ils ont traité les journaux de discussion comme une carte au trésor, cherchant des indices sur l'évolution de la pensée des étudiants, passant de « Je suis perdu » à « J'ai compris ».

Ce que les étudiants en ont pensé
Lorsque les étudiants ont terminé leur session, ils ont rempli un sondage. Les résultats étaient plutôt encourageants. Sur une échelle de 1 à 5, les étudiants ont donné au chatbot une note solide de 4,0 sur 5 pour son aide à la compréhension des concepts et des compétences physiques réelles. Ils ont estimé que le bot les aidait à apprendre à aborder les problèmes par eux-mêmes. Le taux d'efficacité globale était un peu plus bas, environ 3,4 sur 5, ce qui suggère que si le bot était excellent pour l'apprentissage, il n'était pas une baguette magique rendant tout facile ou amusant pour tout le monde. Certains étudiants trouvaient toujours les tâches difficiles, et le bot n'a pas complètement éliminé la difficulté, mais il les a aidés à la traverser.

L'évolution des questions
C'est ici que l'histoire devient vraiment intéressante. Les chercheurs ont examiné les transcriptions des conversations, traitant chaque question posée par l'étudiant comme un instantané de son cerveau à ce moment précis. Ils ont classé les questions en deux types : « Larges » (comme « Je ne sais pas par où commencer » ou « Que dois-je faire ? ») et « Spécifiques » (comme « Dois-je utiliser la conservation de l'énergie ici ? » ou « Est-ce que la hauteur du ressort importe ? »).

Au tout début de la discussion, la plupart des étudiants étaient dans le noir. Seulement environ 10 à 15 % des premières questions étaient spécifiques ; le reste consistait en des appels à l'aide larges. Mais au fil de la conversation, quelque chose de magique s'est produit. Les étudiants ont commencé à poser des questions plus tranchantes, plus ciblées. Au quatrième tour de la conversation, environ 58 % des questions étaient spécifiques. À la toute fin de la session, 100 % des étudiants posaient des questions spécifiques et focalisées. C'était comme si le coach IA les avait guidés avec succès, passant d'une errance sans but dans le brouillard à une marche sur un chemin droit et bien éclairé.

Le lien avec le succès
Les chercheurs se sont ensuite demandé : poser de meilleures questions signifie-t-il obtenir de meilleures notes ? Ils ont comparé la spécificité des questions posées par les étudiants par rapport à la note qu'ils espéraient obtenir dans le cours. Ils ont trouvé une « corrélation positive modérée » (une façon statistique de dire qu'elles évoluent ensemble) avec un chiffre de 0,43.

Qu'est-ce que cela signifie en langage courant ? Les étudiants qui posaient des questions plus spécifiques et détaillées avaient tendance à attendre des notes plus élevées. Par exemple, de nombreux étudiants qui pensaient obtenir un « A » avaient plus de 80 % de leurs questions classées comme spécifiques. À l'inverse, les étudiants qui continuaient à poser des questions larges et vagues avaient tendance à espérer des notes plus basses (autour d'un « C »).

Cependant, les chercheurs ont pris soin de ne pas en faire une règle parfaite. Les données étaient un peu dispersées. Certains étudiants qui posaient des questions très spécifiques espéraient tout de même une note moyenne, et quelques étudiants qui espéraient des notes élevées posaient des questions étonnamment larges. Cela suggère que, bien que poser de bonnes questions soit un signe fort d'un bon résolveur de problèmes, ce n'est pas la seule chose qui compte. D'autres facteurs, comme le niveau de connaissances préalables ou l'effort fourni, jouent également un rôle majeur.

La conclusion
Cette étude suggère que les chatbots d'IA peuvent être des outils puissants pour l'enseignement de la physique, non pas en donnant des réponses, mais en guidant les étudiants vers les bonnes questions. Le chatbot a aidé les étudiants à passer du sentiment d'être perdus à une pensée d'expert. Bien que poser des questions spécifiques soit un signe de réussite, ce n'est qu'une pièce du puzzle. Les chercheurs admettent qu'il s'agissait d'un petit test avec un seul type de problème, et qu'ils doivent mener d'autres études pour voir si cela fonctionne pour tout le monde et pour tous les sujets. Mais pour l'instant, il semble que posséder un coach IA qui demande « Quel est votre plan ? » plutôt que « Voici la réponse » est un très bon moyen d'aider les étudiants à apprendre à jongler avec ces tronçonneuses de la physique.