🔬 physics

Using LLMs to Detect Growth in Computational Thinking in Introductory Physics

Cette étude démontre que les grands modèles de langage peuvent effectivement intensifier l'évaluation de la progression des étudiants en pensée computationnelle au sein des cours d'introduction à la physique en reproduisant les évaluations humaines des explications écrites relatives aux pratiques de données et à la résolution de problèmes, bien que les deux méthodes soient confrontées à des défis pour évaluer de manière fiable des concepts complexes tels que la pensée systémique.

Auteurs originaux : Sean Savage, Anand Shanker, Grace Michlitsch, N. Sanjay Rebello

Publié 2026-08-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sean Savage, Anand Shanker, Grace Michlitsch, N. Sanjay Rebello

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de la physique non pas comme une simple collection de formules sur un tableau noir, mais comme un immense jeu vidéo interactif où les lois de la nature sont le code. Depuis des décennies, les enseignants tentent d'amener les élèves à ne plus simplement mémoriser les règles, mais à écrire eux-mêmes le code. Cette compétence s'appelle la « pensée computationnelle ». Il ne s'agit pas seulement de taper vite ou de connaître la syntaxe informatique ; il s'agit de décomposer un problème réel, vaste et complexe (comme un accident de voiture ou l'orbite d'une planète) en de petites étapes logiques qu'un ordinateur peut comprendre. C'est comme être un traducteur qui parle à la fois le « Humain » et la « Machine », en trouvant comment décrire une pomme qui tombe pour qu'un robot puisse prédire exactement où elle atterrira.

La grande question pour les éducateurs est la suivante : comment savoir si les élèves s'améliorent réellement dans ce travail de traduction ? Traditionnellement, les enseignants utilisaient des tests à choix multiples, qui sont faciles à corriger mais médiocres pour montrer comment un élève réfléchit. Pour observer la véritable pensée, les élèves doivent rédiger leurs réponses avec des mots. Mais voici le hic : lire des centaines de dissertations manuscrites est épuisant, lent et coûteux. C'est comme essayer de corriger un million de rédactions à la main pendant que le chronomètre tourne. Aujourd'hui, un nouveau type de « super-lecteur » est arrivé : l'Intelligence Artificielle (IA), et plus précisément les modèles de langage étendus (LLM). Ce sont les mêmes types d'ordinateurs intelligents capables d'écrire des histoires ou de discuter avec vous. La question brûlante est la suivante : ces robots dotés d'IA peuvent-ils lire les essais des élèves et repérer la progression de leurs capacités de réflexion aussi bien qu'un enseignant humain, mais sans avoir besoin de pauses café ?

Cet article, écrit par des chercheurs de l'Université Purdue, cherche à répondre à cette question. Ils voulaient voir si une IA pouvait agir comme un assistant d'enseignement géant et infatigable pour suivre l'évolution de la pensée computationnelle des étudiants au fil d'un semestre. Ils n'ont pas seulement demandé à l'IA de noter ; ils lui ont demandé de rechercher des « super-pouvoirs » spécifiques dans l'écriture des élèves : peuvent-ils gérer des données ? Peuvent-ils décomposer des problèmes ? Peuvent-ils comprendre comment des systèmes complexes fonctionnent ensemble ?

Pour tester cela, les chercheurs ont réuni 936 étudiants dans un cours de physique où ils apprenaient à coder en Python. Avant le début et après la fin du cours, les étudiants ont répondu à des questions ouvertes sur des problèmes de physique, comme l'interprétation d'un graphique d'un ressort qui rebondit ou la conception d'une simulation pour un traîneau glissant sur une colline. D'abord, une équipe d'experts humains a lu un petit échantillon de ces essais et leur a attribué des scores basés sur une grille de correction stricte. Cela a créé un « étalon de référence » de ce qu'un humain considère comme une bonne réponse. Ensuite, ils ont soumis ces mêmes essais à un modèle d'IA (plus précisément une version multimodale de GPT-5.4-mini) et lui ont demandé de les noter en utilisant les mêmes règles.

Les résultats étaient étonnamment prometteurs. L'IA s'est révélée être un assistant très capable. Pour les compétences claires, comme la gestion de données (Pratiques de données) et la décomposition des étapes de code (Résolution de problèmes computationnels), les notes de l'IA correspondaient presque parfaitement aux notes des experts humains. Lorsque les chercheurs ont examiné l'ensemble du groupe de 936 étudiants, l'IA a réussi à identifier les mêmes grandes tendances que les humains : les étudiants se sont nettement améliorés dans la gestion des données et la résolution de problèmes computationnels à la fin du semestre. En fait, l'IA a confirmé que les étudiants avaient fait des bonds de géant dans ces domaines, les compétences en données montrant une progression massive.

Cependant, l'histoire n'est pas un récit parfait où « l'IA gagne sur toute la ligne ». Les chercheurs ont constaté que les humains comme l'IA éprouvaient des difficultés avec la compétence la plus complexe : la « Pensée systémique ». Il s'agit de la capacité à voir comment toutes les petites parties d'un système interagissent pour créer une vision d'ensemble. Comme ce concept est très flou et difficile à définir, même les experts humains n'étaient pas toujours d'accord entre eux, et l'IA peinait également à les égaler. L'article suggère que l'IA n'est pas « stupide » ici ; c'est plutôt la tâche elle-même qui est très difficile à définir clairement.

Il y a aussi eu un tournant amusant avec une question spécifique sur la conception d'une simulation de traîneau. Les étudiants étaient déjà si doués sur ce sujet avant même le début du cours qu'ils ne pouvaient pas vraiment s'améliorer. C'était comme demander à un chef professionnel d'améliorer ses compétences en l'utilisation du couteau alors qu'il utilisait déjà les couteaux les plus tranchants du monde. Les scores ont atteint un « plafond », ce qui signifie qu'il n'y avait plus de place pour mesurer la progression, et l'IA a correctement identifié qu'aucune progression n'avait eu lieu sur ce point.

En fin de compte, l'étude montre que l'IA est un outil viable et puissant pour vérifier comment les étudiants apprennent à penser comme des physiciens computationnels. Elle peut monter en charge pour lire des milliers de dissertations et trouver les mêmes schémas que les humains, épargnant ainsi aux enseignants le risque de se noyer sous la paperasse. Mais elle sert aussi de rappel que l'IA n'est aussi bonne que les règles qu'on lui donne. Pour les parties désordonnées et complexes de la pensée où même les humains ne sont pas d'accord, nous avons toujours besoin d'une conception minutieuse et d'une supervision humaine. L'IA ne remplace pas l'enseignant ; elle lui tend une loupe surpuissante pour observer la croissance qui était déjà en train de se produire.

Résumé technique : Utilisation des LLM pour détecter la progression de la pensée computationnelle en physique de niveau introductory

Énoncé du problème
Alors que le calcul devient un « troisième pilier » de l'enseignement de la physique aux côtés de l'expérience et de la théorie, les éducateurs sont confrontés au défi de favoriser une pensée computationnelle (PC) authentique plutôt que de simples compétences de programmation superficielles. Or, les réponses écrites ouvertes offrent une fenêtre riche sur le raisonnement des étudiants et l'intégration des lois physiques avec le code, mais leur évaluation à grande échelle est gourmande en ressources et souffre souvent de problèmes de fiabilité inter-juges. À l'inverse, les évaluations à choix multiples manquent de profondeur pour capturer les modèles mentaux. La disponibilité croissante de l'IA générative complique davantage l'évaluation en permettant aux étudiants de contourner l'effort cognitif. Cette étude répond au besoin d'une méthode évolable et fiable pour évaluer les évaluations complexes et ouvertes de la PC dans les cours de physique à effectifs nombreux, en étudiant spécifiquement si les modèles de langage étendus (LLM) peuvent efficacement refléter l'évaluation humaine de la progression des étudiants dans les pratiques de PC.

Méthodologie
L'étude a utilisé un plan pré-test/post-test impliquant 936 étudiants dans un cours de physique pour l'ingénierie basé sur le calcul dans une grande université du Midwest. Le cours intégrait fortement le calcul, exigeant des laboratoires hebdomadaires basés sur Python.

Développement de l'instrument : Trois questions de sondage ouvertes ont été développées sur la base de la taxonomie de Weintrop et al. concernant la PC, couvrant quatre domaines : Pratiques de données (DP), Pratiques de résolution de problèmes computationnels (CPP), Pratiques de modélisation et de simulation (MSP) et Pratiques de pensée systémique (STP).
- Q25 : Interprétation d'un graphique énergie-position généré par Python (DP, CPP, STP).
- Q26 : Traçage de la logique algorithmique dans un script Python pour une collision élastique (CPP, STP).
- Q27 : Proposition de paramètres pour une simulation de traîneau (MSP, STP).
Base de référence humaine : Une rubrique spécialisée a été développée pour noter les réponses sur une échelle de 0 à 2 pour chaque pratique de PC et la correction physique. Trois chercheurs ont codé indépendamment un sous-ensemble de 50 étudiants (300 réponses) pour établir une « vérité terrain » par vote majoritaire après avoir atteint un consensus sur les définitions opérationnelles. La fiabilité inter-juges (κ de Fleiss) a été calculée.
Validation par LLM : Un LLM multimodal (GPT-5.4-mini) a été déployé via API. Le modèle a reçu l'image du sondage, le texte de l'invite (prompt) et la réponse de l'étudiant. À l'aide d'une invite structurée assignant au modèle le rôle d'un chercheur expert en éducation physique et fournissant la rubrique humaine exacte, le LLM a généré des justifications et des scores. Pour assurer la cohérence, la température a été fixée à 0,2, et chaque réponse a été évaluée sur trois passages indépendants, le score final étant déterminé par vote majoritaire.
Analyse : Les scores du LLM sur le sous-ensemble de 50 étudiants ont été comparés à la base de référence humaine pour calculer l'accord. Par la suite, le pipeline validé du LLM a été appliqué à l'ensemble du jeu de données ( $N=936$ ) pour détecter les tendances de croissance.

Résultats clés

Fiabilité humaine : Les codeurs humains ont atteint un accord substantiel sur les tâches explicites (MSP $\kappa=0,80$ , DP $\kappa=0,80$ ) et la correction physique ( $\kappa=0,73$ ). L'accord était plus faible pour le construit plus complexe de la pensée systémique (STP) ( $\kappa=0,51$ ), reflétant sa demande cognitive intrinsèque.
Croissance des étudiants (notée par l'humain) : L'analyse du sous-ensemble noté par l'humain a révélé une croissance significative dans les pratiques de données ( $d=1,03$ ), la résolution de problèmes computationnels ( $d=0,52$ ) et la pensée systémique ( $d=0,45$ ). La correction physique a montré une croissance de petite à modérée ( $d=0,31$ ). Aucune croissance significative n'a été observée dans les pratiques de modélisation et de simulation (MSP) ( $d=0,00$ ), attribuée à un « effet de plafond » où les étudiants entraient dans le cours avec des connaissances préalables suffisantes pour obtenir des scores élevés sur l'invite initiale.
Performance du LLM : Le LLM a démontré un accord substantiel avec les évaluateurs humains sur les pratiques bien définies (DP $\kappa=0,90$ , MSP $\kappa=0,78$ , CPP $\kappa=0,69$ ). L'accord était plus faible pour les construits complexes à composantes multiples (Correction physique $\kappa=0,53$ , STP $\kappa=0,48$ ), reflétant la fiabilité plus faible observée chez les codeurs humains.
Évolutivité : Appliqué à l'ensemble du jeu de données, le LLM a réussi à reproduire les tendances macroscopiques identifiées par les évaluateurs humains, détectant une croissance significative dans DP et CPP à travers Q25 et Q26, et confirmant l'absence de croissance en MSP sur Q27.

Principales contributions

Validation des LLM pour l'évaluation de la PC : L'étude démontre que les LLM peuvent servir de mécanisme viable et évolable pour évaluer les évaluations ouvertes de la PC, atteignant des niveaux d'accord comparables à ceux des experts humains, particulièrement pour les pratiques clairement définies.
Preuve empirique de la croissance de la PC : La recherche fournit des preuves quantitatives de la croissance des étudiants dans des domaines spécifiques de la PC (DP, CPP, STP) au sein d'un curriculum de physique intensif en calcul, tout en soulignant la difficulté de mesurer la croissance dans les domaines où les étudiants possèdent des connaissances préalables élevées.
Identification des limites de l'évaluation : L'étude identifie que les évaluateurs, tant humains qu'IA, éprouvent des difficultés avec les construits intégrés complexes comme la pensée systémique, suggérant que les rubriques et les invites actuelles pourraient nécessiter un raffinement pour distinguer l'identification des composants d'un système de l'explication de leurs interactions.

Signification et affirmations
Les auteurs affirment que les LLM offrent une solution pratique au problème de l'évolutivité dans la recherche en éducation physique qualitative. L'étude postule que les LLM ne se contentent pas d'automatiser la notation, mais peuvent détecter de manière fiable les tendances pédagogiques clés (telles que la croissance des pratiques de données) à travers de larges populations. Cependant, les auteurs restent modestes concernant l'évaluation des construits hautement intégrés ; ils concluent que si les LLM sont comparables aux experts humains, la variance dans la notation des construits complexes comme la STP provient de la difficulté inhérente du construit lui-même plutôt que d'une déficience du modèle. Par conséquent, l'article soutient que les LLM sont efficaces pour l'évaluation formative évolable mais nécessitent une conception de rubrique rigoureuse et une supervision humaine lors de l'évaluation du raisonnement complexe. L'étude ne prétend pas que les LLM ont résolu le problème de l'évaluation du raisonnement complexe, mais qu'ils constituent une voie viable pour l'évaluation à grande échelle de la PC des étudiants dans les cours à effectifs nombreux.

Articles similaires