Using an LLM to Investigate Students' Explanations on Conceptual Physics Questions

Résumé technique : Utilisation d'un modèle de langage (LLM) pour enquêter sur les explications des étudiants concernant des questions de physique conceptuelle

Énoncé du problème
Les évaluations à choix multiples (MC) fondées sur la recherche, telles que l'Enquête conceptuelle sur l'énergie et la quantité de mouvement (EMCS), sont des outils standard pour évaluer la compréhension conceptuelle en physique en raison de leur évolutivité. Cependant, les auteurs soutiennent que les formats MC souffrent de limitations significatives : ils ne parviennent pas à révéler les diverses façons dont les étudiants raisonnent sur les concepts de physique, ne mettent pas en évidence les ressources conceptuelles spécifiques activées par les étudiants, et peuvent involontairement renforcer des associations incorrectes par une exposition répétée aux distracteurs. Bien que les réponses écrites à caractère ouvert offrent des perspectives pédagogiques plus profondes, leur notation à grande échelle (par exemple, dans des cours avec $N > 1\,000$) est prohibitivement laborieuse et sujette à des incohérences. L'étude répond au besoin d'une méthode évolutive et cohérente pour évaluer les explications écrites des étudiants afin d'identifier ces ressources conceptuelles sous-jacentes.

Méthodologie
L'étude a été menée dans un cours de physique basé sur le calcul du premier semestre à une grande université américaine, impliquant 1 131 étudiants. Les chercheurs ont administré l'EMCS comme test préliminaire et test final. Pour le test final, trois questions spécifiques (Q05, Q16 et Q23) ont été converties de leur format MC original en invites écrites ouvertes. Ces questions ont été sélectionnées sur la base de la littérature indiquant des gains faibles au test final et de mauvaises performances, suggérant que les étudiants activent fréquemment des ressources conceptuelles improductives sur ces items.

Les étudiants ont reçu l'instruction de répondre en utilisant le cadre Affirmation-Preuve-Raisonnement (CER), une méthode qu'ils avaient pratiquée tout au long du semestre. L'analyse des données a utilisé le modèle de langage (LLM) GPT-4o d'OpenAI. Le LLM a été sollicité via un modèle structuré agissant en tant qu'« éducateur en physique expérimenté » avec une grille d'évaluation spécifique pour :

1. Évaluer l'exactitude de l'affirmation de l'étudiant (réponse).
2. Évaluer l'exactitude des preuves et du raisonnement.
3. Assigner des catégories émergentes aux explications incorrectes basées sur des schémas conceptuels distincts (jusqu'à six catégories).
4. Utiliser l'approche « chaîne de pensée » (chain of thought) pour parcourir les principes physiques avant la notation.

Pour valider les performances du LLM, un correcteur humain (HG) a analysé indépendamment un échantillon aléatoire de 20 % ($N=231$) des réponses. L'étude a mesuré l'accord en utilisant le kappa de Cohen et a comparé le pourcentage de classifications correctes. Le LLM a également été testé pour sa cohérence sur plusieurs exécutions avec un réglage de température de 0,5.

Résultats clés

• Précision de la notation : Le LLM a démontré un accord élevé avec les correcteurs humains. L'écart dans l'exactitude globale (affirmation soutenue par un raisonnement correct) était remarquablement faible, variant de 0 % à 3 % sur les trois questions. Le kappa de Cohen moyen entre le LLM et le correcteur humain était de 0,77 (accord substantiel à presque parfait), avec des scores individuels par question de 0,74, 0,65 et 0,89.
• Catégories émergentes : Le LLM a généré avec succès des catégories émergentes pour les explications incorrectes qui n'étaient pas prédéfinies. Par exemple, sur la Q05, le LLM a identifié des catégories telles que « Mauvaise application du type de collision » et « Mauvaise identification du type de collision », qui n'étaient pas présentes dans les distracteurs MC originaux.
• Révélation de conceptions erronées cachées : L'analyse a révélé des cas où les étudiants fournissaient l'affirmation correcte (réponse) basée sur un raisonnement incorrect ou improductif. Dans le format MC, ces étudiants auraient été marqués comme corrects ; cependant, le LLM a identifié les ressources conceptuelles défectueuses (par exemple, une mauvaise application de la conservation de la quantité de mouvement dans un contexte de collision inélastique) qui ont conduit à la réponse correcte par hasard ou par un raisonnement erroné.
• Cohérence : Le LLM a produit des catégories émergentes cohérentes sur plusieurs exécutions, avec un écart-type faible dans le pourcentage d'étudiants notés comme entièrement corrects.

Signification et affirmations
Les auteurs revendiquent deux contributions principales :

1. Fiabilité : Les LLM correctement sollicités (spécifiquement GPT-4o) peuvent évaluer de manière fiable l'exactitude globale des réponses écrites des étudiants, incluant à la fois la réponse et l'explication de soutien, avec des niveaux d'accord comparables à ceux des correcteurs humains. Cela suggère que les LLM peuvent alléger le goulot d'étranglement de la notation des questions de physique à caractère ouvert à grande échelle.
2. Profondeur de l'insight : L'analyse basée sur les LLM révèle des catégories émergentes de raisonnement incorrect qui ne sont pas capturées par les options fixes des évaluations MC traditionnelles. L'étude démontre que les LLM peuvent révéler une « myriade de façons de penser » et des ressources conceptuelles spécifiques (à la fois productives et improductives) qui restent cachées dans les formats MC standard.

L'article conclut que, bien que les évaluations MC soient suffisantes pour quantifier le pourcentage d'étudiants ayant des conceptions correctes, les LLM offrent une voie prometteuse pour les éducateurs afin d'isoler des malentendus spécifiques et d'enquêter sur la richesse du raisonnement des étudiants dans des cours à forte inscription. Les auteurs notent une limitation concernant le sous-ensemble de questions utilisé (en raison de préoccupations liées à la fatigue des étudiants) et déclarent que les travaux futurs viseront à étendre cette analyse à l'ensemble de l'EMCS et à des évaluations de physique plus complexes.