Transition Matrix Analysis Analyzing Students Use of Cognitive Resources in Physics

Résumé technique : Analyse de la matrice de transition des ressources cognitives des étudiants en physique

Énoncé du problème
L'analyse traditionnelle des enquêtes conceptuelles en éducation à la physique, telles que le Force Concept Inventory (FCI) ou le Determining and Interpreting Resistive Electric Circuit Concepts Test (DIRECT), se concentre généralement sur les gains de performance entre pré-test et post-test pour évaluer les interventions pédagogiques. Cette approche agrège les données en mesures de réponses correctes/incorrectes, occultant ainsi les options incorrectes spécifiques choisies par les étudiants. Par conséquent, elle ne parvient pas à révéler la stabilité, la cohérence et la dépendance au contexte des structures de connaissances sous-jacentes des étudiants. Alors que le cadre des « conceptions erronées » (misconceptions) considère les erreurs des étudiants comme des théories alternatives stables, le « cadre des ressources » (resources framework) postule que la connaissance des étudiants est fragmentée, composée de petites ressources cognitives activées de manière incohérente selon le contexte. Les auteurs soutiennent que se concentrer uniquement sur les réponses correctes ignore les options incorrectes qui pourraient informer la stabilité de ces ressources cognitives.

Méthodologie
Les auteurs proposent une Analyse de Matrice de Transition (AMT) guidée par le cadre des ressources pour analyser les données des enquêtes conceptuelles. La méthodologie comprend les étapes suivantes :

1. Identification de questions équivalentes en termes de ressources : Un sous-ensemble de questions est sélectionné à partir d'une enquête validée. Ces questions doivent partager le même principe physique sous-jacent mais différer par leur contexte. Crucialement, l'ensemble des choix de réponses à travers ces questions doit correspondre au même ensemble de ressources cognitives.
2. Cartographie des choix vers les ressources : Chaque option de réponse à choix multiples est associée à une ressource cognitive spécifique. Dans cette étude, les auteurs ont cartographié les choix de trois questions du DIRECT (Q3, Q7, Q12) concernant la puissance dans les circuits CC à quatre ressources :
   • $S$ : Ressource scientifiquement productive.
   • $R_1$ : Ressource de source de courant constant (la batterie fournit un courant constant quel que soit l'agencement du circuit).
   • $R_2$ : Ressource de superposition (plus de batteries égalent toujours plus de luminosité/puissance).
   • $Null$ : Ressources utilisées par très peu d'étudiants (pour maintenir la complétude du vecteur).
3. Construction du vecteur d'état : Pour un étudiant $k$ répondant à $m$ questions, un vecteur de distribution de probabilité $\vec{Q}_k$ est défini, où les éléments $\rho_i$ représentent la probabilité d'activer la ressource $i$ ($\rho_i = n_i/m$).
4. Calcul de la matrice de transition : Le changement d'activation des ressources du pré-test (état initial $\vec{Q}_i$) au post-test (état final $\vec{Q}_f$) est modélisé par une matrice de transition $T$ telle que $\vec{Q}_f = T\vec{Q}_i$. L'élément de matrice $T_{ij}$ représente la probabilité conditionnelle qu'un étudiant ayant utilisé la ressource $j$ lors du pré-test passe à la ressource $i$ lors du post-test.
5. Agrégation : Les matrices individuelles des étudiants sont moyennées pour générer une matrice de transition au niveau de la classe, permettant aux chercheurs de suivre les changements moyens d'activation des ressources au sein de la cohorte.

Application expérimentale
La méthode a été appliquée aux données de $N=135$ étudiants en sciences de l'éducation inscrits à un cours de physique conceptuelle. L'étude a utilisé l'enquête DIRECT administrée à la fois en session individuelle et en groupe, tant en pré-test qu'en post-test, séparées par une unité d'enseignement de 7 semaines. L'analyse s'est concentrée spécifiquement sur la transition entre la session individuelle et la session de groupe pour le pré-test et le post-test.

Résultats clés
L'analyse des matrices de transition a révélé plusieurs informations critiques qui n'étaient pas apparentes dans les scores de performance globale :

• Performance globale vs Stabilité des ressources : Bien qu'un test t pour échantillons appariés ait montré une amélioration significative des scores globaux de la classe du pré-test au post-test, l'AMT a révélé que les étudiants n'ont pas nécessairement consolidé leur compréhension du concept spécifique (puissance en circuit CC).
• Effets du travail de groupe : Dans le pré-test et le post-test, les étudiants ont fréquemment délaissé la ressource scientifiquement productive ($S$) au profit de ressources improductives ($R_1$ et $R_2$) lors des sessions de groupe.
• Persistance des ressources improductives : Les éléments diagonaux de la matrice de transition ($T_{R1R1}$ et $T_{R2R2}$) ont indiqué que les étudiants conservaient leurs ressources improductives à des taux élevés.
• Tendances à la dégradation : La comparaison des matrices de transition pré-test et post-test via des tests t a montré que, dans le groupe post-test en session de groupe, les étudiants conservaient les ressources improductives ($R_1$ et $R_2$) nettement plus souvent que dans le pré-test, et conservaient la ressource productive ($S$) nettement moins souvent. Plus précisément, la transition $T_{SS}$ a diminué de manière significative, tandis que $T_{R1R1}$ et $T_{R2R2}$ ont augmenté de manière significative.
• Dépendance au contexte : Les données soutiennent la vue selon laquelle l'activation des ressources est dépendante du contexte ; les étudiants n'appliquaient pas systématiquement le raisonnement correct à travers les questions équivalentes en termes de ressources, et l'interaction de groupe renforçait parfois le raisonnement incorrect.

Signification et affirmations
L'article affirme que l'Analyse de Matrice de Transition offre une perspective plus nuancée que l'analyse de gain traditionnelle en exposant la dynamique de l'activation des ressources cognitives.

• Valeur diagnostique : L'AMT peut détecter quand les interventions pédagogiques ou le travail de groupe échouent à stabiliser les ressources productives, même lorsque les scores globaux aux tests s'améliorent. Dans cette étude, elle a mis en évidence que le travail de groupe peut involontairement renforcer les ressources improductives ($R_1$ et $R_2$) concernant la puissance des circuits.
• Preuve de concept : L'étude sert de preuve de concept pour l'application de la modélisation mathématique (spécifiquement les matrices de transition) à la recherche en éducation à la physique pour décrire les processus d'apprentissage.
• Perspectives futures : Les auteurs suggèrent modestement que si cette approche s'avère fructueuse, elle pourrait inciter les experts à réexaminer les évaluations conceptuelles existantes pour identifier les ressources cognitives sous-jacentes de chaque option et encourager la conception intentionnelle de questions « équivalentes en termes de ressources » dans les enquêtes futures.
• Limites : Les auteurs reconnaissent que la cartographie des choix vers les ressources est une hypothèse, car l'enquête DIRECT a été développée à l'origine sous le cadre des conceptions erronées. Ils notent que l'hypothèse selon laquelle différents étudiants choisissant la même option activent des ressources similaires nécessite une validation supplémentaire par des méthodes telles que les entretiens.