Transition Matrix Analysis Analyzing Students Use of Cognitive Resources in Physics

Technische Samenvatting: Transitiematrixanalyse van Cognitieve Bronnen van Studenten in Natuurkunde

Probleemstelling
Traditionele analyse van conceptuele enquêtes in het natuurkundieonderwijs, zoals de Force Concept Inventory (FCI) of de Determining and Interpreting Resistive Electric Circuit Concepts Test (DIRECT), richt zich doorgaans op de prestatiewinst tussen voor- en nageslagen om pedagogische interventies te evalueren. Deze benadering aggregeert gegevens in correct/incorrect-metrieken, waardoor de specifieke incorrecte opties die door studenten zijn gekozen, verborgen blijven. Bijgevolg slaagt het er niet in de stabiliteit, coherentie en contextafhankelijkheid van de onderliggende kennisstructuren van studenten te onthullen. Terwijl het "misconceptie"-raamwerk menselijke fouten beschouft als stabiele alternatieve theorieën, stelt het "resources framework" (bronnenraamwerk) dat de kennis van studenten gefragmenteerd is en bestaat uit kleine, fijnmazige cognitieve bronnen die afhankelijk van de context inconsistent worden geactiveerd. De auteurs betogen dat het uitsluitend focussen op correcte antwoorden de incorrecte opties negeert, die juist informatie kunnen geven over de stabiliteit van deze cognitieve bronnen.

Methodologie
De auteurs stellen een Transitiematrixanalyse (TMA) voor, geleid door het resources framework, om gegevens van conceptuele enquêtes te analyseren. De methodologie omvat de volgende stappen:

1. Identificatie van Bron-equivalente Vragen: Een subset van vragen wordt geselecteerd uit een gevalideerde enquête. Deze vragen moeten hetzelfde onderliggende natuurkundige principe delen, maar verschillen in context. Cruciaal is dat de set antwoordmogelijkheden over deze vragen heen overeenkomt met dezelfde set aan cognitieve bronnen.
2. Mapping van Keuzes naar Bronnen: Elke meerkeuzeoptie wordt gekoppeld aan een specifieke cognitieve bron. In deze studie koppelden de auteurs de keuzes van drie DIRECT-vragen (Q3, Q7, Q12) betreffende DC-stroomvermogen aan vier bronnen:
   • $S$: Wetenschappelijk productieve bron.
   • $R_1$: Bron van een constante stroombron (een batterij levert een constante stroom ongeacht de schakeling).
   • $R_2$: Superpositie-bron (meer batterijen betekenen altijd meer helderheid/vermogen).
   • $Null$: Bronnen die door zeer weinig studenten worden gebruikt (om de volledigheid van de vector te behouden).
3. Constructie van de Toestandsvector: Voor een student $k$ die $m$ vragen beantwoordt, wordt een waarschijnlijkheidsverdelingsvector $\vec{Q}_k$ gedefinieerd, waarbij de elementen $\rho_i$ de waarschijnlijkheid vertegenwoordigen dat bron $i$ wordt geactiveerd ($\rho_i = n_i/m$).
4. Berekening van de Transitiematrix: De verandering in bronactivatie van een voor-test (initiële toestand $\vec{Q}_i$) naar een na-test (finale toestand $\vec{Q}_f$) wordt gemodelleerd door een transitiematrix $T$, zodanig dat $\vec{Q}_f = T\vec{Q}_i$. Het matrixelement $T_{ij}$ vertegenwoordigt de voorwaardelijke waarschijnlijkheid dat een student die bron $j$ gebruikte tijdens de voor-test, overschakelt naar bron $i$ tijdens de na-test.
5. Aggregatie: Individuele studentenmatrices worden gemiddeld om een klasse-niveau transitiematrix te genereren, waardoor onderzoekers de gemiddelde verschuivingen in bronactivatie binnen de cohort kunnen volgen.

Experimentele Toepassing
De methode werd toegepast op gegevens van $N=135$ studenten in de basisonderwijskunde die een cursus conceptuele natuurkunde volgden. De studie maakte gebruik van de DIRECT-enquête, die zowel als individuele als groeps-voor-test en na-test werd afgenomen, gescheiden door een instructie-unit van 7 weken. De analyse richtte zich specifiek op de transitie tussen de individuele sessie en de groepsessie voor zowel de voor- als de na-test.

Belangrijkste Resultaten
De analyse van de transitiematrices onthulde verschillende cruciale inzichten die niet zichtbaar waren via de algemene scores:

• Algemene Prestaties vs. Bronstabiliteit: Hoewel een gepaarde t-toets een significante verbetering liet zien in de algemene klassescores van de voor- naar de na-test, toonde de TMA aan dat studenten niet noodzakelijkerwijs hun begrip van het specifieke concept (DC-stroomvermogen) hebben verstevigd.
• Effecten van Groepswerk: In zowel de voor- als de na-test verschoof de focus van studenten tijdens groepsessies regelmatig van de wetenschappelijk productieve bron ($S$) naar onproductieve bronnen ($R_1$ en $R_2$).
• Persistentie van Onproductieve Bronnen: De diagonale elementen van de transitiematrix ($T_{R1R1}$ en $T_{R2R2}$) gaven aan dat studenten hun onproductieve bronnen met hoge frequentie behielden.
• Verslechterende Trends: Bij het vergelijken van de voor- en na-test transitiematrices via t-testen bleek dat studenten in de na-test groepsessies onproductieve bronnen ($R_1$ en $R_2$) significant vaker behielden dan in de voor-test, en de productieve bron ($S$) significant minder vaak behielden. Specifiek nam de transitie $T_{SS}$ significant af, terwijl $T_{R1R1}$ en $T_{R2R2}$ significant toenamen.
• Contextafhankelijkheid: De gegevens ondersteunen de visie dat bronactivatie contextafhankelijk is; studenten pasten de juiste redenering niet consistent toe over de bron-equivalente vragen, en interactie in groepen versterkte soms de onjuiste redenering.

Betekenis en Claims
Het artikel claimt dat Transitiematrixanalyse een genuanceerder perspectief biedt dan traditionele winstanalyse door de dynamiek van cognitieve bronactivatie bloot te leggen.

• Diagnostische Waarde: TMA kan detecteren wanneer instructieve interventies of groepswerk er niet in slagen om productieve bronnen te stabiliseren, zelfs wanneer de algemene testscores verbeteren. In deze studie bracht het aan het licht dat groepswerk onbedoeld onproductieve bronnen ($R_1$ en $R_2$) met betrekking tot stroomvermogen kan versterken.
• Proof of Concept: De studie dient als een bewijs van concept voor het toepassen van wiskundige modellering (specifiek transitiematrices) op natuurkundiedidactisch onderzoek om leerprocessen te beschrijven.
• Toekomstige Richtingen: De auteurs suggereren bescheiden dat als deze benadering vruchtbaar blijkt, dit experts kan motiveren om bestaande conceptuele beoordelingen te herzien om onderliggende cognitieve bronnen voor elke optie te identificeren en het doelbewust ontwerpen van "bron-equivalente" vragen in toekomstige enquêtes aan te moedigen.
• Beperkingen: De auteurs erkennen dat het mappen van keuzes naar bronnen een aanname is, aangezien de DIRECT-enquête oorspronkelijk is ontwikkeld onder het misconceptie-raamwerk. Zij merken op dat de aanname dat verschillende studenten die dezelfde optie kiezen, vergelijkbare bronnen activeren, verdere validatie vereist via methoden zoals interviews.