Transition Matrix Analysis Analyzing Students Use of Cognitive Resources in Physics

Technisches Resümee: Übergangsmatrix-Analyse kognitiver Ressourcen von Studierenden in der Physik

Problemstellung
Die traditionelle Analyse konzeptioneller Erhebungen in der Physikdidaktik, wie etwa des Force Concept Inventory (FCI) oder des Determining and Interpreting Resistive Electric Circuit Concepts Test (DIRECT), konzentriert sich typischerweise auf die Leistungszuwächse zwischen Pre- und Post-Tests, um pädagogische Interventionen zu bewerten. Dieser Ansatz aggregiert Daten in Metriken für „richtig“ oder „falsch“, wodurch die spezifischen falschen Antwortmöglichkeiten, die von Studierenden gewählt wurden, verschleiert werden. Folglich versäumt er es, die Stabilität, Kohärenz und Kontextabhängigkeit der zugrunde liegenden Wissensstrukturen der Studierenden offenzulegen. Während das „Misconception“-Framework (Fehlvorstellungen-Modell) studentische Fehler als stabile alternative Theorien betrachtet, postuliert das „Resources Framework“ (Ressourcen-Modell), dass das Wissen der Studierenden fragmentiert ist und aus kleinteiligen kognitiven Ressourcen besteht, die je nach Kontext inkonsistent aktiviert werden. Die Autoren argumentieren, dass die ausschließliche Konzentration auf korrekte Antworten die falschen Antwortmöglichkeiten ignoriert, welche Aufschluss über die Stabilität dieser kognitiven Ressourcen geben könnten.

Methodik
Die Autoren schlagen eine Übergangsmatrix-Analyse (Transition Matrix Analysis, TMA) vor, die vom Ressourcen-Modell geleitet wird, um Daten aus konzeptionellen Erhebungen zu analysen. Die Methodik umfasst die folgenden Schritte:

1. Identifizierung von ressourcenäquivalenten Fragen: Eine Teilmenge von Fragen wird aus einer validierten Erhebung ausgewählt. Diese Fragen müssen dasselbe zugrunde liegende physikalische Prinzip teilen, sich jedoch im Kontext unterscheiden. Entscheidend ist, dass die Menge der Antwortmöglichkeiten über diese Fragen hinweg derselben Menge an kognitiven Ressourcen entspricht.
2. Abbildung von Antwortmöglichkeiten auf Ressourcen: Jede Multiple-Choice-Option wird einer spezifischen kognitiven Ressource zugeordnet. In dieser Studie ordneten die Autoren die Antwortmöglichkeiten aus drei DIRECT-Fragen (Q3, Q7, Q12) bezüglich der Leistung in Gleichstromkreisen vier Ressourcen zu:
   • $S$: Wissenschaftlich produktive Ressource.
   • $R_1$: Ressource einer konstanten Stromquelle (Batterie liefert konstanten Strom unabhängig von der Schaltungskonfiguration).
   • $R_2$: Superpositions-Ressource (mehr Batterien bedeuten immer mehr Helligkeit/Leistung).
   • $Null$: Ressourcen, die von sehr wenigen Studierenden genutzt werden (um die Vektorgeschlossenheit aufrechtzuerhalten).
3. Konstruktion des Zustandsvektors: Für einen Studierenden $k$, der $m$ Fragen beantwortet, wird ein Wahrscheinlichkeitsverteilungsvektor $\vec{Q}_k$ definiert, wobei die Elemente $\rho_i$ die Wahrscheinlichkeit der Aktivierung der Ressource $i$ darstellen ($\rho_i = n_i/m$).
4. Berechnung der Übergangsmatrix: Die Änderung der Ressourcenaktivierung vom Pre-Test (Anfangszustand $\vec{Q}_i$) zum Post-Test (Endzustand $\vec{Q}_f$) wird durch eine Übergangsmatrix $T$ modelliert, sodass $\vec{Q}_f = T\vec{Q}_i$. Das Matrizenelement $T_{ij}$ stellt die bedingte Wahrscheinlichkeit dar, mit der ein Studierender, der in der Pre-Test-Phase die Ressource $j$ nutzte, in der Post-Test-Phase zur Ressource $i$ wechselt.
5. Aggregation: Die individuellen Matrizen der Studierenden werden gemittelt, um eine Klassen-Übergangsmatrix zu generieren, die es Forschenden ermöglicht, die durchschnittlichen Verschiebungen in der Ressourcenaktivierung über den gesamten Kurs hinweg zu verfolgen.

Experimentelle Anwendung
Die Methode wurde auf Daten von $N=135$ Studierenden aus dem Grundschullehramt angewendet, die einen Kurs in konzeptioneller Physik belegten. Die Studie nutzte die DIRECT-Erhebung, die sowohl als Einzel- als auch als Gruppen-Pre- und Post-Test durchgeführt wurde, getrennt durch eine 7-wöchige Unterrichtseinheit. Die Analyse konzentrierte sich spezifisch auf den Übergang zwischen der Einzel- und der Gruppensitzung sowohl für den Pre- als auch für den Post-Test.

Zentrale Ergebnisse
Die Analyse der Übergangsmatrizen lieferte mehrere kritische Erkenntnisse, die durch die allgemeine Leistungsbewertung nicht ersichtlich waren:

• Gesamtleistung vs. Ressourcenstabilität: Während ein gepaarter t-Test eine signifikante Verbesserung der Gesamtkurswerte vom Pre- zum Post-Test zeigte, verdeutlichte die TMA, dass die Studierenden nicht zwangsläufig ihr Verständnis des spezifischen Konzepts (Leistung in Gleichstromkreisen) festigten.
• Effekte der Gruppenarbeit: Sowohl im Pre- als auch im Post-Test wechselten Studierende während der Gruppensitzungen häufig von der wissenschaftlich produktiven Ressource ($S$) zu unproduktiven Ressourcen ($R_1$ und $R_2$).
• Persistenz unproduktiver Ressourcen: Die Diagonalelemente der Übergangsmatrix ($T_{R1R1}$ und $T_{R2R2}$) zeigten an, dass Studierende ihre unproduktiven Ressourcen mit hohen Raten beibehielten.
• Verschlechterungstrends: Ein Vergleich der Pre- und Post-Test-Übergangsmatrizen mittels t-Tests zeigte, dass Studierende in den Post-Test-Gruppensitzungen ihre unproduktiven Ressourcen ($R_1$ und $R_2$) signifikant häufiger beibehielten als im Pre-Test, und die produktive Ressource ($S$) signifikant seltener beibehielten. Speziell nahm der Übergang $T_{SS}$ signifikant ab, während $T_{R1R1}$ und $T_{R2R2}$ signifikant zunahmen.
• Kontextabhängigkeit: Die Daten stützen die Ansicht, dass die Ressourcenaktivierung kontextabhängig ist; die Studierenden wandten die korrekte Argumentation nicht konsistent über die ressourcenequivalenten Fragen hinweg an, und die Gruppeninteraktion verstärkte teilweise die fehlerhafte Argumentation.

Bedeutung und Ansprüche
Das Paper behauptet, dass die Übergangsmatrix-Analyse eine nuanciertere Perspektive als die traditionelle Gewinnanalyse bietet, indem sie die Dynamik der Aktivierung kognitiver Ressourcen offenlegt.

• Diagnostischer Wert: Die TMA kann erkennen, wenn Unterrichtsinterventionen oder Gruppenarbeiten daran scheitern, produktive Ressourcen zu stabilisieren, selbst wenn die allgemeinen Testergebnisse steigen. In dieser Studie zeigte sie auf, dass Gruppenarbeit hinsichtlich der Leistung in Gleichstromkreisen ($R_1$ und $R_2$) unbeabsichtigt unproduktive Ressourcen verstärken kann.
• Proof of Concept: Die Studie dient als Beleg für die Anwendbarkeit mathematischer Modellierung (speziell Übergangsmatrizen) in der Physikdidaktik zur Beschreibung von Lernprozessen.
• Zukünftige Richtungen: Die Autoren schlagen bescheiden vor, dass dieser Ansatz, falls er sich als fruchtbar erweist, Experten dazu motivieren könnte, bestehende konzeptionelle Assessments zu überprüfen, um die zugrunde liegenden kognitiven Ressourcen für jede Option zu identifizieren, und die intentionale Gestaltung von „ressourcenequivalenten“ Fragen in zukünftigen Erhebungen zu fördern.
• Limitierungen: Die Autoren räumen ein, dass die Zuordnung von Antwortmöglichkeiten zu Ressourcen eine Annahme ist, da die DIRECT-Erhebung ursprünglich unter dem Misconception-Framework entwickelt wurde. Sie merken an, dass die Annahme, dass verschiedene Studierende, die dieselbe Option wählen, ähnliche Ressourcen aktivieren, durch Methoden wie Interviews weiter validiert werden muss.