Transition Matrix Analysis Analyzing Students Use of Cognitive Resources in Physics

Resumen Técnico: Análisis de la Matriz de Transición de los Recursos Cognitivos de los Estudiantes en Física

Planteamiento del Problema
El análisis tradicional de las encuestas conceptuales en la educación de la física, como el Force Concept Inventory (FCI) o el Determining and Interpreting Resistive Electric Circuit Concepts Test (DIRECT), se centra típicamente en las ganancias de rendimiento entre el pre-test y el post-test para evaluar las intervenciones pedagógicas. Este enfoque agrega los datos en métricas de aciertos/errores, ocultando así las opciones incorrectas específicas seleccionadas por los estudiantes. En consecuencia, no logra revelar la estabilidad, la coherencia y la dependencia del contexto de las estructuras de conocimiento subyacentes de los estudiantes. Mientras que el marco de los "concepciones erróneas" (misconceptions) ve los errores de los estudiantes como teorías alternativas estables, el "marco de los recursos" (resources framework) postula que el conocimiento de los estudiantes es fragmentado, compuesto por recursos cognitivos de grano pequeño que se activan de manera inconsistente dependiendo del contexto. Los autores argumentan que centrarse únicamente en las respuestas correctas ignora las opciones incorrectas que podrían informar la estabilidad de estos recursos cognitivos.

Metodología
Los autores proponen un Análisis de la Matriz de Transición (TMA, por sus siglas en inglés) guiado por el marco de los recursos para analizar los datos de las encuestas conceptuales. La metodología implica los siguientes pasos:

1. Identificación de Preguntas Equivalentes en Recursos: Se selecciona un subconjunto de preguntas de una encuesta validada. Estas preguntas deben compartir el mismo principio físico subyacente pero diferir en contexto. Crucialmente, el conjunto de opciones de respuesta en estas preguntas debe corresponder al mismo conjunto de recursos cognitivos.
2. Mapeo de Opciones a Recursos: Cada opción de respuesta múltiple se mapea a un recurso cognitivo específico. En este estudio, los autores mapearon las opciones de tres preguntas del DIRECT (Q3, Q7, Q12) relativas a la potencia en circuitos de CC a cuatro recursos:
   • $S$: Recurso científicamente productivo.
   • $R_1$: Recurso de fuente de corriente constante (la batería suministra corriente constante independientemente de la disposición del circuito).
   • $R_2$: Recurso de superposición (más baterías siempre equivalen a más brillo/potencia).
   • $Null$: Recursos utilizados por muy pocos estudiantes (para mantener la completitud del vector).
3. Construcción del Vector de Estado: Para un estudiante $k$ que responde $m$ preguntas, se define un vector de distribución de probabilidad $\vec{Q}_k$, donde los elementos $\rho_i$ representan la probabilidad de activar el recurso $i$ ($\rho_i = n_i/m$).
4. Cálculo de la Matriz de Transición: El cambio en la activación de recursos del pre-test (estado inicial $\vec{Q}_i$) al post-test (estado final $\vec{Q}_f$) se modela mediante una matriz de transición $T$ tal que $\vec{Q}_f = T\vec{Q}_i$. El elemento de la matriz $T_{ij}$ representa la probabilidad condicional de que un estudiante que utilizó el recurso $j$ en el pre-test cambie al recurso $i$ en el post-test.
5. Agregación: Las matrices individuales de los estudiantes se promedian para generar una matriz de transición a nivel de clase, lo que permite a los investigadores rastrear los cambios promedio en la activación de recursos en toda la cohorte.

Aplicación Experimental
El método se aplicó a datos de $N=135$ estudiantes de educación primaria matriculados en un curso de física conceptual. El estudio utilizó la encuesta DIRECT administrada tanto en una sesión individual como en una grupal, tanto en el pre-test como en el post-test, separadas por una unidad instructiva de 7 semanas. El análisis se centró específicamente en la transición entre la sesión individual y la sesión grupal tanto para el pre-test como para el post-test.

Resultos Clave
El análisis de las matrices de transición reveló varios hallazgos críticos que no eran evidentes en las puntuaciones generales de rendimiento:

• Rendimiento General vs. Estabilidad de Recursos: Aunque una prueba t para muestras pareadas mostró una mejora significativa en las puntuaciones generales de la clase del pre-test al post-test, el TMA reveló que los estudiantes no necesariamente consolidaron su comprensión del concepto específico (potencia en CC).
• Efectos del Trabajo Grupal: Tanto en el pre-test como en el post-test, los estudiantes cambiaron frecuentemente del recurso científicamente productivo ($S$) a recursos improductivos ($R_1$ y $R_2$) durante las sesiones grupales.
• Persistencia de Recursos Improductivos: Los elementos diagonales de la matriz de transición ($T_{R1R1}$ y $T_{R2R2}$) indicaron que los estudiantes retuvieron sus recursos improductivos a tasas elevadas.
• Tendencias de Empeoramiento: Al comparar las matrices de transición de pre-test y post-test mediante pruebas t, se observó que en las sesiones grupales del post-test, los estudiantes retuvieron los recursos improductivos ($R_1$ y $R_2$) significativamente más a menudo que en el pre-test, y retuvieron el recurso productivo ($S$) significativamente menos a menudo. Específicamente, la transición $T_{SS}$ disminuyó significativamente, mientras que $T_{R1R1}$ y $T_{R2R2}$ aumentaron significativamente.
• Dependencia del Contexto: Los datos respaldan la visión de que la activación de recursos depende del contexto; los estudiantes no aplicaron consistentemente el razonamiento correcto a través de las preguntas equivalentes en recursos, y la interacción grupal a veces reforzó el razonamiento incorrecto.

Significancia y Reivindicaciones
El artículo sostiene que el Análisis de la Matriz de Transición ofrece una perspectiva más matizada que el análisis de ganancia tradicional al exponer la dinámica de la activación de los recursos cognitivos.

• Valor Diagnóstico: El TMA puede detectar cuándo las intervenciones instructivas o el trabajo grupal fallan al estabilizar los recursos productivos, incluso cuando las puntuaciones generales de las pruebas mejoran. En este estudio, destacó que el trabajo grupal puede reforzar inadvertidamente los recursos improductivos ($R_1$ y $R_2$) con respecto a la potencia de los circuitos.
• Prueba de Concepto: El estudio sirve como una prueba de concepto para la aplicación del modelado matemático (específicamente las matrices de transición) a la investigación en educación de la física para describir los procesos de aprendizaje.
• Direcciones Futuras: Los autores sugieren modestamente que, si este enfoque resulta fructífero, podría motivar a los expertos a revisar las evaluaciones conceptuales existentes para identificar los recursos cognitivos subyacentes para cada opción y fomentar el diseño intencional de preguntas "equivalentes en recursos" en futuras encuestas.
• Limitaciones: Los autores reconocen que el mapeo de opciones a recursos es una suposición, ya que la encuesta DIRECT fue desarrollada originalmente bajo el marco de las concepciones erróneas. Señalan que la suposición de que diferentes estudiantes que seleccionan la misma opción están activando recursos similares requiere una validación adicional mediante métodos como las entrevistas.