Transition Matrix Analysis Analyzing Students Use of Cognitive Resources in Physics

Resumo Técnico: Análise de Matriz de Transição dos Recursos Cognitivos de Estudantes em Física

Definição do Problema
A análise tradicional de levantamentos conceituais na educação em física, como o Force Concept Inventory (FCI) ou o Determining and Interpreting Resistive Electric Circuit Concepts Test (DIRECT), foca tipicamente nos ganhos de desempenho entre pré-teste e pós-teste para avaliar intervenções pedagógicas. Esta abordagem agrega os dados em métricas de acerto/erro, obscurecendo, assim, as opções incorretas específicas selecionadas pelos estudantes. Consequentemente, ela falha em revelar a estabilidade, a coerência e a dependência de contexto das estruturas de conhecimento subjacentes dos estudantes. Enquanto o modelo de "equívoco" (misconception) vê os erros dos estudantes como teorias alternativas estáveis, o modelo de "recursos" (resources framework) postula que o conhecimento do estudante é fragmentado, consistindo em pequenos recursos cognitivos ativados de forma inconsistente dependendo do contexto. Os autores argumentam que focar apenas nas respostas corretas ignora as opções incorretas, que poderiam informar a estabilidade desses recursos cognitivos.

Metodologia
Os autores propõem uma Análise de Matriz de Transição (TMA) guiada pelo modelo de recursos para analisar dados de levantamentos conceituais. A metodologia envolve as seguintes etapas:

1. Identificação de Questões Equivalentes em Recursos: Um subconjunto de questões é selecionado de um levantamento validado. Estas questões devem compartilhar o mesmo princípio físico subjacente, mas diferir no contexto. Crucialmente, o conjunto de opções de resposta através destas questões deve corresponder ao mesmo conjunto de recursos cognitivos.
2. Mapeamento de Escolhas para Recursos: Cada opção de múltipla escolha é mapeada para um recurso cognitivo específico. Neste estudo, os autores mapearam as escolhas de três questões do DIRECT (Q3, Q7, Q12) relativas à potência de circuitos CC para quatro recursos:
   • $S$: Recurso cientificamente produtivo.
   • $R_1$: Recurso de fonte de corrente constante (a bateria fornece corrente constante independentemente da configuração do circuito).
   • $R_2$: Recurso de superposição (mais baterias sempre resultam em mais brilho/potência).
   • $Null$: Recursos utilizados por muito poucos estudantes (para manter a completude do vetor).
3. Construção do Vetor de Estado: Para um estudante $k$ respondendo a $m$ questões, um vetor de distribuição de probabilidade $\vec{Q}_k$ é definido, onde os elementos $\rho_i$ representam a probabilidade de ativar o recurso $i$ ($\rho_i = n_i/m$).
4. Cálculo da Matriz de Transição: A mudança na ativação de recursos do pré-teste (estado inicial $\vec{Q}_i$) para o pós-teste (estado final $\vec{Q}_f$) é modelada por uma matriz de transição $T$ tal que $\vec{Q}_f = T\vec{Q}_i$. O elemento da matriz $T_{ij}$ representa a probabilidade condicional de um estudante que utilizou o recurso $j$ no pré-teste mudar para o recurso $i$ no pós-teste.
5. Agregação: As matrizes individuais dos estudantes são calculadas pela média para gerar uma matriz de transição de nível de classe, permitindo que pesquisadores acompanhem as mudanças médias na ativação de recursos em toda a coorte.

Aplicação Experimental
O método foi aplicado a dados de $N=135$ estudantes de licenciatura em educação básica matriculados em um curso de física conceitual. O estudo utilizou o levantamento DIRECT administrado tanto como pré-teste e pós-teste individual quanto em grupo, separados por uma unidade instrucional de 7 semanas. A análise focou especificamente na transição entre a sessão individual e a sessão em grupo tanto para o pré-teste quanto para o pós-teste.

Resultos Principais
A análise das matrizes de transição revelou vários insights críticos que não eram aparentes nos escores de desempenho geral:

• Desempenho Geral vs. Estabilidade de Recursos: Embora um teste t para amostras pareadas tenha mostrado uma melhoria significativa nos escores gerais da classe do pré-teste para o pós-teste, a TMA revelou que os estudantes não necessariamente solidificaram sua compreensão do conceito específico (potência de circuito CC).
• Efeitos do Trabalho em Grupo: Tanto no pré-teste quanto no pós-teste, os estudantes frequentemente mudaram do recurso cientificamente produtivo ($S$) para recursos improdutivos ($R_1$ e $R_2$) durante as sessões de grupo.
• Persistência de Recursos Improdutivos: Os elementos diagonais da matriz de transição ($T_{R1R1}$ e $T_{R2R2}$) indicaram que os estudantes retiveram seus recursos improdutivos em taxas elevadas.
• Tendências de Piora: Comparando as matrizes de transição de pré-teste e pós-teste via testes t, observou-se que, nas sessões de grupo do pós-teste, os estudantes retiveram recursos improdutivos ($R_1$ e $R_2$) significativamente mais vezes do que no pré-teste, e retiveram o recurso produtivo ($S$) significativamente menos vezes. Especificamente, a transição $T_{SS}$ diminuiu significativamente, enquanto $T_{R1R1}$ e $T_{R2R2}$ aumentaram significativamente.
• Dependência de Contexto: Os dados apoiam a visão de que a ativação de recursos é dependente do contexto; os estudantes não aplicaram consistentemente o raciocínio correto através das questões equivalentes em recursos, e a interação em grupo por vezes reforçou o raciocínio incorreto.

Significância e Alegações
O artigo alega que a Análise de Matriz de Transição oferece uma perspectiva mais matizada do que a análise de ganho tradicional ao expor a dinâmica da ativação de recursos cognitivos.

• Valor Diagnóstico: A TMA pode detectar quando intervenções instrucionais ou o trabalho em grupo falham em estabilizar recursos produtivos, mesmo quando os escores gerais de teste melhoram. Neste estudo, destacou que o trabalho em grupo pode inadvertidamente reforçar recursos improdutivos ($R_1$ e $R_2$) em relação à potência de circuitos.
• Prova de Conceito: O estudo serve como uma prova de conceito para a aplicação de modelagem matemática (especificamente matrizes de transição) na pesquisa em educação em física para descrever processos de aprendizagem.
• Direções Futuras: Os autores sugerem modestamente que, se esta abordagem se mostrar frutífera, poderá motivar especialistas a revisitar levantamentos conceituais existentes para identificar recursos cognitivos subjacentes para cada opção e incentivar o design intencional de questões "equivalentes em recursos" em futuros levantamentos.
• Limitações: Os autores reconhecem que o mapeamento de escolhas para recursos é uma suposição, uma vez que o levantamento DIRECT foi originalmente desenvolvido sob o modelo de equívoco. Eles observam que a suposição de que diferentes estudantes selecionando a mesma opção estão ativando recursos similares requer validação adicional através de métodos como entrevistas.