Using LLMs to Detect Growth in Computational Thinking in Introductory Physics

Resumo Técnico: Uso de LLMs para Detectar o Crescimento no Pensamento Computacional em Física Introdutória

Definição do Problema
À medida que a computação se torna um "terceiro pilar" da educação em física, ao lado do experimento e da teoria, os educadores enfrentam o desafio de promover um Pensamento Computacional (PC) autêntico, em vez de apenas habilidades superficiais de programação. Embora respostas escritas abertas ofereçam uma janela rica para o raciocínio do aluno e a integração de leis físicas com o código, avaliar essas respostas em escala é intensivo em recursos e frequentemente sofre com problemas de confiabilidade interavaliador. Por outro lado, avaliações de múltipla escolha carecem da profundidade necessária para capturar modelos mentais. A crescente disponibilidade de IA generativa complica ainda mais a avaliação ao permitir que os alunos contornem o esforço cognitivo. Este estudo aborda a necessidade de um método escalável e confiável para avaliar avaliações de PC abertas e complexas em cursos de física de grande matrícula, investigando especificamente se Modelos de Linguagem de Grande Escala (LLMs) podem efetivamente espelhar a avaliação humana do crescimento dos alunos nas práticas de PC.

Metodologia
O estudo utilizou um design pré-teste/pós-teste com 936 alunos em um curso de física para engenharia baseado em cálculo em uma grande universidade do Meio-Oeste. O curso integrou fortemente a computação, exigindo laboratórios semanais baseados em Python.

1. Desenvolvimento do Instrumento: Três questões de pesquisa abertas foram desenvolvidas com base na taxonomia de Weintrop et al. para PC, cobrindo quatro domínios: Práticas de Dados (DP), Práticas de Resolução de Problemas Computacionais (CPP), Práticas de Modelagem e Simulação (MSP) e Práticas de Pensamento Sistêmico (STP).
   • Q25: Interpretou um gráfico de energia vs. posição gerado por Python (DP, CPP, STP).
   • Q26: Rastreou a lógica algorítmica em um script Python para colisão elástica (CPP, STP).
   • Q27: Propôs parâmetros para uma simulação de trenó (MSP, STP).
2. Linha de Base Humana: Uma rubrica especializada foi desenvolvida para pontuar as respostas em uma escala de 0 a 2 para cada prática de PC e Correção Física. Três pesquisadores codificaram independentemente um subconjunto de 50 alunos (300 respostas) para estabelecer uma "verdade fundamental" (ground truth) via voto majoritário após alcançarem consenso sobre as definições operacionais. A confiabilidade interavaliador (Fleiss' $\kappa$) foi calculada.
3. Validação do LLM: Um LLM multimodal (GPT-5.4-mini) foi implementado via API. O modelo recebeu a imagem da pesquisa, o texto do prompt e a resposta do aluno. Usando um prompt estruturado que atribuía ao modelo o papel de um pesquisador especialista em educação física e fornecia a rubrica humana exata, o LLM gerou justificativas e pontuações. Para garantir a consistência, a temperatura foi definida em 0.2, e cada resposta foi avaliada em três execuções independentes, com a pontuação final determinada por voto majoritário.
4. Análise: As pontuações do LLM no subconjunto de 50 alunos foram comparadas com a linha de base humana para calcular a concordância. Subsequentemente, o pipeline validado do LLM foi aplicado ao conjunto de dados completo ($N=936$) para detectar tendências de crescimento.

Principais Resultados

• Confiabilidade Humana: Os codificadores humanos alcançaram concordância substancial em tarefas explícitas (MSP $\kappa=0.80$, DP $\kappa=0.80$) e Correção Física ($\kappa=0.73$). A concordância foi menor para o constructo mais complexo de Pensamento Sistêmico (STP) ($\kappa=0.51$), refletindo sua inerente demanda cognitiva.
• Crescimento do Aluno (Graduado por Humanos): A análise do subconjunto graduado por humanos revelou crescimento significativo em Práticas de Dados ($d=1.03$), Resolução de Problemas Computacionais ($d=0.52$) e Pensamento Sistêmico ($d=0.45$). A Correção Física mostrou crescimento de pequeno a moderado ($d=0.31$). Nenhum crescimento significativo foi observado em Práticas de Modelagem e Simulação ($d=0.00$), atribuído a um "efeito de teto", onde os alunos entraram no curso com conhecimento prévio suficiente para pontuar alto no prompt inicial.
• Desempenho do LLM: O LLM demonstrou concordância substancial com os avaliadores humanos em práticas bem definidas (DP $\kappa=0.90$, MSP $\kappa=0.78$, CPP $\kappa=0.69$). A concordância foi menor para constructos complexos e de múltiplos componentes (Correção Física $\kappa=0.53$, STP $\kappa=0.48$), espelhando a menor confiabilidade observada entre os codificadores humanos.
• Escalabilidade: Ao ser aplicado ao conjunto de dados completo, o LLM reproduziu com sucesso as tendências macroscópicas identificadas pelos avaliadores humanos, detectando crescimento significativo em DP e CPP nas questões Q25 e Q26, e confirmando a falta de crescimento em MSP na Q27.

Principais Contribuições

• Validação de LLMs para Avaliação de PC: O estudo demonstra que os LLMs podem servir como um mecanismo viável e escalável para avaliar avaliações abertas de PC, alcançando níveis de concordância comparáveis aos de especialistas humanos, particularmente para práticas claramente definidas.
• Evidência Empírica de Crescimento de PC: A pesquisa fornece evidências quantitativas do crescimento dos alunos em domínios específicos de PC (DP, CPP, STP) dentro de um currículo de física computacionalmente intensivo, ao mesmo tempo em que destaca a dificuldade de medir o crescimento em áreas onde os alunos possuem alto conhecimento prévio.
• Identificação de Limites de Avaliação: O estudo identifica que tanto os avaliadores humanos quanto os de IA têm dificuldades com constructos integrados e complexos, como o Pensamento Sistêmico, sugerindo que as rubricas e os prompts atuais podem precisar de refinamento para distinguir entre identificar componentes do sistema e explicar suas interações.

Significância e Alegações
Os autores afirmam que os LLMs oferecem uma solução prática para o problema de escalabilidade na pesquisa qualitativa em educação física. O estudo postula que os LLMs não apenas automatizam a correção, mas podem detectar de forma confiável tendências pedagógicas fundamentais (como o crescimento nas práticas de dados) em grandes populações. No entanto, os autores mantêm-se modestos quanto à avaliação de constructos altamente integrados; eles concluem que, embora os LLMs tenham desempenho comparável aos especialistas humanos, a variância na pontuação para constructos complexos como STP decorre da própria dificuldade do constructo, e não de uma deficiência do modelo. Consequentemente, o artigo argumenta que os LLMs são eficazes para avaliação formativa escalável, mas requerem um design de rubrica cuidadoso e supervisão humana ao avaliar o raciocínio complexo. O estudo não afirma que os LLMs resolveram o problema de avaliar o raciocínio complexo, mas sim que eles fornecem um caminho viável para escalar a avaliação do PC dos alunos em cursos de grande matrícula.