Using an LLM to Investigate Students' Explanations on Conceptual Physics Questions

Resumo Técnico: Utilização de um LLM para Investigar Explicações de Estudantes em Questões Conceituais de Física

Declaração do Problema
Avaliações baseadas em pesquisa do tipo múltipla escolha (MC), como o Inquérito Conceitual sobre Energia e Momento (EMCS), são ferramentas padrão para avaliar a compreensão conceitual em física devido à sua escalabilidade. No entanto, os autores argumentam que os formatos MC sofrem limitações significativas: não conseguem desvendar as diversas formas pelas quais os estudantes raciocinam sobre conceitos de física, não revelam os recursos conceituais específicos que os estudantes ativam e podem, inadvertidamente, reforçar associações incorretas através da exposição repetida a distratores. Embora respostas escritas abertas ofereçam insights pedagógicos mais profundos, corrigi-las em escala (por exemplo, em cursos com $N > 1.000$) é proibitivamente trabalhoso e propenso a inconsistências. O estudo aborda a necessidade de um método escalável e consistente para avaliar as explicações escritas dos estudantes, a fim de identificar esses recursos conceituais subjacentes.

Metodologia
O estudo foi conduzido em um curso de física baseado em cálculo do primeiro semestre em uma grande universidade dos EUA, envolvendo 1.131 estudantes. Os pesquisadores aplicaram o EMCS como pré-teste e pós-teste. Para o pós-teste, três questões específicas (Q05, Q16 e Q23) foram convertidas de seu formato original de múltipla escolha para prompts escritos abertos. Essas questões foram selecionadas com base na literatura indicando baixos ganhos no pós-teste e desempenho pobre, sugerindo que os estudantes frequentemente ativam recursos conceituais improdutivos nesses itens.

Os estudantes receberam instruções para responder utilizando o quadro Argumento-Evidência-Raciocínio (CER), um método que haviam praticado ao longo do semestre. A análise de dados utilizou o Modelo de Linguagem de Grande Escala (LLM) GPT-4o da OpenAI. O LLM foi instruído por meio de um modelo estruturado atuando como um "educador experiente em física" com uma rubrica específica para:

1. Avaliar a correção da afirmação (resposta) do estudante.
2. Avaliar a correção da evidência e do raciocínio.
3. Atribuir categorias emergentes às explicações incorretas com base em padrões conceituais distintos (até seis categorias).
4. Utilizar a instrução de "cadeia de pensamento" para percorrer os princípios físicos antes de atribuir a pontuação.

Para validar o desempenho do LLM, um avaliador humano (HG) analisou independentemente uma amostra aleatória de 20% ($N=231$) das respostas. O estudo mediu a concordância usando o kappa de Cohen e comparou a porcentagem de classificações corretas. O LLM também foi testado quanto à consistência em múltiplas execuções com uma configuração de temperatura de 0,5.

Principais Resultados

• Precisão na Correção: O LLM demonstrou alta concordância com os avaliadores humanos. A discrepância na correção geral (afirmação apoiada por raciocínio correto) foi notavelmente baixa, variando de 0% a 3% nas três questões. O kappa de Cohen médio entre o LLM e o avaliador humano foi de 0,77 (concordância substancial a quase perfeita), com pontuações individuais por questão de 0,74, 0,65 e 0,89.
• Categorias Emergentes: O LLM gerou com sucesso categorias emergentes para explicações incorretas que não eram predefinidas. Por exemplo, na Q05, o LLM identificou categorias como "Aplicação Incorreta do Tipo de Colisão" e "Identificação Incorreta do Tipo de Colisão", que não estavam presentes nos distratores originais de MC.
• Revelação de Concepções Erradas Ocultas: A análise revelou casos em que os estudantes forneceram a afirmação correta (resposta) baseada em raciocínio incorreto ou improdutivo. No formato MC, esses estudantes teriam sido marcados como corretos; no entanto, o LLM identificou os recursos conceituais falhos (por exemplo, aplicação incorreta da conservação do momento em um contexto de colisão inelástica) que levaram à resposta correta por acaso ou lógica falha.
• Consistência: O LLM produziu categorias emergentes consistentes em múltiplas execuções, com baixo desvio padrão na porcentagem de estudantes marcados como totalmente corretos.

Significado e Afirmações
Os autores afirmam duas contribuições primárias:

1. Confiabilidade: LLMs adequadamente instruídos (especificamente o GPT-4o) podem avaliar com confiabilidade a correção geral das respostas escritas dos estudantes, incluindo tanto a resposta quanto a explicação de suporte, com níveis de concordância comparáveis aos de avaliadores humanos. Isso sugere que os LLMs podem aliviar o gargalo da correção de questões abertas de física em escala.
2. Profundidade de Insight: A análise baseada em LLM revela categorias emergentes de raciocínio incorreto que não são capturadas pelas opções fixas das avaliações tradicionais de MC. O estudo demonstra que os LLMs podem desvendar "inúmeras formas de pensar" e recursos conceituais específicos (tanto produtivos quanto improdutivos) que permanecem ocultos nos formatos MC padrão.

O artigo conclui que, embora as avaliações MC sejam suficientes para quantificar a porcentagem de estudantes com concepções corretas, os LLMs oferecem uma via promissora para que educadores isolem mal-entendidos específicos e investiguem a riqueza do raciocínio dos estudantes em cursos de grande matrícula. Os autores notam uma limitação referente ao subconjunto de questões utilizado (devido a preocupações com fadiga dos estudantes) e afirmam que trabalhos futuros visam expandir essa análise para todo o EMCS e avaliações de física mais complexas.