Using an LLM to Investigate Students' Explanations on Conceptual Physics Questions

Resumen Técnico: Uso de un LLM para Investigar las Explicaciones de los Estudiantes sobre Preguntas de Física Conceptual

Planteamiento del Problema
Las evaluaciones de opción múltiple (OM) basadas en investigación, como la Encuesta Conceptual de Energía y Momento (EMCS), son herramientas estándar para evaluar la comprensión conceptual en física debido a su escalabilidad. Sin embargo, los autores argumentan que los formatos de OM presentan limitaciones significativas: no logran descubrir las diversas formas en que los estudiantes razonan sobre conceptos de física, no revelan los recursos conceptuales específicos que los estudiantes activan y pueden reforzar inadvertidamente asociaciones incorrectas mediante la exposición repetida a distractores. Si bien las respuestas escritas abiertas ofrecen perspectivas pedagógicas más profundas, su calificación a gran escala (por ejemplo, en cursos con $N > 1,000$) es prohibitivamente laboriosa y propensa a inconsistencias. El estudio aborda la necesidad de un método escalable y consistente para evaluar las explicaciones escritas de los estudiantes e identificar estos recursos conceptuales subyacentes.

Metodología
El estudio se realizó en un curso de física basado en cálculo de primer semestre en una gran universidad de EE. UU., con la participación de 1,131 estudiantes. Los investigadores administraron la EMCS como prueba previa y prueba posterior. Para la prueba posterior, tres preguntas específicas (Q05, Q16 y Q23) se convirtieron de su formato original de opción múltiple a prompts escritos abiertos. Estas preguntas se seleccionaron basándose en literatura que indicaba ganancias bajas en la prueba posterior y un rendimiento deficiente, lo que sugiere que los estudiantes activan frecuentemente recursos conceptuales improductivos en estos ítems.

Se instruyó a los estudiantes para que respondieran utilizando el marco de Reclamación-Evidencia-Razonamiento (CER), un método que habían practicado durante todo el semestre. El análisis de datos utilizó el Modelo de Lenguaje Grande (LLM) GPT-4o de OpenAI. El LLM fue instruido mediante una plantilla estructurada que actuaba como un "educador experto en física" con una rúbrica específica para:

1. Evaluar la corrección de la reclamación del estudiante (respuesta).
2. Evaluar la corrección de la evidencia y el razonamiento.
3. Asignar categorías emergentes a las explicaciones incorrectas basadas en patrones conceptuales distintos (hasta seis categorías).
4. Utilizar la instrucción de "cadena de pensamiento" para recorrer los principios de física antes de puntuar.

Para validar el rendimiento del LLM, un calificador humano (CH) analizó independientemente una muestra aleatoria del 20% ($N=231$) de las respuestas. El estudio midió el acuerdo utilizando el kappa de Cohen y comparó el porcentaje de clasificaciones correctas. El LLM también se probó para verificar la consistencia en múltiples ejecuciones con una configuración de temperatura de 0.5.

Resultados Clave

• Precisión de la Calificación: El LLM demostró un alto acuerdo con los calificadores humanos. La discrepancia en la corrección general (reclamación respaldada por un razonamiento correcto) fue notablemente baja, oscilando entre 0% y 3% en las tres preguntas. El kappa de Cohen medio entre el LLM y el calificador humano fue de 0.77 (acuerdo sustancial a casi perfecto), con puntuaciones individuales por pregunta de 0.74, 0.65 y 0.89.
• Categorías Emergentes: El LLM generó con éxito categorías emergentes para explicaciones incorrectas que no estaban predefinidas. Por ejemplo, en la Q05, el LLM identificó categorías como "Aplicación incorrecta del tipo de colisión" y "Identificación incorrecta del tipo de colisión", las cuales no estaban presentes en los distractores originales de OM.
• Revelación de Malentendidos Ocultos: El análisis reveló casos en los que los estudiantes proporcionaron la reclamación correcta (respuesta) basada en un razonamiento incorrecto o improductivo. En el formato de OM, estos estudiantes habrían sido marcados como correctos; sin embargo, el LLM identificó los recursos conceptuales defectuosos (por ejemplo, la aplicación incorrecta de la conservación del momento en un contexto de colisión inelástica) que llevaron a la respuesta correcta por azar o lógica defectuosa.
• Consistencia: El LLM produjo categorías emergentes consistentes en múltiples ejecuciones, con una baja desviación estándar en el porcentaje de estudiantes marcados como completamente correctos.

Significado y Afirmaciones
Los autores afirman dos contribuciones principales:

1. Fiabilidad: Los LLM instruidos adecuadamente (específicamente GPT-4o) pueden evaluar de manera fiable la corrección general de las respuestas escritas de los estudiantes, incluyendo tanto la respuesta como la explicación de apoyo, con niveles de acuerdo comparables a los de los calificadores humanos. Esto sugiere que los LLM pueden aliviar el cuello de botella de la calificación de preguntas de física abiertas a gran escala.
2. Profundidad de la Perspectiva: El análisis basado en LLM revela categorías emergentes de razonamiento incorrecto que no son capturadas por las opciones fijas de las evaluaciones tradicionales de OM. El estudio demuestra que los LLM pueden descubrir "una miríada de formas de pensar" y recursos conceptuales específicos (tanto productivos como improductivos) que permanecen ocultos en los formatos estándar de OM.

El artículo concluye que, si bien las evaluaciones de OM son suficientes para cuantificar el porcentaje de estudiantes con concepciones correctas, los LLM ofrecen una vía prometedora para que los educadores aíslen malentendidos específicos e investiguen la riqueza del razonamiento de los estudiantes en cursos de gran matrícula. Los autores señalan una limitación respecto al subconjunto de preguntas utilizado (debido a preocupaciones sobre la fatiga de los estudiantes) y declaran que el trabajo futuro buscará expandir este análisis a toda la EMCS y a evaluaciones de física más complejas.