🔬 physics

Using LLMs to Detect Growth in Computational Thinking in Introductory Physics

Este estudio demuestra que los modelos de lenguaje de gran tamaño pueden escalar eficazmente la evaluación del crecimiento de los estudiantes en el pensamiento computacional dentro de cursos introductorios de física al reflejar las evaluaciones humanas de explicaciones escritas para las prácticas de datos y la resolución de problemas, aunque ambos métodos enfrentan desafíos para evaluar de manera confiable constructos complejos como el pensamiento sistémico.

Autores originales: Sean Savage, Anand Shanker, Grace Michlitsch, N. Sanjay Rebello

Publicado 2026-08-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sean Savage, Anand Shanker, Grace Michlitsch, N. Sanjay Rebello

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la física no solo como una colección de fórmulas en una pizarra, sino como un videojuego masivo e interactivo donde las leyes de la naturaleza son el código. Durante décadas, los profesores han intentado que los estudiantes dejen de simplemente memorizar las reglas y comiencen a escribir el código ellos mismos. Esta habilidad se llama "Pensamiento Computacional". No se trata solo de escribir rápido o conocer la sintaxis de la computadora; se trata de descomponer un problema del mundo real, gigante y desordenado (como un choque de autos o la órbita de un planeta), en pasos lógicos y diminutos que una computadora pueda entender. Es como ser un traductor que habla tanto "Humano" como "Máquina", descubriendo cómo describir una manzana que cae para que un robot pueda predecir exactamente dónde aterrizará.

La gran pregunta para los educadores es: ¿Cómo sabemos si los estudiantes realmente están mejorando en este trabajo de traducción? Tradicionalmente, los profesores han utilizado exámenes de opción múltiple, que son fáciles de calificar pero terribles para mostrar cómo piensa un estudiante. Para ver el pensamiento real, los estudiantes tienen que escribir sus respuestas con palabras. Pero aquí está el inconveniente: leer cientos de ensayos escritos a mano es agotador, lento y costoso. Es como intentar calificar un millón de ensayos a mano mientras el reloj sigue corriendo. Ahora, un nuevo tipo de "superlector" ha llegado: la Inteligencia Artificial (IA), específicamente los Modelos de Lenguaje Extensos (LLM). Estos son los mismos tipos de computadoras inteligentes que pueden escribir historias o charlar contigo. La pregunta ardiente es: ¿Pueden estos bots de IA leer los ensayos de los estudiantes y detectar el crecimiento en sus habilidades de pensamiento tan bien como lo hace un profesor humano, pero sin las pausas para el café?

Este artículo, escrito por investigadores de la Universidad de Purdue, se propone responder a esa pregunta. Querían ver si una IA podía actuar como un asistente de enseñanza gigante e incansable para rastrear cómo evoluciona el pensamiento computacional de los estudiantes a lo largo de un semestre. No solo le pidieron a la IA que calificara; le pidieron que buscara "superpoderes" específicos en la escritura de los estudiantes: ¿Pueden manejar datos? ¿Pueden descomponer problemas? ¿Pueden entender cómo funcionan juntos los sistemas complejos?

Para probar esto, los investigadores reunieron a 936 estudiantes en una clase de física donde aprendieron a programar en Python. Antes de que comenzara la clase y después de que terminara, los estudiantes respondieron preguntas abiertas sobre problemas de física, como interpretar un gráfico de un resorte que rebota o diseñar una simulación para un trineo que se desliza por una colina. Primero, un equipo de expertos humanos leyó una pequeña muestra de estos ensayos y les asignó puntajes basados en una rúbrica estricta. Esto creó un "estándar de oro" de lo que un humano considera una buena respuesta. Luego, alimentaron al modelo de IA con los mismos ensayos (específicamente una versión multimodal de GPT-5.4-mini) y le pidieron que los calificara usando las mismas reglas.

Los resultados fueron sorprendentemente prometedores. La IA resultó ser una asistente muy capaz. Para habilidades claras, como el manejo de datos (Prácticas de Datos) y la descomposición de pasos de código (Resolución de Problemas Computacionales), las calificaciones de la IA coincidieron casi perfectamente con las de los expertos humanos. Cuando los investigadores observaron al grupo completo de 936 estudiantes, la IA detectó con éxito las mismas grandes tendencias que encontraron los humanos: los estudiantes mejoraron significativamente en el manejo de datos y la resolución de problemas computacionales hacia el final del semestre. De hecho, la IA confirmó que los estudiantes dieron saltos enormes en estas áreas, mostrando las habilidades de datos una mejora masiva.

Sin embargo, la historia no es un relato perfecto de "la IA gana en todo". Los investigadores encontraron que tanto los humanos como la IA tuvieron dificultades con la habilidad más compleja: el "Pensaje de Sistemas". Esta es la capacidad de ver cómo todas las partes diminutas de un sistema interactúan para crear un panorama general. Debido a que este concepto es tan difuso y difícil de definir, incluso los expertos humanos discreparon entre sí a veces, y la IA tuvo dificultades para igualarlos. El artículo sugiere que la IA no es "tonta" en este punto; más bien, la tarea en sí es muy difícil de definir claramente.

También hubo un giro divertido con una pregunta específica sobre el diseño de una simulación de un trineo. Los estudiantes ya eran tan buenos en este tema antes de que comenzara la clase que no podían mejorar mucho. Era como pedirle a un chef profesional que mejorara sus habilidades con el cuchillo cuando ya estaba usando los cuchillos más afilados del mundo. Las puntuaciones alcanzaron un "techo", lo que significa que no había espacio para medir el crecimiento, y la IA identificó correctamente que no hubo progreso allí.

Al final, el estudio demuestra que la IA es una herramienta viable y poderosa para verificar cómo aprenden a pensar los físicos computacionales. Puede escalar para leer miles de ensayos y encontrar los mismos patrones que los humanos, ahorrando a los profesores el trabajo de ahogarse en papeleo. Pero también sirve como un recordatorio de que la IA es tan buena como las reglas que le damos. Para las partes desordenadas y complejas del pensamiento donde incluso los humanos discrepan, todavía necesitamos un diseño cuidadoso y supervisión humana. La IA no está reemplazando al profesor; le está entregando una lupa superpotente para ver el crecimiento que ya estaba ocurriendo.

Resumen Técnico: Uso de LLM para detectar el crecimiento en el Pensamiento Computacional en Física Introductoria

Planteamiento del Problema
A medida que la computación se convierte en un "tercer pilar" de la educación en física junto con la experimentación y la teoría, los educadores enfrentan el desafío de fomentar un Pensamiento Computacional (PC) auténtico en lugar de habilidades de programación superficiales. Si bien las respuestas escritas abiertas ofrecen una ventana rica al razonamiento de los estudiantes y la integración de las leyes físicas con el código, evaluar estas a escala es intensivo en recursos y a menudo sufre de problemas de fiabilidad inter-evaluador. Por el contrario, las evaluaciones de opción múltiple carecen de la profundidad necesaria para capturar modelos mentales. La creciente disponibilidad de la IA generativa complica aún más la evaluación al permitir que los estudiantes eludan el esfuerzo cognitivo. Este estudio aborda la necesidad de un método escalable y fiable para evaluar las evaluaciones de PC abiertas y complejas en cursos de física de gran inscripción, investigando específicamente si los Modelos de Lenguaje de Gran Escala (LLM) pueden reflejar eficazmente la evaluación humana del crecimiento de los estudiantes en las prácticas de PC.

Metodología
El estudio utilizó un diseño de pre-test/post-test con 936 estudiantes en un curso de física para ingeniería basado en cálculo en una gran universidad del Medio Oeste. El curso integraba fuertemente la computación, requiriendo laboratorios semanales basados en Python.

Desarrollo del Instrumento: Se desarrollaron tres preguntas de encuesta abiertas basadas en la taxonomía de Weintrop et al. de PC, que cubren cuatro dominios: Prácticas de Datos (DP), Prácticas de Resolución de Problemas Computacionales (CPP), Prácticas de Modelado y Simulación (MSP) y Prácticas de Pensamiento Sistémico (STP).
- Q25: Interpretó un gráfico de energía vs. posición generado en Python (DP, CPP, STP).
- Q26: Rastreó la lógica algorítmica en un script de Python para una colisión elástica (CPP, STP).
- Q27: Propuso parámetros para una simulación de trineo (MSP, STP).
Línea Base Humana: Se desarrolló una rúbrica especializada para calificar las respuestas en una escala de 0 a 2 para cada práctica de PC y la Corrección Física. Tres investigadores codificaron independientemente un subconjunto de 50 estudiantes (300 respuestas) para establecer una "verdad fundamental" mediante votación mayoritaria tras alcanzar el consenso sobre las definiciones operativas. Se calculó la fiabilidad inter-evaluador (Fleiss' $\kappa$ ).
Validación de LLM: Se desplegó un LLM multimodal (GPT-5.4-mini) a través de una API. El modelo recibió la imagen de la encuesta, el texto del prompt y la respuesta del estudiante. Utilizando un prompt estructurado que asignaba al modelo el rol de un experto investigador en educación física y proporcionaba la rúbrica humana exacta, el LLM generó justificaciones y puntuaciones. Para asegurar la consistencia, la temperatura se fijó en 0.2, y cada respuesta fue evaluada a través de tres ejecuciones independientes, determinándose la puntuación final mediante voto mayoritario.
Análisis: Las puntuaciones del LLM en el subconjunto de 50 estudiantes se compararon con la línea base humana para calcular la concordancia. Posteriormente, el flujo de trabajo validado del LLM se aplicó al conjunto de datos completo ( $N=936$ ) para detectar tendencias de crecimiento.

Resultos Clave

Fiabilidad Humana: Los codificadores humanos lograron un acuerdo sustancial en tareas explícitas (MSP $\kappa=0.80$ , DP $\kappa=0.80$ ) y Corrección Física ( $\kappa=0.73$ ). El acuerdo fue menor para el constructo más complejo de Pensamiento Sistémico (STP) ( $\kappa=0.51$ ), lo que refleja su inherente demanda cognitiva.
Crecimiento del Estudiante (Calificado por Humanos): El análisis del subconjunto calificado por humanos reveló un crecimiento significativo en Prácticas de Datos ( $d=1.03$ ), Resolución de Problemas Computacionales ( $d=0.52$ ) y Pensamiento Sistémico ( $d=0.45$ ). La Corrección Física mostró un crecimiento de pequeño a moderado ( $d=0.31$ ). No se observó un crecimiento significativo en Prácticas de Modelado y Simulación ( $d=0.00$ ), atribuido a un "efecto techo" donde los estudiantes ingresaron al curso con suficiente conocimiento previo para obtener puntuaciones altas en la instrucción inicial.
Desempeño del LLM: El LLM demostró un acuerdo sustancial con los evaluadores humanos en prácticas bien definidas (DP $\kappa=0.90$ , MSP $\kappa=0.78$ , CPP $\kappa=0.69$ ). El acuerdo fue menor para constructos complejos y de múltiples componentes (Corrección Física $\kappa=0.53$ , STP $\kappa=0.48$ ), reflejando la menor fiabilidad observada entre los codificadores humanos.
Escalabilidad: Al aplicarse al conjunto de datos completo, el LLM reprodujo con éxito las tendencias macroscópicas identificadas por los evaluadores humanos, detectando un crecimiento significativo en DP y CPP a través de Q25 y Q26, y confirmando la falta de crecimiento en MSP en Q27.

Contribuciones Clave

Validación de LLM para la Evaluación de PC: El estudio demuestra que los LLM pueden servir como un mecanismo viable y escalable para evaluar las evaluaciones abiertas de PC, logrando niveles de acuerdo comparables con expertos humanos, particularmente para prácticas claramente definidas.
Evidencia Empírica del Crecimiento en PC: La investigación proporciona evidencia cuantitativa del crecimiento de los estudiantes en dominios específicos de PC (DP, CPP, STP) dentro de un currículo de física computacionalmente intensivo, mientras destaca la dificultad de medir el crecimiento en áreas donde los estudiantes poseen un alto conocimiento previo.
Identificación de los Límites de la Evaluación: El estudio identifica que tanto los evaluadores humanos como los de IA tienen dificultades con constructos integrados y complejos como el Pensamiento Sistémico, lo que sugiere que las rúbricas y los prompts actuales pueden necesitar refinamiento para distinguir entre identificar los componentes del sistema y explicar sus interacciones.

Significancia y Reivindicaciones
Los autores afirman que los LLM ofrecen una solución práctica al problema de la escalabilidad en la investigación cualitativa de la educación física. El estudio postula que los LLM no solo automatizan la calificación, sino que pueden detectar de manera fiable tendencias pedagógicas clave (como el crecimiento en las prácticas de datos) en grandes poblaciones. Sin embargo, los autores se mantienen modestos respecto a la evaluación de constructos altamente integrados; concluyen que, si bien los LLM funcionan de manera comparable a los expertos humanos, la varianza en la calificación de constructos complejos como STP proviene de la dificultad inherente del constructo mismo, más que de una deficiencia del modelo. En consecuencia, el artículo argumenta que los LLM son efectivos para la evaluación formativa escalable, pero requieren un diseño de rúbrica cuidadoso y supervisión humana al evaluar el razonamiento complejo. El estudio no pretende que los LLM hayan resuelto el problema de evaluar el razonamiento complejo, sino que proporcionan un camino viable para escalar la evaluación del PC de los estudiantes en cursos de gran inscripción.

Más como este