AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
Este estudio demuestra que los modelos de lenguaje de gran tamaño basados en prompts pueden identificar de manera confiable categorías conceptuales en respuestas matemáticas abiertas de estudiantes sin necesidad de un ajuste fino, logrando una alta precisión para características positivas y comprensión conceptual profunda, al tiempo que destaca la necesidad de apoyo de expertos en el ciclo y de prompts lingüísticamente explícitos para abordar los desafíos en la verificación de características ausentes o la resolución de ambigüedades.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el aula, los momentos más valiosos suelen ocurrir no cuando un estudiante obtiene la respuesta correcta, sino cuando explica cómo llegó a ella. Los docentes saben desde hace tiempo que para comprender verdaderamente la mente de un alumno, deben mirar más allá del número final y observar el razonamiento que hay detrás. Este es el corazón de la evaluación formativa: un proceso de comprobación del aprendizaje mientras este está ocurriendo, de modo que la instrucción pueda ajustarse para ayudar al estudiante a avanzar. Sin embargo, existe un problema práctico. Cuando los estudiantes escriben sus pensamientos, dibujan imágenes o crean sus propios problemas de palabras, el profesor se enfrenta a una montaña de texto que leer e interpretar. Hacer esto profundamente para cada estudiante requiere un tiempo que rara vez existe en una jornada escolar agitada. Como resultado, muchos profesores terminan calificando solo las respuestas finales, perdiéndose los ricos conocimientos ocultos en las explicaciones de los estudiantes.
Durante años, los investigadores han intentado construir computadoras que pudieran leer estas explicaciones y detectar los patrones de pensamiento en su interior. Los primeros intentos fallaron a menudo porque dependían de reglas rígidas o requerían cantidades masivas de datos previamente etiquetados para aprender. La llegada de los modelos de lenguaje de gran tamaño —potentes sistemas informáticos entrenados en vastas cantidades de texto para comprender y generar lenguaje humano— ha reabierto la cuestión. Estos modelos pueden seguir instrucciones escritas en lenguaje sencillo sin necesidad de ser reentrenados para cada tarea específica. Pero persiste una duda crítica: ¿puede una máquina que es excelente en el lenguaje comprender realmente la lógica específica y, a menudo, sutil, de las matemáticas? ¿Puede distinguir entre un estudiante que comprende verdaderamente un concepto y uno que solo está adivinando o utilizando las palabras adecuadas por razones equivocadas?
Un investigador de la Universidad de Dortmund se propuso responder a esta pregunta en el contexto de la educación matemática. Quería saber si estas nuevas herramientas de IA podían identificar de manera fiable tipos específicos de pensamiento estudiantil en respuestas matemáticas abiertas, y si podían hacerlo con la suficiente eficacia como para ser útiles en un aula real. El estudio se centró en dos áreas principales: los números naturales y las fracciones. El investigador recopiló miles de respuestas escritas de estudiantes de quinto y sexto grado. A estos estudiantes se les pidió realizar tareas como explicar por qué una fracción funciona de cierta manera o crear su propio problema de palabras para una ecuación matemática dada. El objetivo era ver si una IA, guiada por un conjunto de instrucciones escritas por un experto humano, podía clasificar estas respuestas en categorías significativas, tales como "muestra una comprensión profunda", "tiene un concepto erróneo específico" o "no proporciona evidencia de comprensión".
El investigador probó cuatro modelos diferentes de IA de código abierto, que son versiones de la tecnología que las escuelas pueden alojar en sus propios servidores para proteger la privacidad de los estudiantes. Comparó la calificación de la IA frente a la de expertos humanos. Los resultados fueron sorprendentemente positivos. A través de más de 13,000 respuestas codificadas, los modelos de IA lograron un alto nivel de concordancia con los expertos humanos, identificando correctamente las categorías principales del pensamiento de los estudiantes aproximadamente el 82 por ciento de las veces. Este rendimiento fue constante en diferentes tipos de problemas matemáticos y en diferentes modelos. La IA fue particularmente buena detectando cuándo un estudiante explicaba correctamente un concepto, como entender que la multiplicación implica agrupar elementos, o cuando un estudiante cometía un error claro y específico en su razonamiento.
Sin embargo, el estudio también reveló dónde las máquinas chocaban con un muro. Cuando la tarea requería que la IA realizara una simple comprobación aritmética —como verificar si los números en la historia de un estudiante realmente sumaban correctamente—, los modelos presentaban dificultades. También tenían problemas cuando la respuesta de un estudiante era muy corta o vaga, o cuando el estudiante utilizaba un lenguaje ambiguo. En estas situaciones complicadas, la IA tendía a adivinar, asumiendo a menudo que el estudiante comprendía más de lo que realmente comprendía. El investigador encontró que la IA funcionaba aproximadamente tan bien como un lector humano no experto, como un estudiante de profesor, pero no podía igualar el desempeño de un experto experimentado que puede detectar instantáneamente errores conceptuales profundos o verificar cálculos.
El hallazgo más significativo no fue solo que la IA funciona, sino cómo funciona y dónde necesita ayuda. El investigador descubrió que la IA es más fiable cuando la respuesta del estudiante es lingüísticamente explícita. Si un estudiante utiliza palabras claras para describir una estructura de agrupación, la IA la detecta fácilmente. Si el estudiante es vago, la IA se pierde. Esto sugiere que el diseño de las preguntas de las pruebas en sí mismo importa inmensamente; las preguntas que instan a los estudiantes a escribir de forma clara y completa producirán mejores resultados de las herramientas de IA. Además, el estudio conclió que estas herramientas de IA no deben verse como reemplazos de los profesores. En cambio, actúan como un poderoso catalizador. Pueden realizar el trabajo pesado de leer y clasificar miles de respuestas, señalando aquellas que necesitan la mirada humana. Esto libera al profesor para que pueda centrarse en los casos más difíciles y tomar las decisiones instructivas finales basadas en una imagen más clara y organizada de la comprensión de la clase.
El investigador enfatiza que la IA es una herramienta para el profesor, no un sustituto de su juicio. El sistema está diseñado para trabajar en un bucle donde la máquina proporciona un primer borrador del análisis, y el profesor humano lo revisa, corrigiendo cualquier error y añadiendo el contexto necesario que solo una persona puede proporcionar. Este enfoque respeta la complejidad de la enseñanza al tiempo que reconoce los límites prácticos del tiempo humano. Al utilizar la IA para gestionar la clasificación inicial, los profesores pueden potencialmente comprometerse con el pensamiento conceptual profundo de cada estudiante, en lugar de solo con unos pocos. El estudio confirma que, si bien la IA aún no puede reemplazar la comprensión matizada de un maestro experimentado, ha alcanzado un punto en el que puede hacer que el sueño de una evaluación formativa profunda y personalizada en matemáticas sea una realidad práctica para las escuelas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.