💻 computer science

Automated Scoring of Handwritten Mathematical Problem Posing Using Large Language Models

Este estudio demuestra que el modelo de lenguaje extenso Gemini 3.5 Flash puede lograr una calificación automatizada confiable de tareas de planteamiento de problemas matemáticos manuscritas de secundaria cuando se utiliza un enfoque de prompting zero-shot con una rúbrica estructurada, particularmente para problemas de números enteros y al utilizar entradas de texto OCR revisadas.

Autores originales: Tuğrul Kar, Tarık Kışla, Muhammed Ali Kayici, Burak Aydın

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tuğrul Kar, Tarık Kışla, Muhammed Ali Kayici, Burak Aydın

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un profesor con una montaña de tareas por calificar. Sabes que pedir a los estudiantes que creen sus propios problemas matemáticos es un superpoder para el aprendizaje: fomenta la creatividad y la comprensión profunda. Pero calificar estas respuestas creativas y manuscritas es una pesadilla. Cada estudiante escribe de forma distinta, algunos inventan escenarios imposibles y otros simplemente escriben disparates. Toma muchísimo tiempo, e incluso los profesores humanos pueden discrepar sobre lo que constituye un "buen" problema. Aquí es donde entra la Inteligencia Artificial (IA), prometiendo ser un asistente de calificación incansable. Pero aquí está el truco: la IA es buena leyendo texto impreso, pero ¿puede realmente entender garabatos matemáticos manuscritos y desordenados, y distinguir entre una brillante pregunta de un estudiante y un caos confuso? Esta pregunta se sitúa en la intersección de la educación y la informática, explorando si las máquinas pueden aprender a "pensar" como un profesor de matemáticas al evaluar la creatividad del estudiante.

Los investigadores de este estudio decidieron poner a prueba a una IA muy inteligente, llamada Gemini 3.5 Flash. Querían ver si esta IA podía leer problemas matemáticos manuscritos creados por 235 estudiantes de secundaria y calificarlos con la misma precisión que lo harían los profesores humanos. Para hacer esto, prepararon una "prueba de sabor" con dos escenarios diferentes: uno que involucraba números enteros (como distancias de conducción) y otro que involucraba fracciones (como compartir un pastel). Le dieron a la IA dos versiones del mismo texto manuscrito: una que fue leída directamente por los ojos de la computadora (lo que a veces genera errores con la letra desordenada) y otra que había sido cuidadosamente corregida por expertos humanos. También probaron darle a la IA las reglas de calificación en dos órdenes diferentes —comenzando desde la puntuación más baja hacia arriba, o comenzando desde la más alta hacia abajo— para ver si el orden de las instrucciones cambiaba la opinión de la IA.

Los resultados fueron una mezcla de "grandes noticias" y "cosas por mejorar". El estudio encontró que, cuando la IA utilizaba el texto corregido por expertos, coincidía mucho mejor con los profesores humanos que cuando utilizaba la lectura desordenada de la computadora. Sin embargo, el tipo de problema matemático importaba mucho. La IA era mucho más precisa al calificar problemas sobre números enteros (la tarea de conducción) en comparación con los problemas de fracciones (la tarea del pastel). Parece que la IA tenía más dificultades con los matices de las fracciones, otorgando puntuaciones altas a respuestas que eran matemáticamente correctas pero que en realidad no encajaban con la historia que el estudiante estaba contando. Curiosamente, el orden en el que se presentaron las reglas de calificación a la IA no importó en absoluto; ya fuera que la IA comenzara desde la parte inferior o desde la parte superior de la rúbrica, su desempeño se mantuvo igual.

En resumen, el estudio sugiere que la IA puede ser una ayuda confiable para calificar problemas matemáticos manuscritos, pero aún no es perfecta. Funciona mejor cuando la letra es clara y las matemáticas involucran números enteros. Los investigadores descubrieron que el simple hecho de alimentar a la IA con un mejor texto (al hacer que los humanos corrigieran los errores de lectura de la computadora) marcaba una diferencia notable, pero la IA todavía necesita ayuda para entender la "historia" detrás de las matemáticas, especialmente cuando se trata de fracciones. Aunque la IA no se confundió por el orden de las instrucciones, sí se vio afectada por la complejidad del contenido matemático. Los autores concluyen que, si bien la IA tiene un potencial sustancial para ayudar a los profesores, debemos ser cuidadosos sobre cómo la usamos, especialmente para temas más complejos como las fracciones, y siempre debemos verificar que la computadora esté leyendo correctamente la letra del estudiante antes de que comience a calificar.

Resumen Técnico: Calificación Automatizada de la Formulación de Problemas Matemáticos Manuscritos Mediante Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
Si bien los docentes reconocen el potencial de la inteligencia artificial (IA) para evaluar las respuestas de formulación de problemas matemáticos, la evidencia empírica sobre la fiabilidad de la calificación automatizada (CA) en este dominio específico sigue siendo limitada. La formulación de problemas genera respuestas diversas y abiertas que son difíciles de analizar sistemáticamente, lo que a menudo conduce a inconsistencias y subjetividad en la calificación humana. Aunque los Modelos de Lenguaje de Gran Escala (LLM) se han convertido en herramientas dominantes para la CA, su aplicación a la formulación de problemas matemáticos manuscritos —particularmente en idiomas distintos al inglés y con contenidos complejos como fracciones— no ha sido validada rigurosamente. Los estudios existentes suelen depender de diseños de tarea única o rúbricas basadas en ejemplares que pueden no trasladarse a entornos de aula auténticos. Además, no está claro cómo los tipos de tareas (por ejemplo, números enteros frente a fracciones) y las variables de ingeniería de prompts (por ejemplo, el orden de la rúbrica) influyen en el acuerdo entre los calificadores humanos y los LLM.

Metodología
El estudio empleó un diseño cuantitativo para examinar el acuerdo entre calificadores humanos y el LLM Gemini 3.5 Flash en la calificación de respuestas estudiantiles manuscritas.

Participantes y Tareas: Los datos se recolectaron de 235 estudiantes de secundaria (grados 6 y 7) en Türkiye. Los estudiantes completaron dos tareas de formulación de problemas distintas: una tarea de "Pastel" (Cake) que involucra fracciones y una tarea de "Conducir" (Drive) que involucra números enteros. Cada estudiante generó tres problemas por tarea.
Procesamiento de Datos:
- Codificación Humana: Dos calificadores experimentados calificaron las respuestas utilizando un enfoque orientado al consenso basado en una rúbrica refinada de siete niveles (que va desde 0: Sin respuesta hasta 6: Suficiente). La rúbrica incorporó criterios de relevancia de la tarea, resolubilidad y consistencia lógica.
- OCR y Variaciones de Entrada: Las respuestas manuscritas se digitalizaron utilizando el OCR de Gemini. Se crearon dos conjuntos de datos de entrada para cada respuesta:
  - i1: Salida de OCR original generada únicamente por el LLM.
  - i2: Salida de OCR revisada por expertos, donde expertos en la materia corrigieron errores de transcripción (por ejemplo, fracciones o nombres mal leídos).
- Calificación Automatizada (CA): Se utilizó el modelo Gemini 3.5 Flash mediante un enfoque de prompting de disparo cero (zero-shot). Al modelo se le asignó el rol de asistente de evaluación experto y se le instruyó para calificar estrictamente basándose en la rúbrica proporcionada.
- Variaciones de Prompt: El estudio manipuló el orden de los criterios de la rúbrica en los prompts:
  - p1 (Ascendente): Evaluación desde la categoría más baja (0) hasta la más alta (6).
  - p2 (Descendente): Evaluación desde la categoría más alta (6) hasta la más baja (0).
- Condiciones Experimentales: Esto resultó en cuatro escenarios de CA por tarea (ASi1p1, ASi1p2, ASi2p1, ASi2p2).
Análisis:
- Métricas de Acuerdo: El estudio calculó el Kappa de Peso Cuadrático (QWK), el Kappa de Peso Lineal (LWK), la correlación de Pearson, la correlación de distancia y el Porcentaje de Tertium Quid (PTQ) para medir el acuerdo entre los calificadores humanos y la CA.
- Modelado Multinivel: Se utilizó un modelo lineal de tres niveles para predecir la diferencia absoluta entre las calificaciones humanas y las de la CA. La variable dependiente fue la diferencia de puntuación absoluta. Los predictores incluyeron el Tipo de Tarea (Pastel vs. Conducir), el Tipo de Entrada (i1 vs. i2) y la Dirección del Prompt (p1 vs. p2), junto con sus interacciones. Los efectos aleatorios se anidaron dentro de las respuestas y los estudiantes.

Resultos Clave

Acuerdo General: El estudio encontró un potencial sustancial para el prompting de disparo cero con rúbricas bien estructuradas. La diferencia absoluta promedio entre los calificadores humanos y la CA fue de 0.43 puntos en una escala de 0 a 6.
Impacto de la Calidad de la Entrada: El acuerdo fue significativamente más fuerte cuando se utilizaron entradas de OCR revisadas (i2) en comparación con las salidas de OCR originales (i1). El efecto del tipo de entrada fue significativo ( $p = .002$ ), aunque la magnitud de la mejora fue modesta (una reducción de 0.06 puntos en la diferencia absoluta).
Impacto del Tipo de Tarea: El tipo de tarea fue el predictor más fuerte del acuerdo. La tarea de "Conducir" (números enteros) produjo un acuerdo significativamente mayor que la tarea de "Pastel" (fracciones) ( $p < .001$ $p < .001$ ). La diferencia absoluta fue 0.17 puntos menor para la tarea de Conducir.
- Tarea de Conducir: El acuerdo más fuerte se observó con entradas revisadas y prompts ascendentes (QWK = 0.849).
- Tarea de Pastel: El acuerdo más débil ocurrió con entradas originales y prompts ascendentes (QWK = 0.684).
Impacto del Orden del Prompt: La dirección de la rúbrica (ascendente vs. descendente) no tuvo un efecto significativo en el acuerdo humano-máquina ( $p = .428$ ). No se encontraron interacciones significativas entre la tarea, la entrada y la dirección del prompt.
Análisis de Errores: Las discrepancias en la tarea de Pastel derivaron frecuentemente de que el LLM asignaba puntuaciones altas a respuestas matemáticamente válidas pero sin contexto independiente (por ejemplo, calcular la media de velocidades sin integrar el contexto de la historia) o de malinterpretar si una respuesta estaba explícitamente disponible en los datos. Los errores de OCR ocasionalmente llevaron a clasificaciones erróneas de la relevancia de la tarea o de las inconsistencias lógicas.

Contribuciones Clave

Evidencia Empírica en la Formulación de Problemas: El estudio proporciona una de las primeras validaciones empíricas de la CA basada en LLM específicamente para la formulación de problemas matemáticos, extendiendo los hallazgos previos de la resolución de problemas a la generación de problemas.
Viabilidad de Disparo Cero (Zero-Shot): Demuestra que el prompting de disparo cero, cuando se combina con una rúbrica estructurada, puede lograr niveles de fiabilidad comparables a los de los calificadores humanos sin necesidad de ajuste fino supervisado (supervised fine-tuning) o entrenamiento de pocos disparos (few-shot training).
Fiabilidad Dependiente de la Tarea: La investigación destaca que la fiabilidad de la CA no es uniforme en todos los dominios matemáticos; funciona significativamente mejor con números enteros que con fracciones, lo que sugiere limitaciones de contenido específicas en las capacidades actuales de los LLM.
Perspectivas de Ingeniería de Prompts: El estudio desafía la noción de que el orden de la rúbrica (ascendente vs. descendente) impacta significativamente la precisión de la calificación en este contexto, sugiriendo que los marcos lógicamente estructurados pueden mitigar los sesgos de orden de respuesta en los LLM avanzados.

Significado y Reivindicaciones
Los autores afirman que sus hallazgos ofrecen apoyo empírico para el uso de LLM para asistir a los docentes en la evaluación de tareas de formulación de problemas estudiantiles, lo que potencialmente reduce la carga de trabajo de evaluación y permite una integración más frecuente de la formulación de problemas en las aulas. El estudio sugiere que, si bien la CA es robusta para tareas de números enteros, se requiere precaución al aplicarla a tareas basadas en fracciones o contextos que requieren una integración contextual profunda. Los autores enfatizan que asegurar una entrada de alta calidad (mediante la corrección de OCR) y refinar el diseño de los prompts para abordar desafíos de codificación específicos (como la integración del contexto y la suficiencia de datos) son críticos para maximizar la validez de la calificación automatizada en la educación matemática. El artículo concluye que, si bien la CA es prometedora, es necesaria una mayor validación a través de diversos temas e idiomas antes de una generalización amplia.

Más como este