Hybrid E-Assessment in Higher Education: Semi-Automated Grading of Paper-Based Written Examinations

Resumen Técnico: Evaluación Electrónica Híbrida en la Educación Superior

Planteamiento del Problema
El artículo identifica una tensión crítica en la transición hacia la evaluación electrónica sumativa en la educación superior: el conflicto entre la necesidad de eficiencia automatizada y la necesidad didáctica de tareas de resolución de problemas complejos y abiertos. Los enfoques totalmente digitales, aunque ofrecen una alta automatación, suelen estar limitados a formatos de preguntas cerradas (p. ej., opción múltiple) debido a la incapacidad de los sistemas actuales para calificar de manera fiable textos libres, derivaciones matemáticas, bocetos o procesos de razonamiento complejos. Esta limitación fuerza un "estrechamiento didáctico", donde las tareas de evaluación se rediseñan para ajustarse a las restricciones técnicas en lugar de a los objetivos pedagógicos. Además, los exámenes sumativos totalmente digitales imponen cargas organizativas y técnicas significativas, incluyendo el requisito de un gran número de estaciones de trabajo sincronizadas, protocolos de supervisión estrictos y una seguridad robusta contra la manipulación, lo cual es particularmente desafiante para cohortes de estudiantes numerosas. Por el contrario, los enfoques parcialmente digitales (p. ej., sistemas basados en escaneo) suelen sufrir de diseños de página rígidos y baja densidad de preguntas, fallando en replicar la flexibilidad de los exámenes tradicionales en papel.

Metodología
Los autores proponen un enfoque de evaluación electrónica híbrida que conserva la flexibilidad didáctica de los exámenes en papel mientras introduce una calificación semiautomatizada. La metodología opera bajo los siguientes principios:

1. Codificación de Brechas Estructurada (Structured Gap Coding): Las tareas de examen se diseñan como problemas abiertos y orientados a problemas (p. ej., derivaciones en física o consultas de bases de datos). Sin embargo, ciertos resultados intermedios relevantes para la evaluación se codifican en un formato estructurado. Los estudiantes realizan todo el razonamiento y el cálculo a mano, pero deben transferir sus respuestas finales para pasos específicos a campos de respuesta predefinidos.
2. Opciones de Respuesta Basadas en Letras: En lugar de la entrada de texto libre, cada brecha corresponde a un conjunto fijo de opciones basadas en letras (p. ej., A–Z). Este amplio espectro de opciones minimiza la probabilidad de respuestas correctas mediante el azar sin forzar toda la tarea a un formato cerrado.
3. Captura y Reconocimiento de Datos: Las letras manuscritas introducidas por los estudiantes en la tabla de respuestas se capturan mediante escaneo. El desafío técnico central abordado es el reconocimiento fiable de estos caracteres manuscritos bajo condiciones reales de examen.
4. Mecanismo de Validación: El sistema emplea un principio de validación de dos pasadas combinado con modelos de lenguaje extensos (LLM) con capacidad de visión. El proceso de reconocimiento compara los caracteres capturados contra una clave de solución para reducir las clasificaciones erróneas.

Contribuciones Clave

• Arquitectura Híbrida: El artículo introduce un flujo de trabajo que desacopla el diseño de la tarea (que permanece abierta y en papel) de la captura de la respuesta (que es estructurada para la automatización). Esto permite la evaluación de procesos de razonamiento complejos sin sacrificar la eficiencia de la calificación automatizada.
• Integración de LLM con Capacidad de Visión: Los autores destacan la aplicación de modelos de lenguaje extensos recientes con capacidad de visión para resolver el cuello de botella del reconocimiento de caracteres manuscritos en un entorno de exámenes de alto riesgo, yendo más allá de las limitaciones tradicionales del OCR (Reconocimiento Óptico de Caracteres).
• Preservación Didáctica: Al utilizar un "formato de codificación" para los resultados intermedios, el enfoque preserva la naturaleza orientada al aprendizaje del examen (donde los estudiantes deben derivar la solución) permitiendo al mismo tiempo la automatización del flujo de trabajo de calificación.

Resultos y Afirmaciones
El artículo no presenta datos empíricos de un despliegue a gran escala, sino que ofrece un análisis teórico y técnico del marco propuesto. Los autores afirman que este enfoque:

• Reduce las Clasificaciones Erróneas: La combinación de LLM con capacidad de visión, un principio de validación de dos pasadas y la comparación contra una clave de solución mejora significamente la fiabilidad del reconocimiento de caracteres manuscritos.
• Mejora la Validez y la Equidad: Al permitir que tareas complejas y orientadas a problemas sean calificadas de forma semiautomática, el sistema respalda una medición más válida de la competencia del estudiante en comparación con los formatos restringidos de los exámenes totalmente digitales.
• Mejora la Escalabilidad: El método aborda las restricciones organizativas de las cohortes grandes al automatizar la calificación de resultados intermedios estructurados sin requerir un entorno de examen totalmente digital.

Significancia
La significancia de este trabajo radica en su propuesta para reconciliar las demandas opuestas de la evaluación moderna: la necesidad de una calificación escalable y automatizada y el requisito de tareas abiertas y didácticamente ricas. El artículo argumenta que la tecnología debe apoyar la calificación y el procesamiento posterior de los exámenes sin constreñir el diseño de las tareas mismas. Al mantener el formato de papel para el proceso de resolución de problemas y solo digitalizar la captura estructurada de los resultados, este modelo híbrido ofrece una vía viable para implementar la calificación semiautomática en evaluaciones sumativas donde las soluciones totalmente digitales son actualmente insuficientes.