AI-Assisted Grading in Biochemistry: Automated Long Answer Question Scoring with Expert-Level Accuracy

En el mundo de la educación médica, la enseñanza de la bioquímica implica algo más que simplemente memorizar datos sobre cómo el cuerpo procesa la energía. Requiere que los estudiantes piensen profundamente y expliquen procesos complejos con sus propias palabras. Para medir este entendimiento, los instructores suelen utilizar preguntas de respuesta larga, donde un estudiante debe redactar una explicación detallada de un mecanismo biológico. Estas preguntas son herramientas poderosas para el aprendizaje porque obligan a los estudiantes a organizar sus pensamientos y demostrar un verdadero dominio. Sin embargo, calificarlas es una carga pesada. Cuando una clase crece, un solo profesor no puede dedicar el tiempo necesario para leer cada ensayo cuidadosamente, ofrecer una retroalimentación personalizada y asegurar que cada estudiante sea juzgado de manera justa frente a los mismos estándares. El desafío no es solo el volumen de trabajo, sino la necesidad de consistencia; un profesor podría valorar un detalle específico que otro pasa por alto, lo que conduce a resultados desiguales.

Un equipo de investigadores de facultades de medicina en la India se propuso investigar si un nuevo tipo de programa informático podría resolver este problema. Querían saber si un sistema de inteligencia artificial podía leer estos ensayos largos, calificarlos con la misma habilidad que un profesor humano experimentado y explicar exactamente por qué un estudiante recibió cierta puntuación. Los investigadores construyeron una herramienta que actúa como un examinador digital. En lugar de simplemente contar palabras o buscar palabras clave, este sistema recibió un conjunto específico de reglas, conocido como rúbrica, que desglosa una respuesta perfecta en partes más pequeñas. Se le instruyó a la computadora que buscara esas partes específicas en la redacción de un estudiante, otorgara puntos por lo que se encontrara y luego sugiriera cómo podría mejorar la respuesta. El sistema utilizó un modelo de lenguaje sofisticado, un tipo de programa informático entrenado en vastas cantidades de texto para comprender el lenguaje humano, para realizar esta tarea.

El estudio involucró a trescientos estudiantes que habían escrito respuestas a dos preguntas diferentes de bioquímica. Los investigadores recolectaron estas seiscientas respuestas y las hicieron calificar dos veces: una vez por la computadora y otra vez por dos expertos humanos que tenían años de experiencia enseñando la materia. Los profesores humanos utilizaron el mismo conjunto de reglas para calificar los trabajos. Para asegurar que la computadora no estuviera simplemente adivinando, los investigadores le pidieron que calificara cada trabajo cinco veces con ligeras variaciones y luego tomaran la puntuación intermedia como el resultado final. Este método ayudó a suavizar cualquier error aleatorio que la computadora pudiera cometer. El equipo luego comparó las puntuaciones dadas por la máquina contra las puntuaciones dadas por los dos profesores humanos para ver qué tan cerca coincidían.

Los resultados mostraron un nivel de concordancia sorprendente entre la máquina y los humanos. Las puntuaciones dadas por la inteligencia artificial se alinearon casi perfectamente con las puntuaciones dadas por los expertos humanos. Cuando los investigadores midieron qué tan cerca seguían las calificaciones de la computadora las calificaciones de los profesores, los números indicaron una coincidencia excelente, mucho mejor de lo que se observa usualmente cuando dos humanos diferentes califican los mismos trabajos. La computadora no dio consistentemente notas más altas o más bajas que los profesores; su promedio fue casi idéntico al promedio humano. De hecho, la calificación de la computadora fue tan consistente con la de los expertos que podría considerarse un socio confiable en el aula. El sistema también proporcionó comentarios específicos sobre dónde era débil la respuesta de un estudiante, ofreciendo un nivel de detalle que ayuda a los estudiantes a aprender de sus errores.

Este trabajo sugiere que la inteligencia artificial puede manejar la difícil tarea de calificar respuestas escritas complejas en ciencias sin perder el matiz que proporcionan los profesores humanos. Los investigadores encontraron que, al darle a la computadora un conjunto claro de instrucciones sobre qué buscar, esta podía evaluar el trabajo de los estudiantes con una precisión de nivel experto. Esto no significa que la computadora reemplace al profesor, sino que puede encargarse del trabajo pesado de la calificación, liberando a los educadores humanos para que se concentren en la enseñanza y la mentoría. El estudio indica que este enfoque está listo para ser utilizado en aulas reales para hacer la evaluación más justa y eficiente, asegurando que cada estudiante reciba una calificación que realmente refleje su comprensión del material.