Automated item evaluation: Predicting item acceptance and rejection using LLM-generated critiques

Imagina que eres un profesor que tiene que calificar miles de tareas cada semana. Algunas son brillantes, otras son confusas y otras son simplemente erróneas. Normalmente, tienes que leer cada una de ellas para decidir cuáles conservar y cuáles desechar. Esto es lento, costoso y agotador. Ahora, imagina un asistente robot superinteligente que puede leer esas tareas y decirte: "Oye, esta parece arriesgada, tal vez no deberías usarla", antes incluso de que gastes tu tiempo calificándola. Este es el mundo de la Evaluación Automatizada de Ítems (AIE, por sus siglas en inglés). Es una rama de la tecnología educativa que intenta utilizar computadoras para juzgar la calidad de las preguntas de examen (llamadas "ítems") sin necesidad de que un experto humano las lea todas o las pruebe primero con estudiantes reales. La gran pregunta que se hacen los investigadores es: ¿Podemos enseñar a una computadora a detectar una pregunta de examen "mala" simplemente leyendo el texto, ahorrándonos el dolor de cabeza de descubrir más tarde que la pregunta estaba defectuosa?

Este artículo trata sobre la construcción de ese asistente robot superinteligente. Los investigadores, Hotaka Maeda e Yikai Lu, querían crear un sistema que pudiera observar una pregunta de examen y predecir si sería "aceptada" (lista para usar) o "rechazada" (desecharla) basándose en una base de datos masiva de 52,759 preguntas reales de un gran programa de pruebas estandarizadas. No se limitaron a alimentar a la computadora con las preguntas puras; intentaron un truco ingenioso. Le pidieron a un modelo de lenguaje de gran tamaño (un tipo de IA que puede escribir y pensar) que primero escribiera una breve "crítica" o reseña de la pregunta, y luego alimentaron su modelo de predicción tanto con la pregunta original como con esa reseña de la IA. Piensa en ello como contratar a un estudiante para que escriba un breve resumen de un libro antes de decidir si quieres leer el libro completo tú mismo.

Los resultados fueron bastante emocionantes, pero con algunas salvedades importantes. El "modelo de fusión" (el que observaba tanto la pregunta como la crítica de la IA) fue el mejor en su desempeño. Obtuvo la respuesta correcta aproximadamente el 75% de las veces en general. Sin embargo, fue un poco un superhéroe para las preguntas de matemáticas (logrando acertar el 73% de las veces) pero tuvo más dificultades con las preguntas de Lengua y Literatura Inglesa (solo un 51% de precisión). Los investigadores descubrieron que, si hacían al robot un poco más paranoico —diciéndole que señalara cualquier cosa que pudiera ser mala en lugar de esperar a que fuera definitivamente mala—, podía detectar el 90% de las preguntas malas, aunque también señalaría accidentalmente algunas buenas.

Aquí está la parte más importante: el robot era excelente detectando preguntas que eran demasiado difíciles, tenían una redacción confusa o no coincidían con el currículo. Sin embargo, era pésimo detectando preguntas que eran sesgadas, injustas o sensibles para ciertos grupos de personas. El artículo sugiere que, mientras las computadoras se están volcaniendo muy buenas revisando la "mecánica" de una pregunta de examen, todavía necesitan a profesores humanos para revisar el "corazón" y la equidad de las preguntas. Por lo tanto, el futuro no se trata de reemplazar a los humanos, sino de darles una herramienta poderosa para filtrar la basura obvia para que puedan concentrarse en lo que es difícil e importante.

La historia del detector de "Malas Preguntas"

El Problema: La Montaña de Tareas
Crear un examen estandarizado es como construir un gigantesco castillo de Lego. Necesitas miles de piezas individuales (preguntas) para que se mantenga en pie. Pero no todas las piezas son buenas. Algunas están agrietadas, otras son del color equivento y algunas simplemente no encajan. Tradicionalmente, los expertos tienen que tomar cada pieza, inspeccionarla y, a veces, incluso probarla con un grupo de niños para ver si funciona. Esto toma una eternidad y cuesta una fortuna. Con el auge de la IA que puede generar preguntas automáticamente, la montaña de piezas se hace más grande cada día. Necesitamos una forma de clasificar rápidamente las piezas buenas de las malas sin tener que revisarlas todas a mano.

El Experimento: El Enfoque de los Dos Cerebros
Los investigadores decidieron entrenar un cerebro de computadora (específicamente un modelo llamado DeBERTaV3-large) para hacer esta clasificación. Tenían un enorme conjunto de datos de 52,759 preguntas. Alrededor del 34% fueron "rechazadas" (eliminadas permanentemente porque eran malas) y el resto fueron "aceptadas".

Intentaron tres formas diferentes de enseñar a la computadora:

1. El Lector Puro: Alimentaron a la computadora solo con el texto de la pregunta.
2. El Crítico: Pidieron a otra IA (Qwen3) que escribiera primero una reseña de dos frases sobre la pregunta, y luego alimentaron la computadora con esa reseña.
3. El Modelo de Fusión: ¡Combinaron ambos! Alimentaron a la computadora con la pregunta original y la reseña de la IA.

Los Resultados: Un Asistente Inteligente, pero con Defectos
El "Modelo de Fusión" fue el claro ganador. Logró una precisión de 0.75 (lo que significa que acertó el 75% de las veces) y un puntaje F1 de 0.64.

• Matemáticas vs. Inglés: El modelo fue un genio de las matemáticas, logrando un puntaje F1 de 0.73 para las preguntas de matemáticas. Pero para Lengua y Literatura Inglesa (ELA), tropezó con un puntaje F1 de solo 0.51. Los autores sugieren que esto podría deberse a que las preguntas de inglés suelen depender de pasajes de lectura largos, los cuales los investigadores tuvieron que dejar fuera de los datos porque eran demasiado extensos.
• La Configuración "Paranoica": Los investigadores notaron que si bajaban el "umbral de alarma" de 0.5 a 0.25, la computadora se volvía mucho mejor para detectar preguntas malas. Detectó el 90% de los elementos rechazados (sensibilidad de 0.90 para matemáticas y 0.88 para ELA). ¿El intercambio? Empezó a marcar demasiadas preguntas buenas como malas (la especificidad cayó). Los autores sugieren que esta configuración "paranoica" podría ser perfecta para la generación automatizada de ítems, donde es barato crear una pregunta pero caro revisarla. Si detectas el 90% de las malas al principio, ahorras mucho tiempo.

Lo que el Modelo Pasó por Alto: El Toque Humano
A pesar de su éxito, el modelo tenía un punto ciego. Era muy bueno detectando preguntas que eran demasiado difíciles o que tenían problemas "psicométricos" (problemas estadísticos). Sin embargo, tuvo grandes dificultades para detectar preguntas relacionadas con el sesgo, la sensibilidad, la equidad o la accesibilidad. Para las preguntas de inglés, el modelo solo detectó el 27% de estos problemas. Los autores explican que estos son problemas profundamente humanos. Una computadora puede ver si una palabra es difícil, pero podría no darse cuenta de que una historia específica es ofensiva para una cultura o grupo determinado. Esto sugiere que, si bien la IA puede hacer el trabajo pesado de filtrado, los expertos humanos siguen siendo absolutamente necesarios para verificar la equidad y la justicia.

La Conclusión
Este artículo sugiere que podemos construir una herramienta casi integral para evaluar automáticamente las preguntas de examen. Al combinar el texto bruto de una pregunta con una crítica generada por IA, podemos obtener una mejor predicción de si una pregunta pasará o fallará. No es una varita mágica que lo soluciona todo —especialmente cuando se trata de equidad y sesgo—, pero es una herramienta poderosa que puede ahorrar a los educadores y a las empresas de evaluación una cantidad masiva de tiempo y dinero. El futuro de las evaluaciones podría implicar que un robot haga la primera fase de clasificación, dejando que los expertos humanos se concentren en las preguntas que realmente necesitan un corazón humano para ser juzgadas.