Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring

En el mundo de la educación, calificar una pila de ensayos es una tarea pesada y que consume mucho tiempo. Durante décadas, las computadoras han intentado ayudar con esto, pero a menudo luchan por igualar el matiz de un profesor humano. Recientemente, una nueva generación de potentes programas informáticos, conocidos como modelos de lenguaje extensos, ha mostrado una capacidad notable para leer y comprender la escritura humana. Estos sistemas pueden ser instruidos para actuar como examinadores, asignando puntuaciones al trabajo de los estudiantes basándose en reglas específicas. Sin embargo, un problema significativo persiste: estos programas son costosos de ejecutar. Cuanto más detalladas sean las instrucciones dadas a la computadora, más cuesta obtener una respuesta. Además, la mejor manera de hacerle una pregunta a la computadora no siempre es obvia; cambia dependiendo del ensayo específico o de la versión del software que se esté utilizando. Los educadores y las organizaciones de evaluación se enfrentan a una difícil elección: pagar un precio alto para pasar cada ensayo por cada conjunto posible de instrucciones para encontrar el mejor, o arriesgarse a usar un método más barato y menos preciso que podría no dar en el clavo.

Un equipo de investigadores de la Universidad de Carleton ha propuesto una nueva forma de resolver este dilema. En lugar de intentar adivinar el conjunto perfecto de instrucciones de antemano, construyeron un sistema que aprende el mejor enfoque mientras trabaja. Trataron las diferentes formas de pedirle a la computadora que calificara un ensayo como si fueran un conjunto de máquinas tragamonedas, cada una con una diferente probabilidad de pagar un buen resultado. A medida que el sistema calificaba los ensayos, hacía un seguimiento de qué método producía puntuaciones que coincidían más estrechamente con los profesores humanos y cuáles eran los más eficientes. Con el tiempo, el sistema dejó de desperdiciar esfuerzo en los métodos deficientes y se centró casi por completo en los que funcionaban mejor. Este enfoque les permitió encontrar la estrategia de calificación más efectiva utilizando muchos menos recursos informáticos que los métodos tradicionales.

Los investigadores probaron esta idea utilizando una colección de 787 ensayos reales del examen de escritura de IELTS, una importante prueba internacional de competencia en inglés. Establecieron cuatro formas distintas para que la computadora calificara los trabajos. Dos métodos pedían a la computadora que diera una puntuación única y general de inmediato, mientras que los otros dos le pedían que desglosara el ensayo en cuatro categorías específicas —como qué tan bien el escritor respondió a la consigna y qué tan organizadas estaban las ideas— antes de calcular una puntuación final. Para la mitad de estos métodos, la computadora también recibió ejemplos de ensayos buenos y malos para ayudarla a entender qué buscar; para la otra mitad, tuvo que confiar en su propio conocimiento. El sistema comenzó entonces a calificar los ensayos, utilizando un algoritmo de aprendizaje para decidir qué método usar para cada nuevo documento.

Los resultados fueron claros e inmediáiles. El sistema aprendió rápidamente que la estrategia más efectiva era aquella que desglosaba el ensayo en categorías específicas y proporcionaba ejemplos de lo que era un ensayo bueno o malo. Este método produjo consistentemente puntuaciones que se alineaban más estrechamente con los examinadores humanos. En contraste, los métodos que omitían los ejemplos o intentaban dar una puntuación única sin desglosarla funcionaron significativamente peor. El algoritmo de aprendizaje fue tan efectivo que, tras un corto período de prueba, dejó de elegir los métodos más débiles casi por completo, dedicando más del 70 por ciento de sus esfuerzos al enfoque con mejor rendimiento.

Quizás el descubrimiento más sorprendente surgió cuando los investigadores analizaron el costo de estas instrucciones. La sabiduría convencional sugiere que darle a una computadora reglas y explicaciones más detalladas sobre cómo calificar debería conducir a mejores resultados. Sin embargo, el estudio encontró lo contrario. Cuando los investigadores eliminaron las descripciones largas y detalladas de las reglas de calificación de las instrucciones, la computadora en realidad funcionó mejor. Las instrucciones más simples, que dependían del entendimiento existente de la computadora sobre la escritura en lugar de un manual de reglas, llevaron a puntuaciones más precisas y utilizaron menos recursos informáticos. Esto sugiere que estos potentes programas informáticos ya han aprendido los matices de la escritura académica durante su entrenamiento y no necesitan que se les diga cada detalle nuevamente.

Las ganancias de eficiencia de este enfoque adaptativo fueron sustanciales. Al dejar que el sistema eligiera el mejor método sobre la marcha, los investigadores redujeron el número de veces que tenían que llamar a la computadora para pedir ayuda en casi un 79 por ciento en comparación con un método tradicional que probaba todas las opciones posibles en cada ensayo. Esta reducción masiva en las llamadas a la computadora se tradujo directamente en una caída del 73 por ciento en el número total de palabras que la computadora tuvo que procesar, y en una reducción del 70 por ciento en el costo estimado del experimento. El sistema alcanzó el mismo nivel de precisión que el método exhaustivo y costoso, pero lo hizo con una fracción del esfuerzo.

Este trabajo representa un cambio en la forma en que puede manejarse la calificación automatizada. En lugar de tratar la elección de las instrucciones como un ajuste fijo que debe decidirse antes de que comience el trabajo, los investigadores demostraron que puede ser un proceso dinámico que mejora a medida que avanza. Si bien el estudio se limitó a un conjunto específico de ensayos y a un tipo de programa informático, los hallazgos ofrecen un camino prometedor para la tecnología educativa. Al equilibrar la necesidad de precisión con la realidad de los costos operativos, este método proporciona una forma de hacer que la calificación automatizada de alta calidad sea accesible y sostenible para los programas de evaluación a gran escala. El estudio sugiere que el futuro de la evaluación automatizada no reside en construir instrucciones más complejas, sino en construir sistemas más inteligentes que sepan cómo aprender qué instrucciones funcionan mejor en el momento.