Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

En el mundo del aprendizaje de idiomas, escribir un ensayo académico es un acto complejo. No se trata meramente de escribir las palabras correctamente o de disponer las oraciones sin errores gramaticales. Para tener éxito, un estudiante también debe desarrollar ideas sólidas, conectar esas ideas con fluidez para que el texto fluya lógicamente y adoptar un tono que se ajuste a las expectativas serias y objetivas de la conversación académica. Durante décadas, los profesores han luchado por calificar estos ensayos de manera justa y consistente. El juicio humano es valioso, pero también es lento, costoso y propenso a la fatiga, lo que puede llevar a que diferentes profesores otorguen diferentes puntuaciones al mismo trabajo. Esto ha creado una demanda de computadoras que puedan leer y calificar la escritura de forma automática.

Recientemente, han surgido potentes sistemas de inteligencia artificial conocidos como modelos de lenguaje extensos. Estos son el mismo tipo de tecnología que puede mantener conversaciones, escribir historias o responder preguntas. Debido a que pueden comprender el lenguaje humano tan bien, los investigadores comenzaron a preguntarse si también podrían actuar como profesores justos y precisos, calificando los ensayos de los estudiantes tal como lo haría un humano. La esperanza era que estas máquinas pudieran proporcionar retroalimentación instantánea a miles de estudiantes a la vez. Sin embargo, una pregunta crítica permanecía sin respuesta: ¿estas máquinas realmente entienden qué hace que la escritura sea buena, o solo están adivinando números que resultan parecer correctos? Para averiguarlo, una investigadora llamada Pegah Merrikhi se propuso probar tres de los sistemas de IA más avanzados disponibles hoy en día contra el estándar de oro del juicio humano.

El estudio se centró en un marco específico llamado LICA, que desglosa la calidad de un ensayo en cuatro partes distintas. La primera parte es el Lenguaje, que observa la gramática y el vocabulario. La segunda son las Ideas, que mide qué tan profundos y bien sustentados son los argumentos. La tercera es la Cohesión, que comprueba qué tan bien se mantienen unidos las oraciones y los párrafos. La parte final es la Adecuación Académica, que juzga si la escritura suena como un académico serio hablando, en lugar de una conversación informal. La investigadora tomó cinco ensayos escritos por estudiantes de segundas lenguas y pidió a tres sistemas de IA diferentes —GPT-4o, Claude 3.5 Sonnet y Gemini 1.5 Pro— que calificaran cada ensayo en estas cuatro escalas. Al mismo tiempo, un experto humano proporcionó las puntuaciones "correctas". El objetivo era ver qué tan cerca estaban las máquinas del experto humano y cómo se comparaban entre sí.

Los resultados revelaron una historia de sorprendente precisión mezclada con personalidades distintas dentro de esta prueba específica y de pequeña escala. Uno de los sistemas de IA, GPT-4o, se desempeñó con una precisión perfecta en los cinco ensayos utilizados para esta calibración preliminar. Igualó exactamente las puntuaciones del experto humano en cada uno de los cinco ensayos y en cada una de las categorías en este conjunto de datos específico, replicando efectivamente el juicio del experto humano para este grupo limitado de datos. El segundo sistema, Claude 3.5 Sonnet, también estuvo muy cerca del experto humano, pero mostró una ligera tendencia a ser demasiado generoso. Al calificar el flujo de ideas y el tono académico, otorgó puntuaciones que eran un poco más altas de lo que el experto humano habría dado. No estaba equivocado, pero era ligeramente permisivo.

El tercer sistema, Gemini 1.5 Pro, mostró un patrón diferente. Si bien era muy bueno juzgando cómo se conectaban los párrafos, tendía a ser más estricto que el experto humano. En cuanto a la evaluación de la profundidad de las ideas del estudiante y la adecuación del tono académico, otorgó puntuaciones notablemente más bajas que las del experto humano. Esto sugiere que, si bien la máquina podía ver la estructura de la escritura, le resultaba más difícil evaluar el contenido y la voz del escritor.

Quizás el hallazgo más revelador no fue sobre cómo las máquinas se comparaban con los humanos, sino sobre cómo se comparaban entre sí. Cuando los tres sistemas de IA calificaron los ensayos sin ayuda humana, estuvieron casi en perfecto acuerdo sobre los aspectos técnicos del lenguaje y el flujo del texto. Sin embargo, tuvieron dificultades para ponerse de acuerdo entre sí cuando se trataba de juzgar el tono académico y la calidad de las ideas. Sobre la cuestión de si la escritura era apropiada para un entorno universitario, las máquinas a menudo discrepaban, con una siendo generosa y otra estricta. Esto indica que, aunque estos sistemas son excelentes detectando la gramática y la estructura, aún no comparten un entendimiento único y unificado de lo que hace que un argumento académico suene correcto.

El estudio concluye que estas herramientas de inteligencia artificial son lo suficientemente potentes como para ser útiles, pero aún no están listas para reemplazar por completo a los profesores humanos. Pueden encargarse de las partes mecánicas de la calificación con gran velocidad y precisión, pero todavía carecen de la intuición humana constante necesaria para juzgar los matices sociales y culturales sutiles de la escritura académica. La investigadora sugiere que el mejor enfoque es utilizar estas máquinas como asistentes que proporcionen un primer borrador de retroalimentación, manteniendo a un profesor humano en el proceso para realizar el juicio final, especialmente en los aspectos más complejos de la escritura. Esto asegura que los estudiantes reciban la velocidad de la automatización sin perder la profundidad del entendimiento humano.