When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

En el mundo del aprendizaje de una segunda lengua, los docentes e investigadores han dependido durante mucho tiempo de un marco de tres partes para comprender qué tan bien escribe un estudiante. Observan la complejidad, que es cuán intrincadas y variadas son las estructuras de las oraciones; la precisión, que mide qué tan libre es la escritura de errores gramaticales; y la fluidez, que cuenta cuántas palabras produce un estudiante en una sola unidad de pensamiento. Durante décadas, medir estos rasgos requería que un experto humano leyera cada oración, contara las cláusulas y señalara cada error, un proceso que era lento, costoso y difícil de repetir de manera consistente. Ahora, la inteligencia artificial ofrece una nueva posibilidad. Los modelos de lenguaje extensos, los mismos sistemas informáticos potentes que pueden escribir ensayos o responder preguntas, también pueden recibir la instrucción de contar estas características lingüísticas de forma instantánea. Pero queda una pregunta crítica: solo porque una computadora coincida con un humano en la clasificación general de los ensayos, ¿produce realmente los mismos números? Si un profesor utiliza estos números para rastrear el progreso de un estudiante a lo largo del tiempo, un error pequeño y constante en el conteo de la computadora podría conducir a una conclusión completamente errónea sobre si el estudiante está mejorando o teniendo dificultades.

Un equipo de investigadores de la Universidad de Maragheh en Irán se propuso responder a esta pregunta probando seis sistemas diferentes de inteligencia artificial pública frente a expertos humanos. Recopilaron 90 ensayos argumentativos escritos por 45 estudiantes universitarios, donde cada estudiante escribió dos ensayos sobre el mismo tema acerca de las redes sociales, separados por dos semanas. Los expertos humanos primero leyeron cada ensayo y acordaron un conjunto único de números para la complejidad, la precisión y la fluidez basándose en reglas estrictas. Luego, los investigadores introdujeron los mismos ensayos exactos en seis modelos de IA diferentes, incluyendo sistemas conocidos como ChatGPT, Gemini y otros, pidiéndoles que aplicaran las mismas reglas estrictas y devolvieran los conteos. El objetivo no era ver si la IA podía escribir un buen ensayo, sino ver si podía actuar como una herramienta de medición precisa, replicando los valores exactos que un humano calcularía.

Los resultados revelaron una brecha sorprendente entre en lo que la IA y los humanos coincidían y lo que realmente midieron. Cada uno de los modelos de IA mostró una fuerte conexión con las puntuaciones humanas; cuando un humano calificaba un ensayo con alta complejidad, la IA también lo calificaba como alto. Esto significa que las computadoras eran buenas para entender el orden relativo de los ensayos. Sin embargo, cuando los investigadores observaron los números reales, las computadoras a menudo se equivocaban de una manera específica. Para la medida de la complejidad, que implica contar cuántas cláusulas se empaquetan en una oración, cinco de los seis modelos subestimaron consistentemente el valor. Vieron menos estructuras complejas de las que los humanos vieron. Este no fue un error aleatorio; fue un sesgo sistemático donde los modelos parecían pasar por alto las partes intrincadas de la escritura del estudiante. En contraste, los modelos fueron mucho mejores midiendo la precisión. Podían identificar de manera confiable si una oración contenía un error gramatical o no, y sus números estaban mucho más cerca de los conteos humanos.

El estudio también examinó qué tan bien los modelos podían detectar cambios en la escritura de un estudiante a lo largo del tiempo. Dado que los estudiantes escribieron dos ensayos, los investigadores pudieron ver si la IA notaba los mismos cambios en el desempeño que los humanos notaron. Los expertos humanos encontraron que en el segundo ensayo, los estudiantes escribieron con significativamente menos errores gramaticales pero produjeron oraciones más cortas y menos complejas. Los modelos de IA copiaron con éxito este patrón para la precisión y la fluidez, identificando correctamente que los estudiantes cometían menos errores y escribían menos palabras por oración. Sin embargo, en lo que respecta a la complejidad, los modelos fueron inconsistentes. Algunos no notaron la caída en la complejidad en absoluto, mientras que otros vieron un cambio que era demasiado pequeño. Esto sugiere que, si bien una IA podría ser útil para detectar tendencias generales en un gran grupo de estudiantes, aún no puede ser confiable para proporcionar los números exactos necesarios para un análisis detallado de la estructura de las oraciones sin la supervisión humana.

Entre los seis sistemas probados, un modelo llamado DeepSeek fue el que mejor se desempeñó en general, equilibrando la precisión en las tres categorías mejor que los demás. Otro modelo, ChatGPT, fue particularmente fuerte en la medición de la precisión. Sin embargo, los investigadores enfatizaron que ningún modelo era perfecto para cada tarea. El desempeño de la IA dependía fuertemente de qué se estaba midiendo exactamente. Un modelo que es excelente contando errores puede ser deficiente contando estructuras de oraciones. Este hallazgo desafía la idea de que una alta correlación entre las puntuaciones humanas y de las máquinas significa que las dos son intercambiables. Sugiere que el uso de la inteligencia artificial para la evaluación del lenguaje requiere un enfoque cuidadoso y específico donde la herramienta sea validada para el trabajo específico que se le pide realizar, en lugar de asumir que funciona igualmente bien para todo.

En última instancia, el estudio concluye que estos potentes sistemas informáticos son asistentes valiosos, pero no reemplazos para el juicio humano en este campo específico. Pueden escanear rápidamente grandes cantidades de escritura para encontrar patrones generales o señalar ensayos que necesiten una inspección más cercana. Sin embargo, para mediciones precisas, especialmente respecto a la complejidad de las estructuras de las oraciones, los números que producen aún deben ser verificados contra los estándares humanos. La investigación destaca que, en la búsqueda del análisis de lenguaje automatizado, la diferencia entre moverse en la misma dirección y aterrizar en el mismo número es una distinción crucial que los investigadores y profesores deben tener en cuenta.