Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts

Este estudio presenta modelos de aprendizaje automático interpretables que, mediante la selección cuidadosa de características lingüísticas y de errores, logran predecir con alta precisión (hasta 0.9) los niveles de competencia del MCER en textos de aprendices de estonio, ofreciendo además insights sobre la evolución de la complejidad del lenguaje a lo largo del tiempo.

Lo esencial

Imagina que aprender un idioma es como subir una montaña. En la base (nivel A2), el camino es empinado y lleno de piedras sueltas; te equivocas mucho y tus frases son cortas. A medida que subes (niveles B1, B2, C1), el terreno se vuelve más suave, las vistas son más amplias y tus pasos son más seguros y complejos.

Este artículo de investigación trata sobre cómo enseñarle a una computadora a "ver" en qué parte de la montaña se encuentra un estudiante que escribe en estonio, sin necesidad de que un profesor humano lea cada palabra.

Aquí tienes la explicación de la investigación, usando analogías sencillas:

1. El Problema: ¿Cómo sabe la máquina si eres un principiante o un experto?

Antes, para saber el nivel de un estudiante, un profesor humano tenía que leer su texto, corregirlo y asignarle una nota. Esto toma mucho tiempo. Los investigadores querían crear un "árbitro digital" que hiciera esto automáticamente.

El desafío es que la computadora no tiene "oído" ni "intuición". Solo ve números y palabras. Si le dices "mira este texto y dime si es nivel B1", la computadora se pierde. Necesitamos darle reglas claras, como si le diéramos una brújula en lugar de un mapa completo.

2. La Solución: Las "Pistas" (Características Lingüísticas)

Los investigadores no le dieron a la computadora todo el texto para que adivinara. En su lugar, le dieron 4 tipos de pistas (llamadas características) que actúan como huellas dactilares del nivel de idioma:

• 🔍 El Vocabulario (La caja de herramientas):

  • Analogía: Un principiante tiene una caja de herramientas con solo un martillo y un destornillador (palabras muy comunes). Un experto tiene una caja llena de herramientas especiales y raras.
  • Lo que midieron: ¿Cuántas palabras diferentes usa? ¿Usa palabras raras o siempre las mismas? ¿Las palabras son concretas (como "mesa") o abstractas (como "libertad")?

• 🧩 La Gramática (El esqueleto de la oración):

  • Analogía: Imagina que las palabras son bloques de Lego. Un principiante hace torres simples y rectas. Un experto hace castillos con torres curvas, puentes y formas complicadas.
  • Lo que midieron: ¿Usa muchos tiempos verbales diferentes? ¿Usa casos gramaticales complejos (en estonio hay 14 formas de cambiar una palabra según su función)? ¿Usa pronombres raros en lugar de decir "yo" todo el tiempo?

• 📏 La Superficie (El tamaño del edificio):

  • Analogía: ¿Cuántos ladrillos tiene la casa? ¿Cuántas habitaciones (oraciones) tiene? ¿Son las habitaciones largas o cortas?
  • Lo que midieron: Longitud de las frases, número de sílabas, longitud de las palabras.

• 🚫 Los Errores (Los huecos en la pared):

  • Analogía: Un principiante tiene muchas grietas y pintura mal puesta. Un experto tiene una pared casi perfecta, con solo un pequeño rasguño aquí y allá.
  • Lo que midieron: ¿Cuántas palabras necesita corregir el corrector ortográfico? ¿Cuántas frases necesitan reordenarse?

3. El Experimento: Entrenando al "Entrenador"

Los investigadores tomaron 720 textos reales de exámenes estonios (desde nivel A2 hasta C1).

• El entrenamiento: Dividieron los textos en dos grupos. Uno para "enseñar" a la computadora (el grupo de entrenamiento) y otro para "examinarla" (el grupo de prueba).
• La regla de oro: No querían que la computadora aprendiera a adivinar por el tema del texto (por ejemplo, "si habla de un concierto, es nivel B1"). Querían que aprendiera por la calidad del idioma. Por eso, filtraron las pistas para que fueran útiles en cualquier tema.

4. Los Resultados: ¡La computadora aprendió!

• Precisión: Cuando probaron a la computadora con textos nuevos, acertó el nivel correcto en el 90% de los casos (¡casi como un profesor humano!).
• La sorpresa del tiempo: Probaron el sistema con textos de hace 10 años (2010) y notaron algo curioso: los textos de hace 10 años eran más simples que los actuales. ¡Los estudiantes de hoy escriben de forma más compleja! La computadora tuvo que adaptarse a este cambio.
• Mejor mezcla: La combinación ganadora fue mezclar todas las pistas (vocabulario + gramática + longitud + errores). Fue como si el entrenador usara la brújula, el mapa y el reloj al mismo tiempo.

5. ¿Para qué sirve esto? (El Legado)

Este sistema no es solo un experimento de laboratorio. Ya se ha integrado en una herramienta llamada ELLE (un entorno de aprendizaje de estonio).

• Para el estudiante: Ahora, cuando escribe un texto, la herramienta le dice: "¡Hola! Parece que estás en el nivel B1. Tu vocabulario es bueno, pero tus frases son un poco cortas. Intenta usar más conectores".
• Para el profesor: Le ayuda a revisar tareas rápidamente y a ver el progreso de la clase sin tener que leer cada error manualmente.

En resumen

Esta investigación es como construir un detector de niveles de idioma. En lugar de adivinar, la computadora analiza las "huellas" que deja un estudiante al escribir (qué palabras usa, cómo las une y cuántos errores comete).

El resultado es una herramienta más justa y rápida que ayuda a los estudiantes a saber dónde están en su viaje de aprendizaje y a los profesores a guiarlos mejor, todo sin perder la capacidad de explicar por qué se dio esa nota (algo que las inteligencias artificiales modernas a veces no hacen tan bien).

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Hacia modelos interpretables para la evaluación de la competencia lingüística: Predicción del nivel MCER de textos de aprendices de estonio

1. Planteamiento del Problema

El artículo aborda la necesidad de desarrollar herramientas de evaluación automática de la escritura (AWE) para el idioma estonio que sean precisas, generalizables y, crucialmente, interpretables. Aunque existen sistemas para otros idiomas (como inglés o sueco), hay una falta de investigación que combine explícitamente el análisis de corpus de aprendices con la predicción de niveles del Marco Común Europeo de Referencia para las Lenguas (MCER/CEFR) utilizando características lingüísticas seleccionadas cuidadosamente.

El desafío principal radica en distinguir entre características que reflejan la competencia general de escritura y aquellas que son dependientes de la tarea o el género textual. Muchos modelos anteriores utilizan "cajas negras" (como redes neuronales profundas) o características que varían según el tema, lo que reduce la transparencia y la utilidad pedagógica de la retroalimentación. El objetivo es crear un modelo que pueda clasificar textos de aprendices de estonio en los niveles A2, B1, B2 y C1 basándose en predictores lingüísticos robustos y explicables.

2. Metodología

El estudio se basó en un enfoque de aprendizaje supervisado combinado con análisis de corpus.

• Datos:
  • Conjunto principal: 720 textos de exámenes de competencia lingüística en estonio (2017–2020), divididos en 600 para entrenamiento y 120 para prueba (Test Set 1).
  • Conjunto de validación externa: 398 textos de exámenes de 2010 (Test Set 2) para evaluar la generalización temporal.
  • Tipos de texto: Cartas personales, narrativas, cartas semi-formales y textos argumentativos.
• Extracción de Características: Se extrajeron cuatro categorías de características lingüísticas utilizando herramientas de PLN (Stanza, correctores ortográficos y gramaticales):
  1. Léxicas: Diversidad (TTR, MTLD, RTTR), sofisticación (vocabulario raro, abstracción de sustantivos) y densidad.
  2. Morfológicas: Frecuencias de partes del discurso, casos gramaticales (14 casos en estonio), formas verbales (tiempo, persona, negación) y uso de pronombres.
  3. Superficiales: Longitud de texto, oraciones, sílabas, longitud promedio de palabras e índices de complejidad (SMOG, LIX).
  4. De Error: Frecuencia de correcciones ortográficas y gramaticales propuestas por herramientas automáticas.
• Selección de Características: Se aplicaron criterios estrictos para seleccionar "predictores fiables": diferencias significativas entre niveles adyacentes, cambios monotónicos (unidireccionales), correlación con el nivel de competencia y baja variación intra-nivel entre tipos de texto.
• Modelado: Se entrenaron múltiples clasificadores (Regresión Logística, SVM, Random Forest, MLP, LDA/QDA) bajo dos condiciones:
  1. Usando solo las características pre-seleccionadas como relevantes (Rel).
  2. Usando todas las características disponibles (All).
     Se utilizó validación cruzada de 10 pliegues y se evaluó la importancia de las características mediante el método de permutación.

3. Contribuciones Clave

• Interpretabilidad y Explicabilidad: A diferencia de los modelos basados en embeddings (BERT/LLMs) que son opacos, este estudio prioriza modelos basados en características lingüísticas seleccionadas manualmente, permitiendo a profesores y alumnos entender por qué un texto recibe una calificación (ej. "mayor uso de formas plurales" o "menor tasa de errores gramaticales").
• Análisis de la Evolución Temporal: El estudio demuestra que los textos de los exámenes han aumentado en complejidad entre 2010 y 2020, especialmente en el nivel C1, lo que valida la necesidad de actualizar los modelos de evaluación.
• Identificación de Marcadores Específicos del Estonio: Se identificaron características específicas del estonio (como el uso de casos gramaticales, la abstracción de sustantivos y la variación de verbos finitos) que correlacionan fuertemente con el progreso en el MCER.
• Implementación Práctica: Los mejores parámetros del modelo se han integrado en ELLE, un entorno de aprendizaje de idiomas de código abierto en Estonia, proporcionando retroalimentación automatizada sobre complejidad y corrección de errores.

4. Resultados

• Precisión General:
  • Los modelos combinados (mezcla de características léxicas, morfológicas, superficiales y de error) alcanzaron una precisión de 0.983 en el conjunto de prueba interno (Test Set 1).
  • En el conjunto de prueba externo (Test Set 2, datos más antiguos), la precisión equilibrada fue de aproximadamente 0.80, lo que indica una buena generalización a pesar de los cambios en las tareas de examen.
• Comparación de Categorías:
  • Características Superficiales: Fueron las más predictivas individualmente (precisión ~0.93), especialmente la longitud de texto y el índice SMOG.
  • Características Morfológicas: Mostraron un alto rendimiento (precisión ~0.95 con todas las características), destacando el uso de formas plurales, la reducción de pronombres personales y el aumento de pronombres demostrativos/relativos en niveles avanzados.
  • Características Léxicas: La diversidad léxica (RTTR, MTLD) y la abstracción de sustantivos fueron mejores predictores que la sofisticación basada en vocabulario raro.
  • Características de Error: Fueron las menos precisas individualmente (precisión ~0.70), pero útiles para la evaluación integral.
• Selección de Características: Los modelos que utilizaban solo características pre-seleccionadas (Rel) mostraron una mayor generalización entre diferentes tipos de texto y conjuntos de datos que los modelos que usaban todas las características disponibles, reduciendo el riesgo de sobreajuste a tareas específicas.
• Errores de Clasificación: Los errores ocurrieron principalmente confundiendo niveles adyacentes (ej. B1 con B2), lo cual es aceptable en contextos de evaluación formativa.

5. Significado e Implicaciones

• Validación Pedagógica: Los resultados confirman que el desarrollo de la competencia en estonio como L2 sigue patrones predecibles (aumento de complejidad morfológica y léxica, disminución de errores), lo que permite refinar los descriptores del MCER para el estonio.
• Herramienta de Apoyo, no Sustitución: El sistema está diseñado para asistir a los evaluadores humanos y proporcionar retroalimentación inmediata a los estudiantes, no para reemplazar la evaluación experta, especialmente en aspectos pragmáticos y sociolingüísticos.
• Transferibilidad: El marco metodológico propuesto (selección rigurosa de características basadas en corpus para garantizar interpretabilidad) puede aplicarse a otros idiomas de bajo recurso o con morfología rica.
• Futuro: El estudio sugiere que la combinación de estos modelos interpretables con LLMs (para generar retroalimentación natural) podría ser el camino futuro para sistemas de evaluación híbridos más robustos.

En resumen, el artículo demuestra que es posible lograr una alta precisión en la clasificación de niveles de competencia lingüística utilizando modelos de aprendizaje automático interpretables basados en características lingüísticas seleccionadas cuidadosamente, ofreciendo una solución viable y transparente para la evaluación automatizada del estonio.