An Effective Strategy for Modeling Score Ordinality and Non-uniform Intervals in Automated Speaking Assessment

Resumen Técnico: Una Estrategia Eficaz para el Modelado de la Ordinalidad de las Puntuaciones e Intervalos No Uniformes en la Evaluación Automatizada del Habla

Planteamiento del Problema
Los sistemas de Evaluación Automatizada del Habla (ASA, por sus siglas en inglés) enfrentan dos limitaciones primarias en la investigación actual. Primero, los enfoques actuales de Aprendizaje Auto-Supervisado (SSL) sufren de restricciones específicas de la modalidad: los modelos de SSL basados en el habla (p. ej., wav2vec 2.0) capturan rasgos acústicos pero a menudo omiten el contenido semántico, mientras que los modelos de SSL basados en texto (p. ej., BERT) dependen de los resultados del Reconocimiento Automático del Habla (ASR), lo que los hace susceptibles a errores de transcripción y los incapacita para codificar matices prosódicos. Segundo, la mayoría de los métodos previos tratan los niveles de competencia (p. ej., CEFR A1, A2, B1) como clases nominales. Este enfoque ignora la estructura ordinal inherente de la competencia lingüística y el hecho de que los intervalos entre los niveles son no uniformes (es decir, la progresión de B1 a B2 no es equivalente a la de A1 a A2). Tratar estos niveles como equidistantes o sin orden conduce a objetivos de entrenamiento subóptimos y a un rendimiento de calibración reducido.

Metodología
Los autores proponen un nuevo marco de trabajo para ASA que aborda estos problemas mediante una estrategia de modelado de múltiples aspectos y una función de pérdida especializada.

1. Arquitectura de Múltiples Aspectos:
   El modelo integra características manuales con incrustaciones (embeddings) derivadas de SSL utilizando codificadores Transformer separados para tres aspectos de puntuación distintos:

• Módulo de Contenido: Combina incrustaciones de la instrucción (provenientes de un modelo BERT preentrenado) con características de habla a nivel de cuadro (de wav2vec 2.0) para capturar la alineación semántica entre la respuesta del estudiante y la instrucción.
• Codificador de Entrega: Procesa segmentos alineados con palabras de los resultados de ASR utilizando características prosódicas manuales (tono, energía, duración, confianza) para modelar las características de entrega temporal.
• Módulo de Uso del Lenguaje: Codifica anotaciones lingüísticas a nivel de palabra (categoría gramatical, relaciones de dependencia, características morfológicas) derivadas de las transcripciones de ASR para capturar estructuras léxicas y sintácticas.
  Estas representaciones específicas de cada aspecto se concatenan, se proyectan y se introducen en una cabeza de predicción.

2. Pérdida de Múltiples Márgenes Ordinales (MMO):
   Para modelar explícitamente la estructura ordinal y los intervalos no uniformes de los niveles de competencia, los autores introducen una pérdida de Múltiples Márgenes Ordinales (MMO) basada en logits. A diferencia de los métodos ordinales previos que imponen restricciones al nivel de la representación oculta, este enfoque aplica restricciones de pares directamente en el nivel de los logits.

• La función de pérdida impone una mayor separación en el espacio de los logits para los pares de etiquetas que están más alejados en la escala CEFR.
• Utiliza un margen acumulativo ($d_{y,y_k}$) que representa la distancia ordinal entre la etiqueta de verdad de campo (ground-truth) y las etiquetas negativas.
• La función objetivo final combina la pérdida MMO con la pérdida de entropía cruzada estándar, equilibrada por un hiperparámetro $\lambda$.

Contribuciones Clave
El artículo reclama dos contribuciones primarias:

1. Un Marco de Múltiples Aspectos: Un sistema que integra características manuales con incrustaciones de SSL para capturar características específicas de la modalidad, abordando al mismo tiempo las propiedades ordinales y no uniformes de la escala CEFR.
2. La Función de Pérdida MMO: Una novedosa función de pérdida totalmente basada en datos que es la primera en modelar conjuntamente la estructura ordinal y los intervalos de niveles no uniformes de las puntuaciones alineadas con el CEFR en el contexto de la ASA.

Resultados Experimentales
Los experimentos se realizaron en el corpus TEEMI, un conjunto de datos de respuestas espontáneas en inglés anotadas con puntuaciones holísticas y analíticas (Contenido, Entrega, Uso del Lenguaje) alineadas con los niveles CEFR (Pre-A1 a B2).

• Desempeño en el Conjunto de Prueba: El marco de Múltiples Aspectos (MA) propuesto superó a las bases sólidas, incluyendo modelos puramente basados en el habla (W2V), basados en texto (BERT) y fusionados (W2V-BERT). La adición de la pérdida MMO (MA+MMO) produjo mejoras adicionales, logrando el F1 holístico más alto (35.55%) y ganancias significativas en el F1 promedio macro para Contenido (+3.17) y Uso del Lenguaje (+8.39) en comparación con el modelo base MA.
• Generalización a Instrucciones No Vistas: El modelo MA+MMO demostró una generalización robusta en tareas no vistas (A02, B02, C01). Notablemente, en la tarea C01 (preguntas y respuestas temáticas), el modelo mostró mejoras sustanciales en el F1 de Entrega (+21.19%) y en el F1 general (+9.87%) en comparación con la base MA, lo que indica una mayor adaptabilidad a las variaciones de la tarea.
• Análisis Ordinal: El análisis de la matriz de confusión reveló que la pérdida MMO redujo los errores entre niveles distantes y aclaró la concentración diagonal. Además, el análisis de distancia confirmó que las brechas semánticas entre los niveles CEFR son no uniformes (p. ej., la brecha entre Pre-A1 y A1 es significativamente mayor que la de B1 a B1+), validando la necesidad del enfoque de modelado no uniforme propuesto.

Significancia
El artículo afirma que su marco propuesto ofrece un enfoque más interpretable y efectivo para la ASA al ir más allá de la simplificación de los niveles de competencia como categorías nominales. Al modelar explícitamente la naturaleza ordinal y los intervalos no uniformes de la competencia lingüística, el método mejora tanto la precisión de la predicción como la calibración de las puntuaciones. Los autores sugieren que esta estrategia es particularmente valiosa para escenarios de ASA en el mundo real donde la generalización a instrucciones y hablantes no vistos es crítica. Se prevé que el trabajo futuro explore estrategias de entrenamiento conjunto a través de las instrucciones y la integración de modelos de lenguaje de gran tamaño multimodales (MLLM) para mejorar aún más la exhaustividad.