A Finetuned SpeechLLM for Joint Multi-Granular L2 Assessment and Natural-Language Rationales

Resumen Técnico: Un SpeechLLM Ajustado para la Evaluación Conjunta Multigranular de L2 y Racionalizaciones en Lenguaje Natural

1. Planteamiento del Problema

Los sistemas automatizados de evaluación de habla de Segunda Lengua (L2) han avanzado en la detección de errores de pronunciación y la asignación de puntuaciones de competencia, pero a menudo carecen de interpretabilidad. Los enfoques tradicionales suelen producir métricas numéricas opacas o etiquetas aisladas a nivel de token, fallando al proporcionar información pedagógica accionable. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) han introducido la capacidad de generar racionalizaciones en lenguaje natural, las canalizaciones en cascada estándar (ASR seguido de LLM) no logran fundamentar estas racionalizaciones en la señal acústica. Además, los actuales modelos de extremo a extremo (E2E) SpeechLLM enfrentan tres brechas críticas:

1. Falta de Evaluación Conjunta: Los sistemas rara vez abordan una evaluación integral de múltiples aspectos (precisión, fluidez, prosodia) y de múltiples granularidades (frase, palabra, fonema) dentro de un único marco E2E.
2. Desequilibrio de Datos: El entrenamiento de modelos fiables para la puntuación ordinal se ve obstaculizado por un severo sesgo de etiquetas en los datos de L2, donde las producciones correctas y las categorías con altas calificaciones superan ampliamente a los errores.
3. Fiabilidad de la Racionalización: Las racionalizaciones generadas pueden parecer plausibles, pero a menudo carecen de fidelidad respecto a las etiquetas asignadas, particularmente en niveles finos de token.

2. Metodología

Los autores proponen un nuevo marco E2E SpeechLLM que predice conjuntamente etiquetas de L2 multi-aspecto y multi-granulares y genera una racionalización en lenguaje natural consistente con la etiqueta en una única respuesta.

Arquitectura del Modelo:

• Backbone: Se utiliza el modelo Qwen2-Audio-7B-Instruct, un estado del arte en SpeechLLM, como base.
• Eficiencia: Para preservar las representaciones acústicas preentrenadas y minimizar la memoria, los pesos base se mantienen congelados bajo una cuantización de 4 bits.
• Ajuste Fino (Fine-tuning): Se aplica la Adaptación de Bajo Rango (LoRA) a los módulos de consulta (query), valor (value), salida (output), up-proyección y down-proyección de las capas del decodificador (rango $r=64$, factor de escala $\alpha=128$), lo que resulta en aproximadamente 115 millones de parámetros entrenables (~1.6% del modelo total).

Objetivo de Optimización Híbrida:
Para abordar el desequilibrio de etiquetas y asegurar la adherencia a la rúbrica, los autores emplean un objetivo híbrido que combina el Ajuste Fino Supervisado (SFT) con la alineación basada en preferencias:

• Construcción de Preferencias: Para cada entrada, se construye un conjunto "elegido" de etiquetas ordinales de verdad de campo ($y_c$) y un conjunto "rechazado" ($y_r$). Las etiquetas rechazadas se sintetizan mediante la perturbación de la verdad de campo (por ejemplo, degradar "Excelente" a "Bueno"), con una distribución asimétrica (~88% degradado) para contrarrestar el "sesgo de amabilidad" (niceness bias).
• Optimización de Preferencia Directa Acotada (BDPO): La Optimización de Preferencia Directa (DPO) estándar puede inducir actualizaciones excesivamente agresivas cuando las etiquetas rechazadas son cercanas (por ejemplo, calificaciones ordinales adyacentes). Los autores utilizan BDPO, que limita la influencia de las respuestas rechazadas mediante el acotamiento de la razón de log-verosimilitud. Esto evita que el modelo reduzca arbitrariamente el peso de alternativas plausibles bajo una supervisión sesgada.
• Función de Pérdida: La pérdida total se define como $L_{total} = L_{BDPO} + \lambda \cdot L_{SFT}$, donde $\lambda=1.0$. $L_{SFT}$ se calcula mediante teacher forcing sobre la respuesta de evaluación objetivo, mientras que $L_{BDPO}$ optimiza la alineación de preferencias.

Conjunto de Datos y Prompting:

• Datos: Se utiliza el conjunto de datos SpeechOcean762 (SO762), que contiene 5,000 locuciones de habla leída en inglés de hablantes con L1 mandarín. La tarea involucra cinco dimensiones: precisión, fluidez y prosodia a nivel de frase, además de la precisión a nivel de palabra y fonema. Las etiquetas se discretizan en cinco categorías ordinales (Excelente a Peor).
• Prompting: Un único prompt basado en rúbrica elicia las cinco dimensiones y una racionalización de texto libre. El formato de salida es fijo para asegurar el parseo determinista de las etiquetas (ej. PALABRA/Etiqueta) seguido de la racionalización.

3. Contribuciones Clave

• Marco Unificado Multi-granular: El artículo presenta el primer estudio sistemático de un SpeechLLM E2E que predice simultáneamente la competencia a nivel de frase, la precisión a nivel de palabra y la precisión a nivel de fonema junto con una racionalización en lenguaje natural.
• BDPO para la Evaluación Ordinal: La aplicación de la Optimización de Preferencia Directa Acotada a la evaluación de habla L2 para manejar el severo desequilibrio de clases y las calificaciones ordinales adyacentes, mejorando la adherencia a la rúbrica y la consistencia entre etiqueta y racionalización.
• Análisis de Fiabilidad de la Racionalización: Una evaluación de doble eje de las racionalizaciones generadas que mide:
  • Plausibilidad: Autoconsistencia entre el sentimiento de la racionalización y las etiquetas predichas por el modelo.
  • Fidelidad (Faithfulness): Alineación entre las menciones específicas (palabras/fonemas) de la racionalización y tanto las predicciones del modelo como las anotaciones humanas de verdad de campo.

4. Resultados

Los experimentos se realizaron en el conjunto de prueba SO762 utilizando el Coeficiente de Correlación de Pearson (PCC), el Error Cuadrático Medio (RMSE) y el Coeficiente de Correlación de Matthews (MCC).

• Desempeño: El modelo multi-granular logró un fuerte desempeño a nivel de frase (PCC de Fluidez: 0.73; PCC de Prosodia: 0.71). Aunque la correlación a nivel de token (PCC) disminuyó para la precisión de Palabra (0.52) y Fonema (0.42), el modelo mantuvo capacidades de categorización efectivas, evidenciado por un MCC más alto para la Precisión de Palabra (0.39) en comparación con la Precisión de Frase (0.35).
• Comparación: El enfoque multi-granular superó a los modelos de granularidad única en Precisión de Frase e igualó o superó los enfoques SOTA previos (incluyendo GOPT y Azure PA) en la mayoría de las métricas, excepto en la puntuación a nivel de fonema, donde los métodos especializados basados en ASR (GOPT) aún mantienen una ventaja.
• Análisis de la Racionalización:
  • Plausibilidad: El modelo demostró una alta autoconsistencia; las racionalizaciones rara vez contradicen las etiquetas predichas (ej. una etiqueta "Negativa" con una racionalización "Positiva"). Sin embargo, se observó un "sesgo de positividad" respecto a la verdad de campo, donde el modelo tiende a producir racionalizaciones neutrales para el habla que los anotadores humanos calificaron negativamente.
  • Fidelidad: Las racionalizaciones a nivel de frase mostraron una fuerte concordancia con las predicciones (PCC ~0.87). Sin embargo, la fidelidad se degradó significamente a nivel de token. Las referencias a palabras y fonemas específicos fueron escasas y, cuando estuvieron presentes, mostraron una débil concordancia tanto con las predicciones del modelo como con la verdad de campo (PCC de Fonema: 0.07 vs. 0.20). El análisis cualitativo sugiere que el modelo a menudo depende de heurísticas ortográficas en lugar de evidencia acústica para la localización de errores finos.

5. Significación y Reivindicaciones

El artículo afirma que el SpeechLLM E2E propuesto equilibra con éxito la evaluación holística y la detallada sin una degradación sustancial, ofreciendo una alternativa más interpretable a las métricas numéricas opacas. Los autores sostienen que el BDPO mejora efectivamente la adherencia a la rúbrica y la consistencia entre etiqueta y racionalización, particularmente en el contexto de distribuciones de calificación sesgadas.

No obstante, los autores mantienen una postura modesta respecto a las limitaciones del sistema. Concluyen que, si bien los SpeechLLMs demuestran una mayor fiabilidad para la evaluación holística y el soporte diagnóstico de alto nivel, actualmente quedan cortos en la localización precisa de errores a nivel de token. El artículo enfatiza que la fidelidad observada a nivel de palabra/fonema es aproximada y que avanzar en la estimación de la fidelidad fina sigue siendo una dirección crítica para los sistemas generativos de evaluación de habla pedagógicamente útiles.