The NTNU System at the S&I Challenge 2025 SLA Open Track

Resumen Técnico: El Sistema NTNU en el S&I Challenge 2025

Planteamiento del Problema
La Evaluación del Lenguaje Hablado (SLA, por sus siglas en inglés) para estudiantes de segunda lengua (L2) enfrenta un compromiso fundamental entre el modelado de la entrega acústica y el contenido lingüístico. Los enfoques tradicionales basados en texto, como los que utilizan BERT sobre transcripciones de Reconocimiento Automático del Habla (ASR), capturan eficazmente el contenido semántico pero fallan al modelar claves prosódicas y fonéticas críticas debido a su dependencia de transcripciones propensas a errores. Por el contrario, los modelos auto-supervisados acústicos como wav2vec 2.0 (W2V) sobresalen en el procesamiento de audio bruto para capturar la pronunciación y la fluidez, pero a menudo carecen de la interpretabilidad semántica requerida para una evaluación lingüística de alto nivel. Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) ofrecen una potencial unificación de estas modalidades, su aplicación para la calificación holística de SLA sigue siendo poco explorada. El desafío consiste en desarrollar un sistema que integre robustamente las características acústicas y semánticas bajo las restricciones de datos limitados y recursos computacionales, tal como se presenta en el Speak & Improve (S&I) Challenge 2025.

Metodología
Los autores proponen un sistema de doble calificador, NTNU SMIL V, que integra dos componentes de evaluación distintos mediante una estrategia de fusión de puntuación:

1. Calificador Acústico (W2V): Este componente utiliza un codificador wav2vec 2.0 pre-entrenado para extraer representaciones acústicas a nivel de cuadro a partir de formas de onda de voz bruta. Emplea un agrupamiento de atención (attention pooling) para generar vectores a nivel de enunciado, que luego son procesados a través de un módulo de incrustación prototípica. Este módulo calcula la similitud de coseno contra prototipos aprendibles que representan los niveles del MCER (A2 a C1+), alimentando el resultado en un Perceptrón Multicapa (MLP) para predecir una puntuación de competencia continua.
2. Calificador Multimodal (MLLM): El segundo componente está construido sobre la arquitectura Phi-4-multimodal, un Transformer de solo decodificador de 3.8 mil millones de parámetros. Este modelo es ajustado mediante Adaptación de Bajo Rango (LoRA) con un adaptador de audio dedicado para procesar señales de audio bruto junto con transcripciones de ASR, descripciones de tareas y prompts de preguntas.
   • Los autores investigaron dos configuraciones: un Calificador Multimodal Generalizado de Tareas Cruzadas (Phi4-CTG) entrenado con datos combinados de todas las partes de la tarea, y Calificadores Específicos de Tarea (Phi4-STG) donde se ajustan modelos separados para cada parte específica de la evaluación (Entrevista, Opinión, Presentación, Actividad de Comunicación).
   • El enfoque Phi4-STG prioriza el procesamiento directo de formas de onda de audio bruto para mitigar la propagación de errores del ASR, aprovechando la capacidad del modelo para razonar conjuntamente sobre los matices del habla (pronunciación, fluidez, prosodia) y el contenido lingüístico.
3. Fusión de Puntuación: El sistema final combina las predicciones del calificador W2V y el calificador Phi4-STG. La puntuación continua del MLLM se discretiza primero en ocho intervalos alineados con el MCER. Para cada intervalo, se determina un peso de interpolación óptimo ($w_k$) mediante una búsqueda en cuadrícula (grid search) en el conjunto de desarrollo para minimizar el Error Cuadrático Medio (RMSE) contra las puntuaciones de referencia. La puntuación fusionada se calcula como $\hat{y} = (1 - w_k)\hat{y}_{w2v} + w_k\hat{y}_{mllm}$.

Contribuciones Clave

• Integración de Modalidades: El artículo demuestra una fusión exitosa de un codificador de habla auto-supervisado (W2V) con un modelo de lenguaje de gran escala multimodal (Phi-4), combinando eficazmente el modelado acústico de grano fino con el razonamiento contextual profundo.
• Adaptación de MLLM Específica de Tarea: El estudio destaca que el ajuste fino específico de la tarea (Phi4-STG) supera a los modelos generalizados de tareas cruzadas (Phi4-CTG) en contextos de SLA, sugiriendo que las distintas partes de la evaluación se benefician de un modelado especializado.
• Robustez ante Errores de ASR: Al incorporar el procesamiento de audio bruto directamente en el flujo de trabajo del MLLM, el sistema reduce la dependencia de las transcripciones de ASR potencialmente defectuosas, abordando una limitación clave de las líneas base basadas solo en texto.
• Estrategia de Fusión a Nivel de Puntuación: La implementación de un mecanismo de fusión condicionado a la puntuación, donde los pesos se ajustan dinámicamente según el intervalo de puntuación predicho, permite una integración optimizada de los dos calificadores complementarios.

Resultados
El sistema propuesto, NTNU SMIL V, logró un Error Cuadrático Medio (RMSE) de 0.375 en el conjunto de prueba oficial del Speak & Improve Challenge 2025.

• Clasificación: Este desempeño le aseguró el segundo lugar en la competencia.
• Comparación: El sistema superó a la línea base oficial (RMSE 0.444) y a la tercera entrada clasificada (RMSE 0.384). Siguió muy de cerca al sistema del primer lugar (RMSE 0.364).
• Análisis de Componentes:
  • El modelo W2V independiente logró un RMSE de 0.394.
  • El modelo Phi4-STG independiente logró un RMSE de 0.389.
  • El sistema fusionado (W2V + Phi4-STG) logró el mejor resultado (0.375), demostrando que la combinación del modelado acústico y semántico produce un rendimiento superior comparado con cualquiera de los componentes por sí solos.
  • La fusión de W2V con el modelo generalizado Phi4-CTG produjo un RMSE de 0.377, ligeramente inferior al de la variante específica de la tarea, reforzando el valor de la adaptación específica de la tarea.

Significado y Reivindicaciones
Los autores afirman que su trabajo valida la efectividad de combinar codificadores de habla auto-supervisados con MLLMs para la evaluación del lenguaje hablado. Los resultados sugieren que, si bien las características acústicas son fundamentales para capturar las características de la entrega, las capacidades de razonamiento semántico de los MLLM específicos de la tarea mejoran significamente la precisión general de la calificación. El documento concluye modestamente que, aunque los MLLM ofrecen una dirección prometedora para unificar los paradigmas anteriores, su aplicación en SLA requiere elecciones arquitectónicas cuidadosas, como el ajuste fino específico de la tarea y el procesamiento directo de audio, para alcanzar plenamente su potencial. El trabajo enfatiza que las mejoras futuras deberían centrarse en refinar las estrategias de fusión y abordar la eficiencia del modelo y la equidad entre diversos grupos de estudiantes.