Zero-Shot Speech LLMs for Multi-Aspect Evaluation of L2 Speech: Challenges and Opportunities

Resumen Técnico: LLM de Voz Zero-Shot para la Evaluación Multiaspecto del L2 Oral

Planteamiento del Problema
La evaluación precisa de la pronunciación del inglés como segunda lengua (L2) es esencial para proporcionar retroalimentación personalizada y garantizar una evaluación justa del progreso del estudiante. Si bien los sistemas de Entrenamiento de Pronunciación Asistido por Computadora (CAPT) se han vuelto vitales, los enfoques tradicionales que dependen de la puntuación a nivel de fonema (por ejemplo, la Bondad de la Pronunciación) a menudo no logran capturar la fluidez a nivel de oración, la prosodia y la completitud. Además, la evaluación humana consume muchos recursos y carece de escalabilidad. Aunque los Modelos de Lenguaje Extensos (LLMs) han transformado la evaluación basada en texto, su aplicación a la evaluación del lenguaje hablado —específicamente para la puntuación multidimensional alineada con rúbricas en un entorno zero-shot— sigue siendo un campo emergente. Este artículo aborda el desafío de evaluar si los LLM de voz ajustados por instrucciones pueden realizar una evaluación de pronunciación holística y multidimensional sin un ajuste fino (fine-tuning) específico para la tarea.

Metodología
El estudio evalúa el rendimiento zero-shot de Qwen2-Audio-7B-Instruct, un LLM de voz instructivo y multimodal. La arquitectura del modelo integra un codificador de audio basado en Whisper-large-v3 (que convierte formas de onda crudas en espectrogramas de mel) con un decodificador de texto Qwen-7B, lo que permite la interacción directa entre audio y texto.

• Conjunto de Datos: La evaluación utiliza el corpus Speechocean762, que comprende 5,000 locuciones en inglés de 250 estudiantes hablantes de mandarín. El conjunto de datos incluye anotaciones a nivel de oración de cinco evaluadores expertos en cuatro dimensiones: Precisión (Accuracy), Fluidez (Fluency), Prosodia (Prosody) y Completitud (Completeness) (escaladas de 0 a 10).
• Estrategia de Prompting: El modelo opera en un entorno zero-shot, lo que significa que no se realizó un ajuste fino sobre la tarea de evaluación. Cada locución se emparejó con un prompt multimodal que contenía el audio crudo y el texto de referencia esperado. El prompt instruyó explícitamente al modelo para actuar como un experto en pronunciación, evaluando al hablante basándose en las cuatro rúbricas específicas con criterios de puntuación definidos (por ejemplo, 9–10 para "Excelente", 0–2 para "Ininteligible").
• Procesamiento de Salida: Se instruyó al modelo para devolver las puntuaciones en un formato JSON estructurado. Un analizador basado en expresiones regulares extrajo los fragmentos de texto de tipo diccionario para mapear las salidas del modelo a las cuatro categorías de la rúbrica, manejando desviaciones menores de formato mientras se descartaban campos inválidos.
• Protocolo de Evaluación: Las predicciones del modelo se compararon con la verdad de campo (GT) anotada por humanos. Las métricas incluyeron tasas de coincidencia exacta, acuerdo dentro de márgenes de ±1 y ±2 puntos, Coeficientes de Correlación de Pearson (PCC) y análisis de sensibilidad respecto a locuciones de baja calidad.

Resultados Clave
El estudio revela un perfil de rendimiento matizado para el modelo Qwen-Audio-Instruct:

• Acuerdo con las Calificaciones Humanas: El modelo demostró un fuerte acuerdo con los evaluadores humanos dentro de una tolerancia de ±2 puntos, logrando tasas de coincidencia del 87.4% (Precisión), 89.5% (Fluidez) y 87.5% (Prosodia). Sin embargo, las tasas de coincidencia exacta fueron relativamente bajas (23.3%–26.1% para precisión, fluidez y prosodia), y la Completitud mostró una alineación significativamente menor (0.7% de coincidencia exacta, 55.9% dentro de ±2).
• Correlación: Las correlaciones directas de puntuación (PCC) fueron generalmente débiles (por ejemplo, 0.140 para Precisión, 0.053 para Fluidez). No obstante, al utilizar coincidencias basadas en tolerancia (±1 y ±2), las correlaciones mejoraron, particularmente para la Precisión (0.671 en ±2) y la Prosodia (0.422 en ±2).
• Sesgo y Sensibilidad: El modelo exhibió un sesgo de sobreestimación sistemática, particularmente para el habla de baja calidad. Para las locuciones con puntuaciones de precisión de verdad de campo ≤6, el modelo no logró asignar ninguna puntuación en ese rango. Del mismo modo, sobrepredijo las puntuaciones de fluidez y prosodia en el 95.7% y 89.3% de los casos de baja GT, respectivamente.
• Rendimiento Específico de la Rúbrica:
  • Prosodia: La distribución de las puntuaciones de prosodia reflejó visualmente las anotaciones humanas más de cerca que otras rúbricas, lo que sugiere que el modelo captura eficazmente las características suprasegmentales (entonación, ritmo).
  • Completitud: Esta rúbrica mostró el peor desempeño. Los autores lo atribuyen a la ambigüedad en la definición de completitud en el conjunto de datos y a la falta de una guía detallada de la rúbrica en el prompt, lo que provocó discrepancias significativas entre las puntuaciones humanas y las del modelo.

Significancia y Reivindicaciones
El artículo afirma ser el primer trabajo que evalúa un LLM de voz ajustado por instrucciones en un entorno zero-shot para la evaluación de la pronunciación multiaspecto mediante la puntuación basada en rúbricas.

• Potencial: Los hallazgos demuestran que los LLM de voz ajustados por instrucciones pueden realizar evaluaciones de grano grueso y multifacéticas sin adaptación. Esta capacidad se destaca como particularmente valiosa para el prototipado rápido, despliegues de bajos recursos y escenarios donde los datos etiquetados para el ajuste fino son escasos.
• Limitaciones: Los autores señalan modestamente que, si bien el modelo muestra promesa para la alineación general, carece de la precisión requerida para una puntuación calibrada y de grano fino, especialmente para detectar errores en el habla de menor calidad. La sobreestimación sistemática y la dificultad para evaluar la "completitud" indican que los enfoques zero-shot actuales aún no son un reemplazo completo para la evaluación humana o los sistemas especializados.
• Direcciones Futuras: El artículo sugiere que avanzar en el Entrenamiento de Pronunciación Asistido por Computadora (CAPT) con estos modelos requerirá un ajuste fino específico del dominio, mejores estrategias de prompting para diferenciar mejor el rendimiento en el extremo inferior, y la integración de representaciones a nivel fonético o mecanismos de alineación para mejorar la precisión en la detección de errores.