KVoiceBench, KOpenAudioBench, and KMMAU: Agent-Driven Korean Speech Benchmarks for Evaluating SpeechLMs

Resumen Técnico: KVoiceBench, KOpenAudioBench y KMMAU

Enunciado del Problema
Aunque los Modelos de Lenguaje de Voz (SpeechLMs) han avanzado significativamente al extender los Modelos de Lenguaje Grande (LLM) a modalidades de voz, su evaluación sigue estando fuertemente sesgada hacia el inglés. Los recursos multilingües existentes (por ejemplo, SD-QA, FLEURS) mejoran la cobertura para la pregunta-respuesta dialectal y el reconocimiento automático de voz (ASR), pero carecen de marcos escalables para transferir benchmarks modernos de Pregunta-Respuesta Oral (SpokenQA) o construir benchmarks de comprensión de audio en el idioma objetivo.

Las estrategias de transferencia directa, como traducir transcripciones, normalizar texto y sintetizar voz mediante TTS, introducen artefactos críticos:

1. Corrupción de Instrucciones: Las restricciones específicas del idioma (por ejemplo, las distinciones entre mayúsculas y minúsculas en inglés) a menudo no se traducen de manera significativa a idiomas como el coreano, que carecen de tales características ortográficas.
2. Errores de Normalización: Convertir texto escrito a formas aptas para la voz (manejando números, fechas, abreviaturas) es propenso a errores. En SpokenQA, un error menor de normalización puede alterar la respondibilidad de una pregunta.
3. Pérdida Paralingüística: Transferir audio del idioma fuente no logra preservar los atributos del hablante, acentos y propiedades paralingüísticas del idioma objetivo, que son esenciales para tareas de comprensión de audio.

Metodología
Los autores proponen dos marcos de colaboración humano-agente para construir benchmarks de voz coreanos de alta calidad, abordando las limitaciones de la transferencia ingenua.

1. Marco de Transferencia de Benchmark de Pregunta-Respuesta Oral (KVoiceBench y KOpenAudioBench)
Este marco transfiere benchmarks de SpokenQA en inglés (VoiceBench y OpenAudioBench) al coreano a través de cuatro etapas:

• Corrección de la Verdad Terrenal: Dos agentes LLM de vanguardia (un revisor y un meta-revisor) auditan muestras deterministas de la fuente (opción múltiple y respuesta corta) para identificar y corregir anotaciones erróneas (por ejemplo, respuestas factuales obsoletas o conjuntos de respuestas excesivamente restrictivos) antes de la traducción.
• Hipertraducción: Un componente central donde un agente LLM, guiado por un manual de reglas construido por humanos, convierte las muestras de la fuente al coreano. El manual de reglas codifica explícitamente propiedades gramaticales, ortográficas y específicas del sistema de escritura. Distingue entre:
  • Adaptación Directa: Localizar formas superficiales (por ejemplo, etiquetas de opciones, nombres propios).
  • Rediseño Específico del Idioma: Reemplazar o eliminar tareas dependientes de características específicas del inglés (por ejemplo, convertir tareas de orden de adjetivos en inglés en juicios de partículas/conjugación en coreano).
• Normalización Aptas para Voz: Un manual de reglas separado guía la conversión del texto hipertraducido a formas aptas para la voz, adecuadas para TTS. Esto maneja lecturas dependientes del contexto para números, unidades, símbolos y expresiones de idiomas mixtos para asegurar que el audio sintetizado coincida con la semántica pretendida de la pregunta.
• Síntesis TTS: El texto normalizado se sintetiza utilizando Qwen3-TTS condicionado en voces de referencia coreanas. Las muestras que superan un umbral de Tasa de Error de Palabras (WER) frente a la entrada normalizada se resintetizan.

2. Marco de Construcción de Benchmark de Comprensión de Audio (KMMAU)
En lugar de transferir audio de la fuente, este marco construye benchmarks a partir de corpus de ASR coreano de ocurrencia natural (KSS, KMSAV, Seoul Corpus) utilizando audio, transcripciones y metadatos de los hablantes. El método de construcción se selecciona en función de la capacidad que se está probando:

• Basado en Reglas desde Metadatos: Genera preguntas sobre atributos del hablante (edad, género, número de hablantes) utilizando los metadatos proporcionados.
• Basado en Reglas desde Transcripciones: Genera preguntas léxicas (orden de palabras, frecuencia de palabras) basadas en el análisis de la transcripción.
• Generado por LLM con Revisión Humana: Crea preguntas para extracción de hechos y resumen de temas, verificadas por humanos para asegurar naturalidad y respondibilidad.
• Totalmente Manual: Se utiliza para capacidades holísticas (conteo general, rol/profesión) que requieren escuchar el audio para la estructura del diálogo o evidencia no léxica.

Contribuciones Clave

1. Marcos: La propuesta de marcos reproducibles de colaboración humano-agente para transferir benchmarks de SpokenQA y construir benchmarks de comprensión de audio en el idioma objetivo.
2. Conjuntos de Datos: La construcción y publicación pública de tres benchmarks coreanos que comprenden 12,345 muestras:
   • KVoiceBench: 7,306 muestras derivadas de VoiceBench.
   • KOpenAudioBench: 2,835 muestras derivadas de OpenAudioBench.
   • KMMAU: 2,204 muestras construidas a partir de corpus de ASR coreano.
   • Nota: El proceso de construcción incluye "manuales de reglas" que hacen que la metodología sea auditable y reutilizable para otros idiomas objetivo.
3. Evaluación: Una evaluación exhaustiva de ocho SpeechLMs recientes en tareas de SpokenQA en inglés y coreano y de comprensión de audio.

Resultados
La evaluación de ocho SpeechLMs (incluyendo Raon-Speech, Qwen2.5-Omni, MiniCPM-o 4.5, etc.) revela:

• Brechas de Rendimiento: Hay una caída sustancial de rendimiento del inglés al SpokenQA en coreano, pero la degradación no es uniforme. Por ejemplo, Raon-Speech mantiene el rendimiento más alto en benchmarks coreanos, mientras que otros modelos muestran caídas significativas.
• Sensibilidad a la Tarea: Las tareas de razonamiento (por ejemplo, BBH) muestran relativa robustez, mientras que las tareas ricas en conocimiento y estructuradas sufren caídas mayores. Los comportamientos de seguridad también varían; algunos modelos reducen drásticamente las tasas de rechazo en coreano en comparación con el inglés.
• Clasificaciones Divergentes: Las clasificaciones de comprensión de audio divergen de las clasificaciones de SpokenQA. Por ejemplo, un modelo que ocupa el segundo lugar en SpokenQA coreano puede ocupar el tercer lugar en comprensión de audio, mientras que otro modelo con un rendimiento más débil en SpokenQA ocupa el segundo lugar en comprensión de audio.
• Especificidades de Capacidad: En KMMAU, los modelos muestran fortalezas variables: algunos sobresalen en la detección del orden de las palabras, otros en la extracción contextual de hechos, mientras que la detección del número de hablantes sigue siendo difícil para todos los modelos (≤36% de precisión).

Significado
El artículo afirma que las evaluaciones solo en inglés no logran revelar debilidades complementarias en los SpeechLMs. Al introducir estos benchmarks coreanos, los autores demuestran que:

1. La respuesta a preguntas en el idioma objetivo y la comprensión de audio fundamentada naturalmente sondean capacidades diferentes.
2. La brecha de rendimiento entre el inglés y el coreano varía significativamente entre modelos y familias de tareas, lo que sugiere que la robustez del modelo es dependiente de la tarea y no monolítica.
3. Los marcos propuestos de colaboración humano-agente proporcionan una metodología replicable para extender benchmarks de voz a idiomas adicionales, yendo más allá de la traducción simple para abordar problemas de validez específicos del idioma.

Los autores señalan limitaciones, incluido el uso de voz sintetizada para SpokenQA (que carece de variabilidad humana natural) y el hecho de que KMMAU no es un par de traducción directa de benchmarks en inglés, lo que hace que las comparaciones entre benchmarks sean referencias en lugar de brechas controladas de pares de idiomas.