ParaPairAudioBench: Paralinguistic Pairwise Audio Benchmark for LALM-as-a-Judge

Resumen Técnico: PARAPAIRAUDIOBENCH

Planteamiento del Problema
Aunque los Modelos de Lenguaje y Audio de Gran Escala (LALM) se han convertido en herramientas estándar para la evaluación automática del habla generada, las metodologías actuales se centran predominantemente en la naturalidad holística. Este enfoque deja poco exploradas las distinciones paralingüísticas finas, tales como la velocidad del habla, el énfasis, el estilo, la edad y el género. Los marcos de evaluación existentes tienen dificultades para determinar si el habla sintetizada se adhiere con precisión a las claves paralingüísticas específicas e intencionadas. Además, la fiabilidad de los LALM actuando como "jueces" en entornos pareados controlados —particularmente en lo que respecta a su capacidad para abstenerse de tomar una decisión cuando las muestras son indistinguibles (calibración) y su dependencia de las claves léxicas frente a las acústicas— sigue sin ser investigada en gran medida.

Metodología
Para abordar estas brechas, los autores presentan PARAPAIRAUDIOBENCH, un benchmark diagnóstico de pares que consta de 5.175 pares de audio. El benchmark está diseñado para evaluar sistemas de LALM-como-Juez a través de cinco dimensiones paralingüísticas distintas:

1. Estilo: Atributos expresivos (p. ej., susurro, felicidad).
2. Ritmo (Rate): Cadencia temporal global.
3. Énfasis: Prominencia prosódica localizada a nivel de palabra.
4. Edad: Características de la edad del hablante.
5. Género: Características de género del hablante.

El conjunto de datos se construye a partir de corpus públicos validados (Expresso, Sonos Voice Control, LibriTTS, EARS) y se adhiere a principios de diseño estrictos:

• Formato Pareado: Cada instancia presenta dos muestras de audio (A y B) con una instrucción. El juez debe seleccionar A, B o [[Tie]] (indicando un empate o indistinguibilidad).
• Condiciones de Empate (Tie): El benchmark incluye explícitamente casos de "Empate" (donde ambas muestras son igualmente buenas o igualmente malas) para probar la calibración. Para el Énfasis, los empates se restringen a instancias de "Ambos Malos" debido a la dificultad de verificar perfiles de estrés perceptualmente idénticos sin una anotación a nivel de cuadro (frame). El Ritmo excluye los empates por completo debido a las variaciones rítmicas naturales.
• Control de Transcripción: Para aislar la dependencia acústica de la textual, los pares se equilibran entre condiciones de Misma-Transcripción (texto idéntico) y Transcripción-Cruzada (texto diferente).
• Pruebas de Robustez: Para medir el sesgo de posición, cada par se evalúa dos veces intercambiando los órdenes de entrada (Audio A primero vs. Audio B primero).

El estudio evalúa cinco LALM representativos (Gemini 2.5 Flash, GPT-4o Audio, SpeechJudge-7B, Kimi-Audio-7B, Qwen2.5-Omni-7B) frente a evaluadores humanos.

Resultados Clave
Los experimentos revelan limitaciones significativas en los jueces LALM actuales en comparación con el desempeño humano:

• Brecha de Desempeño: Incluso el modelo más fuerte, Gemini 2.5 Flash, se queda atrás del juicio humano por un promedio de 17.7 puntos porcentuales. En todos los modelos, la brecha promedio respecto al desempeño humano es de 32 puntos porcentuales.
• Fallo de Calibración: Los modelos exhiben un fallo severo en los escenarios de "Empate". En lugar de abstenerse cuando las muestras son indistinguibles, los modelos frecuentemente fuerzan una preferencia. Por ejemplo, mientras que los humanos logran más del 75% de precisión en identificar empates para Énfasis, Estilo y Género, los modelos a menudo caen por debajo del 20% de precisión en estas mismas categorías. SpeechJudge-7B muestra el colapso más extremo, con una precisión de empate tan baja como 1.6–1.7%.
• Debilidades Específicas de Criterio:
  • Los modelos funcionan relativamente bien en Ritmo (una clave global) pero tienen dificultades con el Énfasis (una clave localizada).
  • La estimación de la Edad es inherentemente difícil incluso para los humanos (baja concordancia entre evaluadores), aunque algunos modelos superan ligeramente el desempeño humano en casos de no-empate, fallan al calibrar correctamente en casos ambiguos.
• Dependencia Léxica vs. Acústica: Un análisis controlado por transcripción revela una dependencia asimétrica de la modalidad:
  • Estilo: Los modelos dependen fuertmente del contenido léxico. El desempeño cae significamente (p. ej., Gemini 2.5 Flash cae de 83.8% a 36.6%) cuando las transcripciones difieren, lo que indica que utilizan claves textuales en lugar de la prosodia acústica para el juicio de estilo.
  • Énfasis: La tendencia se revierte; los modelos funcionan mejor con pares de transcripción cruzada. Esto sugiere que el andamiaje prosódico global en diferentes oraciones ayuda a compensar la débil sensibilidad local al énfasis de nivel de palabra dentro de las mismas elocuciones.
• Sesgo de Posición: Todos los modelos evaluados exhiben un sesgo de posición sistemático. SpeechJudge muestra el mayor sesgo (una brecha del 29.4% entre Acc@A y Acc@B), favoreciendo consistentemente la segunda posición, mientras que Qwen2.5-Omni favorece la primera.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias:

1. Evaluación Diagnóstica Multidimensional: Al descomponer el juicio paralingüístico en cinco criterios, este benchmark revela que los modelos sobresalen en claves distribuidas globalmente (Ritmo) pero fallan en la prominencia prosódica localizada (Énfasis), una distinción invisible para las puntuaciones de naturalidad agregadas.
2. Evaluación de Calibración y Robustez: La inclusión de condiciones de Empate explícitas y cambios de orden expone fallos sistemáticos de calibración y sesgos de posición (hasta 29.4%p) que son críticos para el despliegue de LALM como jueces fiables.
3. Análisis de Dependencia Consciente de la Modalidad: El benchmark demuestra que los LALM actuales a menudo dependen excesivamente de las claves textuales para ciertos atributos (Estilo) mientras subutilizan el contexto acústico para otros (Énfasis), resaltando la necesidad de protocolos de evaluación que controlen la coincidencia de la transcripción.

Conclusión
PARAPAIRAUDIOBENCH sirve como una herramienta diagnóstica controlada para evaluar la fiabilidad de los sistemas LALM-como-Juez. Los autores concluyen que, si bien los LALM muestran potencial, actualmente carecen de la sensibilidad perceptual fina y la calibración requeridas para una evaluación paralingüística robusta. El benchmark prioriza los contrastes diagnósticos fiables sobre la cobertura exhaustiva, proporcionando una base para trabajos futuros sobre la mitigación de sesgos y la mejora de la calibración en los procesos de evaluación de audio.