💬 NLP

Beyond Naturalness: Probing Automated Text-To-Speech Evaluators on Linguistically Grounded Dimensions

Este artículo introduce un benchmark de metaevaluación a nivel de dimensión y con base lingüística para sistemas de texto a voz que revela que los evaluadores automatizados actuales, incluyendo los predictores de MOS y los jueces basados en Audio-LLM, no logran capturar de manera fiable la amplitud total de las dimensiones perceptuales del habla más allá de la calidad acústica básica.

Autores originales: Oluwanifemi Bamgbose, Simon Rosen, Jash Shah, Lindsay Devon Brin, Hoang H Nguyen, Anke Koelzer, Rachel Hansen, Tara Bogavelli, Fanny Riols

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Oluwanifemi Bamgbose, Simon Rosen, Jash Shah, Lindsay Devon Brin, Hoang H Nguyen, Anke Koelzer, Rachel Hansen, Tara Bogavelli, Fanny Riols

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a hablar. Quieres que suene como un humano real, no como un personaje de un videojuego con fallos técnicos. Pero, ¿cómo sabes si el robot lo está haciendo bien? Durante mucho tiempo, los científicos han utilizado una "Puntuación de Opinión Media" (MOS, por sus siglas en inglés). Piensa en esto como una boleta de calificaciones escolar donde un oyente humano le otorga al robot una sola nota, como un "B" o un "4 de 5", basándose en qué tan natural suena. Recientemente, hemos empezado a utilizar jueces de IA superinteligentes (llamados Audio-LLM) para dar estas calificaciones automáticamente, con la esperanza de ahorrar el tiempo de pedir a humanos que escuchen miles de grabaciones.

La gran pregunta es: ¿entienden realmente estos jueces automáticos por qué una voz suena mal? ¿Es porque el robot está pronunciando mal una palabra? ¿Es porque está hablando demasiado rápido? ¿O es porque el robot suena como un robot? Si el juez de IA solo da una "B" sin saber cuáles de esas cosas específicas salieron mal, es como un profesor que le da a un estudiante una mala nota en un examen de matemáticas pero no le dice si falló en la suma, la resta o la multiplicación. Este artículo profundiza en si nuestros jueces automáticos actuales son realmente lo suficientemente inteligentes como para detectar estos errores específicos, o si solo están adivinando basándose en qué tan "ruidoso" suena el audio.

Los investigadores de ServiceNow decidieron someter a estos jueces automáticos a una prueba muy específica. Construyeron un conjunto de datos gigante y personalizado de 860 muestras de voz, pero no grabaron simplemente frases aleatorias. Fueron como científicos locos, inyectando deliberadamente tipos específicos de errores en el habla. Crearon 10 "sabores" diferentes de errores, que iban desde errores diminutos a nivel de palabra (como decir "gato" en lugar de "pato") hasta problemas más grandes como hablar con la emoción incorrecta o tener una voz que es físicamente imposible de producir para un humano. Luego, hicieron que lingüistas humanos entrenados escucharan cada uno de los clips y etiquetaran exactamente qué había salido mal.

Con este "clave de respuestas" perfecta en mano, probaron cuatro tipos diferentes de predictores de MOS tradicionales y cuatro jueces de Audio-LLM diferentes. Pidieron a estos modelos de IA que calificaran el habla bajo diferentes condiciones: a veces preguntándoles por una puntuación general de "naturalidad", y otras veces dándoles una lista de verificación detallada de los 10 tipos de errores específicos que debían buscar.

Los resultados fueron un poco un llamado de atención. Los predictores de MOS tradicionales (aquellos que solo dan un número único) resultaron ser como un detector de humo que solo suena cuando hay un incendio, pero ignora una ventana rota. Eran excelentes para detectar fallos obvios y de bajo nivel, como un zumbido robótico o estática extraña (lo que el artículo llama errores de "Plausibilidad Humana"), pero eran completamente ciegos a los errores más lingüísticos. Si un robot pronunciaba mal una palabra o ponía el énfasis en la sílaba equivocada, al predictor de MOS a menudo no le importaba en absoluto, dando una puntuación alta incluso cuando los oyentes humanos se sentían desconcertados.

Los jueces de Audio-LLM eran un poco más complejos. Mostraron cierta capacidad para detectar errores, pero solo si se les preguntaba de la manera correcta. Cuando los investigadores simplemente les preguntaban "¿Es esto natural?", los jueces de IA eran inconsistentes y pasaban por alto muchos errores específicos. Sin embargo, cuando los investigadores les dieron una "guía de referencia" (un esquema) que enumeraba las dimensiones específicas para revisar, los jueces mejoraron mucho en la detección de errores a nivel de palabra. Pero había un truco: si le pedías a la IA que revisara las 10 dimensiones a la vez, a menudo se confundía y colapsaba, dando la misma puntuación para todo. Funcionaba mejor cuando le pedías que se enfocara en un solo tipo de error a la vez.

En última instancia, el artículo sugiere que no podemos confiar en una única puntuación de "naturalidad" para decirnos si un sistema de Texto a Voz es bueno. Los jueces automáticos actuales son como estudiantes que son excelentes detectando un escritorio desordenado pero terribles detectando un error de ortografía. Tienden a centrarse en la calidad del sonido de la grabación en lugar del lenguaje real que se está hablando. Los autores concluyen que, para mejorar verdaderamente estos sistemas, debemos dejar de tratar la "naturalidad" como un gran misterio y empezar a evaluar el habla analizando cada dimensión específica —pronunciación, énfasis, emoción y velocidad— de forma individual. Hasta que no hagamos eso, nuestros jueces automáticos podrían estar dándonos una nota aprobatoria para un robot que suena como un humano, pero que en realidad está diciendo las palabras equivocadas.

Resumen Técnico: Más allá de la naturalidad: Sondeo de los evaluadores automatizados de Texto-a-Voz en dimensiones lingüísticamente fundamentadas

Planteamiento del problema
Los métodos de evaluación de Texto-a-Voz (TTS) automatizados, específicamente los predictores de MOS neural y los jueces de modelos de lenguaje de audio (Audio-LLM), se utilizan cada vez más para escalar la evaluación de calidad. Sin embargo, no está claro si estos modelos capturan los aspectos distintos y estructurados lingüísticamente del habla que los oyentes humanos realmente perciben. Los evaluadores actuales suelen emitir puntuaciones holísticas, conllevando tipos de fallos perceptualmente distintos (por ejemplo, mala pronunciación frente a entonación antinatural) bajo una única métrica de "naturalidad". Esta opacidad impide la atribución diagnóstica de los fallos del sistema a dimensiones interpretables específicas, lo que dificulta la mejora dirigida del sistema.

Metodología
Los autores construyen el primer benchmark de meta-evaluación a nivel de dimensión, basado en un esquema de anotación motivado por la lingüística.

Esquema de evaluación: Los autores descomponen la "naturalidad" en 10 dimensiones perceptualmente separables organizadas en tres niveles lingüísticos:
- Nivel de palabra: Precisión fonética y acento léxico.
- Nivel prosódico: Entonación, acento prosódico, colocación de fronteras prosódicas y adecuación de la velocidad del habla.
- Nivel paralingüístico: Adecuación emocional, expresividad, consistencia de la identidad del hablante y plausibilidad humana.
Construcción del conjunto de datos: Se generó un conjunto de datos de 860 enunciados utilizando Cartesia Sonic-3. Para garantizar la verdad de referencia (ground truth), se introdujeron errores controlados mediante tres vías:
1. IPA alterado por LLM: Para errores fonéticos y de acento (por ejemplo, sustitución de fonemas, transposición de acento).
2. Texto plano alterado por LLM: Para errores de acento prosódico y de fronteras (por ejemplo, citar funciones de palabras, insertar comas).
3. Manipulación acústica: Utilizando Praat/Parselmouth para manipular F0, duración e introducir artefactos digitales (por ejemplo, fallos técnicos, transiciones bruscas entre hablantes).
4. Emoción impuesta por API: Desajuste entre las etiquetas de emoción y el contenido del texto.
Anotación: Tres lingüistas formados anotaron todas las muestras en las 10 dimensiones. La verdad de referencia se estableció mediante voto por mayoría, resultando en un conjunto de datos binario equilibrado (error presente/ausente). La fiabilidad entre anotadores se midió mediante el $\alpha$ de Krippendorff.
Protocolo de evaluación: Se evaluaron cuatro predictores de MOS neural (UTMOSv2, DNSMOS-Pro, NISQA, Audiobox-Aesthetics) y cuatro jueces de Audio-LLM (Gemini 3/3.5 Flash, Qwen3-Omni, Step-Audio-R2-Mini) bajo cuatro condiciones de prompting:
1. Subespecificado (C1): Prompt genérico de "naturalidad".
2. Guiado por esquema, puntuación única (C2a): Esquema completo proporcionado, pero la salida es una única puntuación holística.
3. Guiado por esquema, por dimensión (C2b): Esquema completo proporcionado, la salida es una puntuación para cada dimensión.
4. Dimensión aislada (C3): Prompt para una dimensión a la vez.
  El rendimiento se midió frente a la verdad de referencia humana utilizando $\tau_b$ de Kendall, la prueba U de Mann-Whitney y AUROC.

Resultados clave

Predictores de MOS: Estos modelos exhiben un fuerte sesgo hacia la calidad de la señal acústica. Muestran una correlación significativa con las dimensiones paralingüísticas que involucran manipulación acústica (Plausibilidad Humana, Velocidad del Habla, Expresividad), pero fallan en detectar errores de nivel de palabra (Precisión Fonética, Acento Léxico) y errores prosódicos (Entonación, Colocación de Fronteras). Algunos modelos incluso muestran correlaciones negativas, asignando puntuaciones más altas a muestras paralingüísticas degradadas de lo que lo hacen los humanos.
Jueces de Audio-LLM: Estos modelos muestran una sensibilidad selectiva y dependiente del prompt que no se generaliza en todas las dimensiones.
- Bajo prompts genéricos (C1), la sensibilidad es escasa e inconsistente; solo Gemini 3.5 Flash mostró una cobertura amplia.
- Proporcionar el esquema (C2a) mejoró la detección de nivel de palabra para algunos modelos, lo que sugiere que la capacidad existe pero no se elicia sin guía.
- Sin embargo, requerir la puntuación por dimensión (C2b) a menudo condujo al "colapso de salida", donde los modelos asignaban puntuaciones máximas a todas las muestras, haciendo que la correlación fuera indefinida.
- El prompting aislado (C3) mejoró la alineación para dimensiones específicas (por ejemplo, Precisión Fonética con transcripciones), pero no produjo una sensibilidad consistente en todo el conjunto.
Disponibilidad de la transcripción: El acceso a las transcripciones de referencia no mejoró consistentemente la detección en todas las dimensiones o modelos, lo que indica que los Audio-LLM actuales tienen dificultades para aprovechar el anclaje textual para la detección de errores específicos de cada dimensión.

Significación y afirmaciones
El artículo afirma proporcionar el primer benchmark de meta-evaluación que empareja etiquetas humanas de nivel de aspecto realizadas por expertos con una taxonomía fundamentada en la lingüística y la inyección de errores controlados. Los autores argumentan que:

La naturalidad no es un constructo escalar: Los evaluadores automatizados actuales no pueden tratar la "naturalidad" de forma fiable como una única puntuación; exhiben puntos ciegos sistemáticos dependiendo de su arquitectura (MOS vs. LLM) y del prompting.
Base diagnóstica: El conjunto de datos y el esquema propuestos permiten a los investigadores atribuir los fallos de TTS a dimensiones específicas e interpretables, una capacidad que carecen los marcos de trabajo anteriores.
Sensibilidad al prompting: El rendimiento de los jueces de Audio-LLM depende fuertemente de las estrategias de prompting; pedir a los modelos que puntúen las dimensiones de forma aislada mejora la alineación con el juicio humano, mientras que la puntuación conjunta degrada la fiabilidad.

Los autores concluyen que una evaluación de TTS robusta requiere benchmarks conscientes de las dimensiones y que los métodos automatizados actuales son insuficientes para capturar toda la amplitud de los errores del habla estructurados lingüísticamente.

Más como este