Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions

Imagina que estás tratando de juzgar qué tan bien suena una canción después de haber sido comprimida en un archivo diminuto para enviarla por internet. En el mundo del audio digital, este "aplastamiento" se hace mediante algo llamado códec. Piensa en un códec como un chef supereficiente que corta un filete gigante y jugoso (el sonido original) en trozos pequeños y fáciles de masticar para que quepa en tu bolsillo, y luego intenta reensamblarlo más tarde. A veces, el filete reensamblado sabe de maravilla; otras veces, está un poco seco o con una textura extraña.

Durante décadas, los ingenieros han utilizado dos formas principales para comprobar si el filete sabe bien. El primer método es la Prueba Subjetiva: invitan a un grupo de personas a escuchar y calificar la comida en una escala del 1 al 5. Es el "estándar de oro", pero es lento, costoso y requiere mucha paciencia humana. El segundo método es la Métrica Objetiva: un programa informático que observa las ondas sonoras e intenta adivinar la calificación sin que un humano llegue a escucharlas. Es rápido y barato, pero durante mucho tiempo, estos jueces informáticos fueron entrenados con problemas de audio de la vieja escuela. Ahora, ha llegado una nueva generación de códecs "neurales", que utilizan inteligencia artificial para recrear el sonido, casi como un artista digital pintando un cuadro desde cero. La gran pregunta es: ¿siguen los viejos jueces informáticos sabiendo calificar este nuevo arte de la IA, o están mirando las cosas equivocadas?

Este artículo se propone responder a esa pregunta organizando un masivo duelo de pruebas de sabor. Los investigadores reunieron 1s 17 códecs de audio neurales diferentes, cada uno funcionando a diferentes velocidades y tasas de bits (algunos tan bajos como 1.0 kbps, otros hasta 8.0 kbps), y les alimentaron con 100 muestras de voz limpias. Luego pidieron a una multitud de humanos que calificaran la calidad utilizando un método llamado MUSHRA-1S, que es como una regla superprecisa capaz de detectar diferencias minúsculas entre sonidos de alta calidad. A continuación, pasaron esos mismos sonidos por 45 programas de puntuación informáticos diferentes: algunos que necesitan el sonido original para comparar (intrusivos) y otros que solo observan el resultado (no intrusivos).

Los resultados fueron un poco como una fiesta sorpresa donde los ganadores esperados no aparecieron. El estudio encontró que los jueces informáticos de la vieja escuela, como PESQ y WARPQ, estaban bien pero no eran excelentes; lograron una correlación de aproximadamente 0.73 con las opiniones humanas. Sin embargo, las nuevas métricas impulsadas por IA, específicamente ScoreQ, UTMOS y Audiobox, fueron las claras campeonas, con ScoreQ alcanzando una correlación de 0.87. Esto sugiere que para juzgar audio de IA, necesitas un juez de IA.

Pero hubo un giro en la historia. Cuando los investigadores observaron de cerca los sonidos más brillantes —aquellos que los humanos calificaron como casi perfectos— notaron un extraño fallo. Las métricas de IA no intrusivas (las que no necesitan el sonido original) parecían haber alcanzado un "techo". Una vez que el sonido se volvía realmente bueno, estas métricas dejaban de cambiar sus puntuaciones, incluso si los humanos aún podían escuchar diferencias sutiles. Es como un termómetro que deja de moverse una vez que alcanza los 100 grados, incluso si la habitación se calienta más. Los autores sugieren que esto sucede porque estas métricas fueron entrenadas con calificaciones humanas que a menudo eran simplemente un "5 de 5", lo que dificulta que la computadora distinga entre un "5" y un "5.5".

En contraste, las métricas intrusivas (las que comparan el resultado con el original) siguieron trabajando perfectamente, incluso en los niveles de calidad más altos, mostrando márgenes de error más pequeños y manteniéndose sensibles a cambios diminutos. El artículo concluye con una regla práctica de oro: si estás probando audio promedio o ligeramente ruidoso, las métricas de IA no intrusivas y rápidas como UTMOS y ScoreQ son tus mejores amigas. Pero si estás puliendo audio de alta fidelidad y necesitas detectar las imperfecciones más mínimas, deberías apegarte a los métodos intrusivos como ScoreQ Ref, que actúan como una lupa que no se vuelve borrosa en el extremo superior. El estudio no solo encontró las mejores herramientas, sino que también nos mostró exactamente dónde deja de funcionar cada herramienta, ayudando a los ingenieros a elegir el juez adecuado para el trabajo adecuado.