Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions

Immagina di dover giudicare quanto suoni bene una canzone dopo che è stata schiacciata in un file minuscolo per essere inviata su internet. Nel mondo dell'audio digitale, questo "schiacciamento" viene fatto da qualcosa chiamato codec. Pensa a un codec come a uno chef super efficiente che trita una bistecca gigante e succosa (il suono originale) in piccoli pezzi commestibili così che possa stare in tasca, per poi cercare di riassemblarla più tardi. A volte la bistecca riassemblata ha un sapore fantastico; altre volte è un po' asciutta o con una consistenza strana.

Per decenni, gli ingegneri hanno usato due modi principali per controllare se la bistecca ha un buon sapore. Il primo è il Test Soggettivo: invitano un gruppo di persone ad ascoltare e a dare un voto su una scala da 1 a 5. È l' "gold standard", ma è lento, costoso e richiede molta pazienza umana. Il secondo modo è la Metrica Oggettiva: un programma per computer che osserva le onde sonore e cerca di indovinare il voto senza che un essere umano debba mai ascoltarle. È veloce ed economico, ma per molto tempo questi giudici informatici sono stati addestrati su problemi audio della vecchia scuola. Ora, è arrivata una nuova generazione di codec "neurali" — quelli che usano l'intelligenza artificiale per ricreare il suono, quasi come un artista digitale che dipinge un quadro partendo da zero. La grande domanda è: i vecchi giudici informatici sanno ancora valutare questa nuova arte dell'IA, o stanno guardando le cose sbagliate?

Questo articolo si propone di rispondere a questa domanda organizzando una massiccia sfida di assaggi. I ricercatori hanno raccolto 17 diversi codec audio neurali, ognuno dei quali opera a diverse velocità e bitrate (alcuni bassi come 1,0 kbps, altri fino a 8,0 kbps), e li hanno sottoposti a 100 campioni di parlato pulito. Hanno poi chiesto a una folla di umani di valutare la qualità usando un metodo chiamato MUSHRA-1S, che è come un righello super preciso capace di individuare differenze minuscole tra suoni di alta qualità. Successivamente, hanno fatto passare quegli stessi suoni attraverso 45 diversi programmi di punteggio per computer — alcuni che hanno bisogno del suono originale per fare un confronto (intrusivi) e altri che guardano solo il risultato (non intrusivi).

I risultati sono stati un po' come una festa a sorpresa dove i vincitori attesi non si presentano. Lo studio ha scoperto che i giudici informatici della vecchia scuola, come PESQ e WARPQ, erano discreti ma non eccellenti; hanno ottenuto una correlazione di circa 0,73 con le opinioni umane. Tuttavia, i nuovi metrici basati sull'IA, specificamente ScoreQ, UTMOS e Audiobox, sono stati i chiari campioni, con ScoreQ che ha raggiunto una correlazione di 0,87. Ciò suggerisce che per giudicare l'audio dell'IA, serve un giudice dell'IA.

Ma c'è stato un colpo di scena nella storia. Quando i ricercatori hanno esaminato da vicino i suoni migliori — quelli che gli umani hanno valutato come quasi perfetti — hanno notato un glitch strano. I metrici IA non intrusivi (quelli che non hanno bisogno del suono originale) sembravano aver raggiunto un "tetto massimo". Una volta che il suono diventava davvero buono, questi metrici smettevano di cambiare i loro punteggi, anche se gli umani potevano ancora sentire differenze sottili. È come un termometro che smette di muoversi una volta raggiunti i 100 gradi, anche se la stanza diventa più calda. Gli autori suggeriscono che ciò accada perché questi metrici sono stati addestrati su valutazioni umane che erano spesso solo un semplice "5 su 5", rendendo difficile per il computer distinguere tra un "5" e un "5,5".

Al contrario, i metrici intrusivi (quelli che confrontano il risultato con l'originale) continuavano a funzionare perfettamente, anche ai livelli di qualità più elevati, mostrando margini di errore più piccoli e rimanendo sensibili a cambiamenti minimi. L'articolo conclude con una regola pratica: se state testando audio medi o leggermente rumorosi, i rapidi metrici IA non intrusivi come UTMOS e ScoreQ sono i vostri migliori amici. Ma se state rifinendo audio ad alta fedeltà e avete bisogno di individuare le imperfezioni più piccole, dovreste attenervi ai metodi intrusivi come ScoreQ Ref, che agiscono come una lente d'ingrandimento che non diventa sfocata alla fine. Lo studio non ha solo trovato gli strumenti migliori; ha anche mostrato esattamente dove ciascuno strumento smette di funzionare, aiutando gli ingegneri a scegliere il giudice giusto per il lavoro giusto.