Crowdsourced Multilingual Speech Intelligibility Testing
Questo articolo affronta la mancanza di test di intelligibilità del parlato scalabili e multilingue proponendo un approccio di valutazione basato sul crowdsourcing, dettagliando il suo disegno sperimentale e presentando la raccolta e il rilascio pubblico di dati vocali multilingue insieme ai primi risultati.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot a comprendere il parlato umano, ma il robot continua a confondersi a causa del rumore di fondo o di connessioni scadenti. Per risolvere questo problema, gli ingegneri devono testare quanto la voce del robot risulti chiara. Per decenni, l'unico modo per farlo è stato rinchiudere le persone in una stanza insonorizzata, far indossare loro cuffie di alta gamma e far ascoltare parole in un laboratorio. Era come cercare di giudicare il sapore di una nuova zuppa lasciando che solo pochi chef professionisti la assaggino in una cucina sterile. Era accurato, ma lento, costoso e impossibile da scalare rapidamente.
Tuttavia, una nuova ondata di tecnologia audio "generativa" sta cambiando le regole del gioco. Questi sono algoritmi intelligenti che non si limitano a pulire il rumore, ma in realtà ipotizzano e creano le parti mancanti del parlato per renderlo migliore. Il problema è che questi nuovi strumenti potrebbero accidentalmente scambiare un suono con un altro che suona simile ma significa qualcosa di completamente diverso (come trasformare una "f" in una "p"). Per intercettare questi errori subdoli, abbiamo bisogno di un modo massiccio, veloce ed economico per testare l'intelligibilità del parlato — ovvero la capacità di comprendere ciò che viene detto — attraverso molte lingue diverse. È qui che entra in gioco l'idea del "crowdsourcing": invece di pochi esperti in un laboratorio, chiediamo a migliaia di persone comuni su Internet di ascoltare e dire loro cosa sentono, trasformando l'intero mondo in un enorme e diversificato campo di prova.
In questo articolo, i ricercatori Laura Lechler e Kamil Wojcicki di Cisco Systems propongono un nuovo modo per testare l'intelligibilità del parlato, portando un classico test da laboratorio su Internet. Volevano vedere se potevano ottenere risultati affidabili chiedendo a persone comuni su piattaforme di crowdsourcing di giocare a un semplice gioco di indovinelli sulle parole, invece di assumere costosi esperti in un laboratorio.
Il test che hanno scelto è chiamato Diagnostic Rhyme Test (DRT). Pensatelo come a un gioco del "trova le differenze" per le vostre orecchie. Il computer riproduce una singola parola, come "bat", e poi vi offre due opzioni sullo schermo: "bat" o "pat". Dovete solo cliccare su quella che avete sentito. Le parole sono scelte con cura in modo che differiscano solo per un minuscolo suono (come la 'b' rispetto alla 'p'), il che aiuta a individuare esattamente dove un algoritmo potrebbe sbagliare. I ricercatori hanno raccolto questi elenchi di parole in cinque lingue: inglese, spagnolo, francese, tedesco e cinese mandarino.
Per far sì che questo funzionasse online, hanno dovuto essere astuti. Hanno registrato madrelingua che pronunciavano queste parole, hanno pulito l'audio e li hanno inseriti in un sondaggio su un sito chiamato Prolific. Hanno pagato bene i partecipanti (più di 8 dollari l'ora) e hanno aggiunto speciali domande "trappola" per assicurarsi che le persone stessero prestando attenzione e non stessero solo cliccando a caso. Si sono inoltre assicurati che i partecipanti utilizzassero cuffie e avessero un udito normale.
Il team ha condotto quattro esperimenti diversi per vedere se questo "laboratorio online" funzionasse effettivamente. Per prima cosa, hanno confrontato i loro risultati online con un test tradizionale in laboratorio utilizzando parlanti spagnoli. Hanno scoperto che, sebbene il gruppo online avesse ottenuto punteggi leggermente più bassi in generale (il che ha senso, dato che non si trovavano in una stanza perfetta e silenziosa), il test online era molto bravo a individuare la differenza tra un audio buono e uno cattivo. Ad esempio, quando hanno testato un formato audio compresso (NB PCMU), sia gli esperti del laboratorio che il pubblico online concordavano sul fatto che fosse peggiore della versione ad alta qualità, anche se il pubblico online dava un punteggio complessivo più basso.
In seguito, hanno controllato se il test fosse coerente. Hanno eseguito lo stesso test due volte con le stesse persone e una volta con un gruppo completamente nuovo. I risultati erano quasi identici, dimostrando che il test è affidabile e ripetibile, proprio come un buon esperimento scientifico. Hanno anche testato due diversi formati di compressione audio (AMR-WB e AMR-NB) in inglese. I risultati online corrispondevano perfettamente ai modelli trovati negli studi di laboratorio più vecchi, dimostrando che il "pubblico" poteva percepire la differenza tra i due codec proprio come gli esperti.
Infine, hanno testato il sistema in tutte e cinque le lingue. Hanno scoperto che il test online rilevava con successo quando la qualità dell'audio diminuiva a causa della compressione in inglese, tedesco, spagnolo e francese. Interessante è stato il caso del test in cinese, che si basa molto sui toni musicali piuttosto che solo sui suoni consonantici: la compressione non sembrava danneggiare molto l'intelligibilità. Questo ha senso perché l' "intonazione" della voce (che trasporta il tono) veniva preservata anche quando la qualità dell'audio veniva abbassata.
Gli autori concludono che questo approccio basato sul crowdsourcing è un modo valido, conveniente e veloce per testare l'intelligibilità del parlato. Sebbene i punteggi assoluti possano essere un po' più bassi rispetto a un laboratorio perfetto (forse perché le persone ascoltano nelle loro cucine rumorose invece che in stanze insonorizzate), i risultati relativi sono impeccabili. Hanno dimostrato che è possibile usare Internet per ottenere un pool diversificato e globale di ascoltatori per testare rapidamente i nuovi algoritmi audio. Hanno persino messo i loro elenchi di parole e le loro registrazioni audio a disposizione del pubblico affinché altri ricercatori possano usarli per testare il proprio lavoro. È un passo verso la garanzia che, man mano che le nostre voci IA diventano più intelligenti, rimangano anche chiare e comprensibili per tutti, ovunque.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.