BanglaVowelDataset: True AC and Synthetic BC Bangla Vowel Datasets in Speech Information System

Nel mondo della tecnologia del parlato, i computer imparano costantemente ad ascoltare. Vengono addestrati su vaste librerie di voci registrate per riconoscere parole, identificare gli interlocutori o comprendere comandi. La maggior parte di queste librerie, tuttavia, è costruita su suoni catturati nell'aria. Quando parliamo, le onde sonore viaggiano attraverso l'aria, colpiscono un microfono e vengono convertite in dati digitali. Questo metodo, noto come conduzione aerea, è lo standard per quasi tutti gli assistenti vocali e i servizi di trascrizione. Ma c'è un altro modo in cui il suono raggiunge le nostre orecchie e i nostri dispositivi di registrazione: attraverso le ossa del nostro cranio. Quando parliamo, le nostre corde vocali fanno vibrare le ossa del cranio, e queste vibrazioni viaggiano direttamente verso l'orecchio interno e possono essere captate da sensori posizionati sulla pelle. Questo è la conduzione ossea. Mentre il suono condotto attraverso l'aria viene facilmente sovrastato dal ronzio del traffico o dal chiacchiericcio di una folla, il suono condotto attraverso le ossa rimane straordinariamente chiaro perché bypassa l'aria rumorosa. Per decenni, i ricercatori hanno lottato per costruire computer in grado di comprendere questo parlato basato sulle ossa, principalmente perché i dati necessari semplicemente non esistevano per molte lingue.

Un team di ricercatori provenienti da università del Bangladesh e del Giappone ha ora colmato una significativa lacuna in questo campo creando la prima collezione dedicata ai suoni vocalici della lingua bengala, catturati sia attraverso l'aria che attraverso le ossa. L'alfabeto bengalese contiene dodici suoni vocalici distinti, una complessità che rende la lingua ricca ma difficile da analizzare per le macchine, specialmente quando il rumore di fondo interferisce. Fino a questo lavoro, non esisteva alcun dataset che offrisse sia le versioni tradizionali dei suoni registrati tramite l'aria, sia i loro corrispettivi condotti attraverso le ossa per il confronto. I ricercatori si sono posti l'obiettivo di registrare questi suoni da dieci parlanti nativi — cinque uomini e cinque donne — in una stanza silenziosa e insonorizzata. Hanno utilizzato microfoni di alta qualità per catturare le vocali condotte tramite l'aria, assicurandosi che ogni registrazione fosse abbastanza lunga da poter essere analizzata, con un intervallo compreso tra 600 e 780 millisecondi. Per garantire che i dati fossero puliti, hanno accuratamente ritagliato gli inizi e le fine silenti di ogni registrazione, lasciando solo la porzione pura e sonora del suono.

La sfida è diventata quindi come ottenere i dati condotti attraverso le ossa senza richiedere che ogni partecipante indossasse microfoni specializzati e rari per la conduzione ossea, che sono difficili da trovare e utilizzare in contesti di ricerca standard. Invece di registrare direttamente le vibrazioni ossee, il team ha utilizzato un sofisticato modello informatico per simularle. Hanno preso le vocali pulite registrate tramite l'aria e le hanno fatte passare attraverso un filtro digitale che imita il modo in cui il cranio umano altera il suono. Questo processo ha efficacementmente rimosso i dettagli ad alta frequenza che l'aria trasporta ma che le ossa filtrano, creando una versione sintetica di come il suono sarebbe apparso se fosse stato registrato attraverso il cranio. Il risultato è stato un dataset accoppiato: 120 vocali reali condotte tramite l'aria e 120 vocali sintetiche condotte tramite le ossa, perfettamente abbinate agli stessi interlocutori e agli stessi dodici suoni vocalici.

I ricercatori hanno poi organizzato questa massiccia collezione in una libreria strutturata, separando i dati in diverse fasi di elaborazione per aiutare altri scienziati a testare le proprie teorie. Hanno fornito le registrazioni grezze, le versioni ritagliate e i suoni ossei simulati al computer, tutti etichettati con dettagli precisi riguardanti il genere del parlante e la specifica vocale pronunciata. Per dimostrare che la loro simulazione fosse accurata, hanno confrontato le proprietà matematiche dei suoni reali dell'aria rispetto ai suoni sintetici delle ossa. Hanno scoperto che i suoni ossei sintetici si comportavano esattamente come previsto: mostravano una gamma di frequenze più ampia e una specifica firma matematica che li distingue dai suoni aerei. Ciò ha confermato che il loro modello informatico aveva ricostruito con successo il profilo acustico unico del parlato condotto attraverso le ossa.

Questo dataset è ora disponibile per la comunità di ricerca globale. Offre un'opportunità unica per testare quanto bene i sistemi di riconoscimento vocale possano gestire il rumore. Poiché il parlato condotto tramite l'aria è facilmente corrotto dal rumore di fondo, mentre il parlato condotto tramite le ossa non lo è, i ricercatori possono utilizzare questi dati accoppiati per costruire sistemi in grado di passare dall'uno all'altro o di combinarli per comprendere il parlato in ambienti caotici come strade trafficate o stanze affollate. Il team ha inoltre reso pubblico il codice informatico utilizzato per generare questi suoni, permettendo ad altri di verificare i loro metodi o applicare le stesse tecniche ad altre lingue. Fornendo il primo sguardo completo sulle vocali bengalesi attraverso l'aria e le ossa, questo lavoro apre la porta a una tecnologia del parlato più robusta e resistente al rumore, capace di funzionare in modo affidabile ovunque, e non solo in uno studio silenzioso.