Deep Learning Based Relative Transfer Matrix Estimation for Multiple Sources and Multiple Microphones

Immaginate di trovarvi in una stanza affollata ed ecante dove tre persone diverse parlano contemporaneamente e un condizionatore rumoroso ronza sullo sfondo. Avete un team di microfoni che cerca di registrare una sola voce specifica. Questo è lo sforzo quotidiano dell' "audizione robotica" e degli apparecchi acustici: come si può separare una singola voce da un mix caotico di rumore e altre voci? Per farlo, i computer devono comprendere l' "impronta digitale acustica" della stanza: come il suono rimbalza sulle pareti e viaggia da un parlatore a un microfono. Gli scienziati chiamano questo processo "funzione di trasferimento". Ma quando più persone parlano contemporaneamente, la matematica diventa complicata. Uno strumento più recente e potente chiamato "Matrice di Trasferimento Relativo" (ReTM) è stato inventato per gestire questo caos. Pensate alla ReTM come a una mappa maestra che dice a un computer esattamente come il suono si muove tra due diversi gruppi di microfoni, indipendentemente da chi stia parlando. Se riusciamo a stimare questa mappa con precisione, possiamo pulire le registrazioni rumorose, aiutare i robot ad ascoltare meglio e rendere le teleconferenze cristalline.

Questo articolo riguarda l'insegnamento ai computer di come disegnare quella mappa utilizzando un tipo speciale di capacità cerebrale chiamato "Deep Learning". Invece di utilizzare le vecchie formule matematiche che faticano con il rumore complesso, gli autori hanno addestrato tre diversi tipi di reti neurali artificiali per analizzare le registrazioni dei microfoni e indovinare la mappa ReTM. Hanno testato questi cervelli digitali in una stanza simulata con dimensioni specifiche (6 × 7 × 3 metri) e un tempo di riverberazione di 500 millisecondi, utilizzando scenari con due o tre sorgenti sonore (come rumore bianco, musica o parlato) e fino a 12 microfoni.

I ricercatori hanno scoperto che i loro nuovi metodi sono generalmente migliori nel stimare questa mappa rispetto al tradizionale metodo basato sulla covarianza. Hanno misurato il successo utilizzando cinque diversi parametri, tra cui il Rapporto Segnale-Distorsione (SDR) e l'Errore Quadratico Medio (MSE). Un modello, chiamato FuSNet, che utilizza un tipo specifico di filtro, è stato il migliore quando il rumore era uniforme (come il rumore bianco), raggiungendo un SDR di 29,13 dB in un test. Un altro modello, SCoNet, che utilizza un approccio basato sulla frequenza, ha fatto molto bene, superando spesso il vecchio metodo. Tuttavia, l'articolo nota un colpo di scena: sebbene FuSNet sia stato il campione nello stimare la mappa, ciò non si è tradotto perfettamente nell'obiettivo finale di pulire il parlato. Quando il team ha effettivamente provato a usare queste mappe per rimuovere il rumore dal parlato, i risultati di FuSNet sono calati, lasciando dietro di sé un eco significativo. Al contrario, gli altri modelli, in particolare una rete basata su LSTM chiamata LAeNet, hanno ottenuto la massima chiarezza del parlato, aumentando l'SDR di una media di 10,55 dB nei loro test.

Gli autori sottolineano con cura che questi risultati derivano da simulazioni, non da test sul campo nel mondo reale. Argomentano esplicitamente contro l'idea che il metodo tradizionale sia l'unico modo percorribile, dimostrando che il deep learning può offrire un'accuratezza superiore, specialmente nel dominio del tempo. Tuttavia, escludono anche l'idea che il miglior stimatore della mappa sia automaticamente il miglior pulitore del parlato; il "miglior" modello dipende dal compito specifico. L'articolo conclude che, sebbene questi framework di deep learning siano strumenti promettenti per il futuro dell'elaborazione audio, c'è ancora molto lavoro da fare per renderli perfetti per le applicazioni della vita reale, come separare gli interlocutori o rimuovere completamente gli echi.