Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement

Sintesi Tecnica: Perdite Pesate in Tempo–Frequenza per la Ricostruzione Fonemica in il Miglioramento del Parlato basato su DNN

Definizione del Problema
Le perdite di addestramento convenzionali per il miglioramento del parlato multicanale (MCSE) basato su Reti Neurali Profonde (DNN), in particolare quelle basate sul Rapporto Segnale-Distorsione (SDR), trattano tutti i regni Tempo–Frequenza (TF) in modo uniforme. Questo approccio trascura gli indizi spettrali fini, critici per l'intelligibilità dei singoli fonemi. Da una prospettiva fonetica, l'intelligibilità dipende fortemente da indizi acustici localizzati — come le transizioni consonantiche, i burst delle esplosive e le bande di rumore delle fricative — che trasportano un'informazione linguistica sproporzionata rispetto alle regioni di vocali a stato stazionario. Inoltre, gli effetti di mascheramento sono più severi quando le magnitudo del parlato e del rumore sono comparabili, degradando la trasmissione di tali indizi. Le formulazioni SDR con pesatura in frequenza esistenti hanno migliorato il comportamento a livello fonemico, ma non hanno esplicitamente unificato la presenza del parlato, la competizione parlato–rumore e la dinamica dei transitori all'interno di un unico framework di pesatura differenziabile.

Metodologia
Gli autori propongono un framework SDR pesato in TF che modula la funzione obiettivo in base all'interazione locale parlato–rumore. La funzione di perdita principale è definita come:
$$L_w = -10 \log_{10} \frac{\sum_{f,t} w(f, t) |S_{proj}(f, t)|^2}{\sum_{f,t} w(f, t) |E_{dist}(f, t)|^2}$$
dove $w(f, t)$ è un peso non negativo che controlla il contributo di ogni bin TF. Il documento investiga tre specifici schemi di pesatura:

1. SIR–Presenza del Parlato ($L_{SIR \cdot SP}$): Questo schema modella esplicitamente la competizione parlato–rumore. Combina una funzione di gating basata sul Rapporto Segnale-Interferenza (SIR) locale e una funzione di gating basata sulla magnitudo del parlato ($|S(f, t)|$). I pesi enfatizzano i bin TF dove il parlato rimane attivo nonostante un basso SIR, penalizzando le regioni dominate dal rumore o da energia trascurabile.
2. SIR–Presenza del Parlato–Flusso Spettrale ($L_{SIR \cdot SP \cdot SF}$): Per affrontare gli indizi fonetici transitori (es. le esplosive) che possono avere una magnitudo debole ma una rilevanza percettiva elevata, questo schema incorpora una metrica di flusso spettrale per frame. Il flusso spettrale misura l'aumento relativo dell'energia spettrale tra frame consecutivi. La funzione di pesatura moltiplica i gate di SIR e di presenza del parlato per un termine dipendente dal flusso spettrale, aumentando la sensibilità alle strutture che variano rapidamente.
3. Pesi Apprendibili ($L_{learn}$): Come alternativa guidata dai dati, questo schema utilizza parametri spettrali indipendenti dal tempo, inizializzati con i pesi di importanza delle bande ANSI 1997 e appresi durante l'addestramento.

Il framework proposto è stato implementato utilizzando il beamformer adattivo nel dominio del tempo FaSNet end-to-end, addestrato su un dataset derivato da LibriSpeech mischiato con White Noise (WN) e Speech-Shaped Noise (SSN), simulato con risposte all'impulso di stanza per una configurazione di apparecchio acustico binaurale a 4 canali.

Risultati Chiave
Le valutazioni sperimentali sono state condotte utilizzando metriche oggettive (SDR, SIR, SAR, varianti pesate in frequenza, STOI) e metriche di riconoscimento a livello fonemico (Word Error Rate - WER, Phoneme Accuracy - PA).

• Prestazioni a livello di Utterance: Sotto White Noise, la perdita $L_{SIR \cdot SP \cdot SF}$ ha ottenuto il più forte miglioramento complessivo in termini di SIR e SIR pesato in frequenza. Sebbene le perdite pesate abbiano generalmente mantenuto prestazioni comparabili alla baseline in termini di distorsione (SDR) e artefatti (SAR), hanno mostrato una soppressione dell'interferenza più coerente tra diversi tipi di rumore rispetto alle perdite che si affidano esclusivamente alla modulazione del SIR locale (es. $L_{logSIR}$).
• Riconoscimento del Parlato: Sotto White Noise, tutte le perdite pesate proposte hanno prodotto un WER inferiore rispetto alla baseline nella maggior parte dei livelli di Rapporto Segnale-Interferenza (SIR). Sotto Speech-Shaped Noise, i risultati sono stati meno consistenti; tuttavia, $L_{SIR \cdot SP \cdot SF}$ ha dimostrato un leggero vantaggio rispetto alla baseline ai livelli di SIR medi-alti.
• Analisi a livello Fonemico: La perdita proposta $L_{SIR \cdot SP \cdot SF}$ ha migliorato significativamente la Precisione Fonemica (PA) sia per le consonanti che per le vocali, particolarmente sotto White Noise. Per le consonanti, il metodo ha migliorato la soppressione dell'interferenza (SIR più alto) mantenendo al contempo un SDR pesato in frequenza comparabile.
• Ricostruzione dei Transitori: L'analisi del riconoscimento delle esplosive attraverso i livelli di SIR ha rivelato che $L_{SIR \cdot SP \cdot SF}$ supera significativamente la baseline ai livelli di SIR medi-alti (0 dB e superiori). L'analisi spettrale indica che questa perdita ricostruisce meglio le strutture a media frequenza delle esplosive a livelli di SIR in ingresso moderati e alti, seguendo più da vicino la forma spettrale pulita rispetto alla baseline nelle bande 6–13.

Significatività e Rivendicazioni
Il documento sostiene che il framework di pesatura in TF proposto riesce a rimodellare il contributo dei bin TF in base alla competizione parlato–rumore senza destabilizzare l'ottimizzazione dell'SDR. Il contributo primario è la dimostrazione che modellare esplicitamente la presenza del parlato, il SIR locale e la dinamica dei transitori (tramite il flusso spettrale) porta a un miglioramento della soppressione dell'interferenza e della ricostruzione fonemica.

Gli autori affermano che il loro approccio riflette meglio le priorità percettive rispetto alle perdite globalmente uniformi, in particolare per consonanti e indizi transitori. I risultati suggeriscono che l'incorporazione della modulazione consapevole del SIR e del flusso spettrale sia più robusta rispetto al ricorso al solo SIR locale o a profili spettrali puramente apprendibili, specialmente in condizioni rilevanti per gli scenari di assistenza all'udito, dove la preservazione delle strutture del parlato transitorie e a media frequenza è critica. Il lavoro non pretende di sostituire i test di ascolto, ma fornisce proxy oggettivi riproducibili per l'intelligibilità e la ricostruzione fonetica.