Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement

Resumo Técnico: Perdas de Ponderação Tempo-Frequência para Reconstrução de Fonemas em Melhoria de Fala Baseada em DNN

Definição do Problema
As perdas de treinamento convencionais para Melhoria de Fala Multicanal (MCSE) baseada em Redes Neurais Profundas (DNN), particularmente aquelas baseadas na Razão Sinal-para-Distorção (SDR), tratam todas as regiões Tempo-Frequência (TF) de forma uniforme. Essa abordagem negligencia pistas espectrais refinadas que são críticas para a inteligibilidade de fonemas específicos. De uma perspectiva fonética, a inteligibilidade depende fortemente de pistas acústicas localizadas — como transições consonantais, explosões de plosivas e bandas de ruído de fricativas — que carregam uma informação linguística desproporcional em comparação com regiões de vogais de estado estacionário. Além disso, os efeitos de mascaramento são mais severos quando as magnitudes do sinal de fala e do ruído são comparáveis, degradando a transmissão dessas pistas. As formulações de SDR com ponderação de frequência existentes melhoraram o comportamento ao nível do fonema, mas não unificaram explicitamente a presença da fala, a competição fala-ruído e a dinâmica transiente dentro de um único arcabouço de ponderação diferenciável.

Metodologia
Os autores propõem um arcabouço de SDR ponderado por TF que modula a função objetivo com base na interação local fala-ruído. A função de perda central é definida como:
$$L_w = -10 \log_{10} \frac{\sum_{f,t} w(f, t) |S_{proj}(f, t)|^2}{\sum_{f,t} w(f, t) |E_{dist}(f, t)|^2}$$
onde $w(f, t)$ é um peso não negativo que controla a contribuição de cada bin TF. O artigo investiga três esquemas de ponderação específicos:

1. SIR–Presença de Fala ($L_{SIR \cdot SP}$): Este esquema modela explicitamente a competição fala-ruído. Ele combina uma função de portão (gating) baseada na Razão Sinal-para-Interferência (SIR) local e uma função de portão baseada na magnitude da fala ($|S(f, t)|$). Os pesos enfatizam bins TF onde a fala permanece ativa apesar de um SIR baixo, enquanto reduzem o peso de regiões dominadas por ruído ou energia desprezível.
2. SIR–Presença de Fala–Fluxo Espectral ($L_{SIR \cdot SP \cdot SF}$): Para abordar pistas fonéticas transientes (ex: plosivas) que podem ter magnitude fraca, mas alta relevância perceptual, este esquema incorpora uma métrica de fluxo espectral por quadro. O fluxo espectral mede o aumento relativo da energia espectral entre quadros consecutivos. A função de ponderação multiplica os portões de SIR e de presença de fala por um termo dependente do fluxo espectral, aumentando a sensibilidade a estruturas que variam rapidamente.
3. Pesos Aprendíveis ($L_{learn}$): Como uma alternativa orientada a dados, este esquema utiliza parâmetros espectrais independentes do tempo, inicializados com pesos de importância de banda ANSI 1997 e aprendidos durante o treinamento.

O arcabouço proposto foi implementado usando o formador de feixe adaptativo no domínio do tempo FaSNet, treinado em um conjunto de dados derivado do LibriSpeech misturado com Ruído Branco (WN) e Ruído com Forma de Fala (SSN), simulado com respostas de impulso de sala para uma configuração de audição binaural de 4 canais.

Resultos Principais
As avaliações experimentais foram conduzidas utilizando métricas objetivas (SDR, SIR, SAR, variantes ponderadas por frequência, STOI) e métricas de reconhecimento ao nível de fonema (Taxa de Erro de Palavra - WER, Precisão de Fonema - PA).

• Desempenho ao Nível de Utterance: Sob Ruído Branco, a perda $L_{SIR \cdot SP \cdot SF}$ alcançou o maior melhoria geral em SIR e SIR ponderado por frequência. Embora as perdas ponderadas tenham mantido um desempenho comparável à linha de base em termos de distorção (SDR) e artefatos (SAR), elas mostraram uma supressão de interferência mais consistente entre tipos de ruído em comparação com perdas que dependem apenas da modulação de SIR local (ex: $L_{logSIR}$).
• Reconhecimento de Fala: Para Ruído Branco, todas as perdas ponderadas propostas produziram um WER menor do que a linha de base na maioria dos níveis de Razão Sinal-para-Interferência (SIR). Sob Ruído com Forma de Fala, os resultados foram menos consistentes; no entanto, $L_{SIR \cdot SP \cdot SF}$ demonstrou uma ligeira vantagem sobre a linha de base em níveis de SIR de médio a alto.
• Análise ao Nível de Fonema: A perda proposta $L_{SIR \cdot SP \cdot SF}$ melhorou significativamente a Precisão de Fonema (PA) tanto para consoantes quanto para vogais, particularmente sob Ruído Branco. Para consoantes, o método melhorou a supressão de interferência (maior SIR) enquanto mantinha um SDR ponderado por frequência comparável.
• Reconstrução de Transientes: A análise do reconhecimento de plosivas através dos níveis de SIR revelou que $L_{SIR \cdot SP \cdot SF}$ superou significavelmente a linha de base em níveis de SIR de médio a alto (0 dB e acima). A análise espectral indicou que esta perda reconstrói melhor as estruturas de média frequência das plosivas em níveis de SIR de entrada moderados e altos, acompanhando a forma espectral limpa mais de perto do que a linha de base nas bandas 6–13.

Significância e Alegações
O artigo alega que o arcabouço de ponderação TF proposto consegue remodelar a contribuição dos bins TF de acordo com a competição fala-ruído sem desestabilizar a otimização da SDR. A principal contribuição é a demonstração de que a modelagem explícita da presença de fala, SIR local e dinâmica transiente (via fluxo espectral) leva a uma melhor supressão de interferência e reconstrução ao nível do fonema.

Os autores afirmam que sua abordagem reflete melhor as prioridades perceptivas do que perdas globalmente uniformes, particularmente para consoantes e pistas transientes. Os resultados sugerem que incorporar a modulação baseada em SIR e fluxo espectral é mais robusto do que depender apenas de perfis espectrais aprendidos ou de SIR local, especialmente em condições relevantes para cenários de assistência auditiva, onde a preservação de estruturas de fala transientes e de média frequência é crítica. O trabalho não pretende substituir testes de escuta, mas fornece proxies objetivos reproduzíveis para inteligibilidade e reconstrução fonética.