From Diet to Free Lunch: Estimating Auxiliary Signal Properties using Dynamic Pruning Masks in Speech Enhancement Networks

Resumo Técnico: Estimativa de Propriedades de Sinal Auxiliar Usando Máscaras de Poda Dinâmica em Redes de Aprimoramento de Fala

Declaração do Problema
Sistemas de Aprimoramento de Fala (SE) em dispositivos de áudio embarcados (por exemplo, aparelhos auditivos) dependem cada vez mais de aprendizado profundo. Para garantir robustez e uma experiência de usuário fluida, esses sistemas frequentemente exigem módulos auxiliares para tarefas como Detecção de Atividade de Voz (VAD), Estimativa de Relação Sinal-Ruído (SNR), Classificação de Cena Acústica e Predição de Qualidade de Fala (SQP). No entanto, implantar modelos de aprendizado profundo separados para essas tarefas auxiliares é computacionalmente proibitivo para dispositivos de borda, enquanto a inferência baseada em nuvem introduz latência e preocupações de privacidade. Embora a Poda Dinâmica de Canais (DynCP) tenha sido proposta para reduzir o cálculo de SE desativando adaptativamente canais, permanece incerto se os mecanismos internos que impulsionam essa poda contêm informações suficientes para realizar essas tarefas auxiliares sem modelos dedicados.

Metodologia
Os autores propõem um framework para estimar propriedades de sinal auxiliar diretamente a partir das máscaras de poda binárias geradas por um modelo de SE baseado em DynCP, especificamente a arquitetura Conv-FSENet.

• Pipeline de Dados: O sistema trata dados de treinamento e teste como fluxos contínuos. Trechos de fala limpa e ruído são misturados para formar entradas ruidosas ($x$), que são processadas pelo modelo de SE para produzir fala aprimorada ($\hat{s}$). Rótulos de verdade fundamental para várias tarefas (VAD, gênero, sotaque, categoria de ruído, SNR, SI-SDR, PESQ, F0) são extraídos de metadados ou calculados usando bibliotecas padrão (por exemplo, librosa, pyworld) e alinhados com a taxa de quadros da Transformada de Fourier de Tempo Curto (STFT).
• Extração de Características: O modelo de SE gera um tensor de máscaras de poda binárias ($G$) indicando quais canais de convolução estão ativos em cada bloco de processamento. Para reduzir a dimensionalidade e remover máscaras constantes não informativas, os autores filtram $G$ com base em um limite mínimo de desvio padrão ($\tau$), resultando em um subconjunto de características dinâmicas ($\tilde{G}$).
• Modelos de Predição: Os autores empregam modelos lineares simples e interpretáveis (regressão logística para classificação, regressão linear para regressão) para prever alvos a partir de $\tilde{G}$. O uso de entradas binárias permite que as predições sejam computadas como somas ponderadas, minimizando a sobrecarga computacional.
• Linhas de Base e Comparações: O desempenho é comparado a linhas de base usando magnitudes logarítmicas brutas de STFT e máscaras de supressão preditas. O estudo também avalia o impacto do uso de características de blocos específicos da rede, das $N$ características mais informativas e de pontuações de ativação brutas (não binarizadas).
• Verificação de Locutor (SV): Como um experimento adicional, os autores agregam máscaras de poda sobre quadros com atividade de voz para criar incorporações ao nível do enunciado, que são então avaliadas usando um backend linear padrão (WCCN e LDA) para verificação de locutor.

Principais Contribuições

1. Análise de Comportamento Emergente: O artigo investiga as representações latentes aprendidas pelos sub-redes de ativação (gating) da DynCP, demonstrando que elas codificam implicitamente características acústicas e de fala relevantes, apesar de serem treinadas exclusivamente para eficiência computacional.
2. Solução Holística: Os autores reaproveitam as máscaras da DynCP como uma fonte unificada de informações para múltiplas tarefas auxiliares (VAD, classificação de ruído, SNR, métricas de qualidade, etc.), eliminando a necessidade de modelos preditores separados e pesados computacionalmente.
3. Eficiência e Interpretabilidade: Ao utilizar preditores lineares simples em máscaras binárias, a abordagem alcança alto desempenho com sobrecarga computacional negligenciável. Os coeficientes lineares fornecem um grau de interpretabilidade sobre quais partes da rede contribuem para propriedades específicas do sinal.

Resultados

• Classificação: Preditores simples alcançaram até 93% de precisão na VAD, 84% na classificação de ruído e 59% na classificação de ruído (usando as 64 melhores características). A classificação de gênero foi bem-sucedida, enquanto a classificação de sotaque performou perto dos níveis de acaso, provavelmente porque o comportamento do SE não é fortemente influenciado pelo sotaque.
• Regressão: O modelo alcançou um $R^2$ de 0,86 na estimativa de F0. Para métricas de qualidade, alcançou um Erro Absoluto Médio (MAE) de 0,2 para PESQ e 3,2 dB para SI-SDR.
• Eficiência de Características: Usar apenas as 64 características mais informativas manteve um desempenho comparável ao uso do conjunto completo de ~202 características, sugerindo que os modelos auxiliares podem ser altamente compactos.
• Pontuações Brutas vs. Máscaras Binárias: Pontuações de ativação brutas (pré-binarização) geralmente superaram as máscaras binárias, particularmente para classificação de ruído e estimativa de F0, pois retêm mais informações de estado interno. No entanto, as máscaras binárias ofereceram o menor custo computacional.
• Verificação de Locutor: As máscaras de poda produziram apenas resultados modestos de Taxa de Erro Igual (EER), performando pior do que as linhas de base de STFT. Os autores sugerem que isso pode ser devido ao agrupamento temporal ou ao modelo de SE aprender representações agnósticas ao locutor.
• Custo Computacional: A sobrecarga para prever 21 alvos usando o conjunto completo de características é de aproximadamente 0,6% a 0,93% do cálculo total por quadro, dependendo dos canais ativos.

Significado e Limitações
O artigo afirma que os modelos DynCP exibem "comportamento emergente", onde as sub-redes de ativação aprendem a alocar recursos com base em características do sinal, como níveis de ruído e atividade de voz. Isso sugere que a DynCP pode servir como um mecanismo de dupla finalidade: otimizar a eficiência do SE enquanto fornece simultaneamente dados auxiliares para comportamento robusto do sistema e feedback ao usuário.

Os autores permanecem modestos quanto à maturidade dessas descobertas. Eles reconhecem várias limitações:

• Modelos lineares assumem contribuições aditivas e podem lutar com entradas correlacionadas.
• A colinearidade de características complica a interpretação da importância dos coeficientes.
• O alisamento temporal dentro das sub-redes de ativação pode dificultar a estimativa de alvos que mudam rapidamente.
• Verdades fundamentais em janelas (por exemplo, PESQ) podem não representar totalmente a qualidade instantânea do sinal.

O trabalho se posiciona como um passo preliminar em direção a pipelines de modelo único que podem aprimorar a fala, economizar computação e gerar dados auxiliares simultaneamente, incentivando mais pesquisas sobre modelos dinâmicos e treinamento multi-tarefa no processamento de áudio.