Resumo Técnico: SE-AGCNet

1. Definição do Problema

Os pipelines de áudio convencionais para cenários de reuniões tipicamente tratam o Aprimoramento de Fala (SE - Speech Enhancement) e o Controle Automático de Ganho (AGC - Automatic Gain Control) como módulos discretos e em cascata. Essa separação introduz limitações significativas de desempenho:

• Problemas de Ordem de Cascata: Aplicar o AGC antes do SE amplifica indiscriminadamente tanto a fala quanto o ruído de fundo, degradando a relação sinal-ruído (SNR) e complicando a denoise subsequente. Por outroam, aplicar o AGC após o SE torna seu desempenho altamente dependente da qualidade da saída do SE; o ruído residual é frequentemente amplificado involuntariamente.
• Supressão Excessiva: Modelos de SE tendem a suprimir excessivamente falas de baixo volume (ex: campo distante ou falantes baixos), classificando-as erroneamente como ruído.
• Falta de Otimização Conjunta: Estruturas unificadas existentes frequentemente tratam o AGC como uma etapa de pós-processamento isolada ou dependem de geração de alvo proprietária e não reprodutível, limitando a capacidade do modelo de aprender a sinergia entre a supressão de ruído e a normalização de volume.

2. Metodologia: SE-AGCNet

Os autores propõem o SE-AGCNet, um framework de aprendizado profundo de ponta a ponta que otimiza conjuntamente o SE e o AGC dentro de um único processo de treinamento. O sistema opera no domínio tempo-frequência para transformar uma forma de onda de entrada ruidosa e com volume desequilibrado em uma saída limpa e com volume equilibrado.

Arquitetura

O framework emprega uma arquitetura de dois estágios:

1. Módulo de Aprimoramento de Fala (SE):

   • Backbone: Utiliza o MP-SENet como arquitetura base.
   • Entrada/Saída: Processa os espectros de magnitude e fase da entrada ruidosa.
   • Estratégia de Treinamento: O alvo é uma fala limpa, porém com volume desequilibrado. Isso força o módulo de SE a aprender a supressão de ruído enquanto preserva as variações de volume para o módulo de AGC subsequente.
   • Reponderação Assimétrica: Para evitar que o modelo suprima excessivamente a fala baixa, uma estratégia de perda assimétrica é aplicada. Se a magnitude prevista for menor que a magnitude alvo, a contribuição da perda é multiplicada por um fator de $\alpha = 10,0$.

2. Módulo de Controle Automático de Ganho (AGC):

   • Entrada: Recebe o espectro de magnitude normalizado por RMS do módulo de SE.
   • Arquitetura: Consiste em três componentes:
     • Processamento no domínio da frequência: Duas camadas convolucionais 2D para extrair características conscientes da frequência.
     • Processamento temporal: Uma BiLSTM (LSTM Bidirecional) de 2 camadas para lidar com sequências temporais.
     • Reconstrução espectral: Convoluções transpostas para reconstruir o espectro de magnitude.
   • Normalização: O módulo aplica normalização de pico para 0,4 para atingir um volume alvo de -23 LUFS. Utiliza normalização RMS independente para entrada e alvo para aprender o controle de amplitude relativa.
   • Estratégia de Perda: Um mecanismo de ponderação condicional penaliza o modelo 10x se ele prever energia positiva em regiões de silêncio do alvo, evitando a amplificação de ruído.

Objetivo de Treinamento Conjunto

A função de perda total combina a perda de SE e a perda de AGC:
$$L_{total} = L_{MP-SENet} + \lambda_{AGC} \times L_{AGC}$$
onde $\lambda_{AGC} = 0,9$. Uma estratégia de aprendizado por currículo é empregada, pré-treinando o módulo de SE por 5 épocas antes de otimizar conjuntamente todo o framework.

3. Principais Contribuições

A. Framework SE-AGCNet

Um framework flexível de ponta a ponta que permite o treinamento conjunto de SE e AGC. Ele suporta a integração com diversas arquiteturas de SE existentes e aborda os desafios específicos da acústica de salas de reunião, incluindo reverberação, ruído de fundo e discrepâncias significativas de volume causadas pela distância e movimento do falante.

B. Pipeline SE-AGC-DataGen

Reconhecendo a falta de datasets públicos de AGC, os autores desenvolveram um pipeline de simulação de dados abrangente para gerar o dataset LibriAGC.

• Fonte: Baseado no LibriTTS.
• Estágios de Simulação:
  1. Concatenação de 2 a 5 falantes.
  2. Processamento de volume envolvendo ajuste básico e quatro modos de aumento (picos súbitos, mudanças graduais, flutuações) para simular a dinâmica real de reuniões.
  3. Mixagem de ruído usando 35 clipes do Desafio DNS em SNR de 5 a 25 dB para mimetizar a acústica de salas de reunião.
• Alvos: Gera alvos distintos para treinamento de SE (limpo, volume desequilibrado) e AGC (limpo, volume equilibrado).

C. Avaliação de Volume Padronizada

O artigo introduz métricas de volume padronizadas baseadas na ITU-R BS.1770 e EBU R128 para fornecer avaliação objetiva e perceptualmente significativa:

• Loudness Integrado (LUFS): Definido em um alvo de -23 LUFS.
• Loudness de Curto Prazo (St LUFS): Utiliza uma janela deslizante de 3 segundos para evitar vieses de gating comuns em cenários de reunião onde coexistem fala de campo próximo e campo distante.
• Loudness Range (LRA): Quantifica a faixa dinâmica, com 3–6 LU identificados como ideais para um discurso equilibrado.

4. Resultados Experimentais

Datasets

Os experimentos foram conduzidos no:

• LibriAGC: O dataset simulado (9.487 utrações de treinamento, 1.406 de teste).
• Datasets do Mundo Real: MMCSG (desafio CHiME-8) e AliMeeting-far (porção de campo distante).

Métricas de Desempenho

• Qualidade de Fala: PESQ, SIGMOS (incluindo loudness MOS) e DNSMOS.
• Desempenho de AGC: LUFS, St LUFS e LRA.
• ASR Downstream: Taxa de Erro de Palavras (WER) e Taxa de Erro de Caracteres (CER).

Principais Descobertas

• Controle de Volume: O SE-AGCNet alcança consistentemente o volume alvo de -23 LUFS com um St LUFS próximo ao alvo e um LRA dentro da faixa ideal de 3–6 LU. Em contraste, abordagens em cascata convencionais (SE + pyagc) ou modelos de SE isolados falham em manter o volume consistente ou exibem LRA excessivo.
• Qualidade de Fala e ASR:
  • No conjunto de teste LibriAGC, o SE-AGCNet supera o MP-SENet original e as linhas de base em cascata em pontuações de PESQ, SIGMOS e DNSMOS.
  • Alcança o menor WER/CER entre todos os sistemas testados em datasets do mundo real.
  • A melhoria é particularmente pronunciada para modelos de ASR treinados com dados limitados (ex: stt_en_conformer_ctc_large), sugerindo que o framework é altamente benéfico para sistemas sensíveis a variações de qualidade de áudio.
• Comparação: O SE-AGCNet demonstra que a otimização conjunta é superior ao tratamento do AGC como uma etapa de pós-processamento separada, mitigando efetivamente o risco de o SE classificar incorretamente a fala baixa como ruído e impedindo que o AGC amplifique o ruído residual.

5. Significância

O artigo afirma que o SE-AGCNet fornece uma solução fundamentada para as limitações de pipelines de áudio em cascata. Ao alavancar a sinergia entre SE e AGC, o framework garante que o módulo de SE preserve o conteúdo de fala de baixo volume enquanto o módulo de AGC lida com a normalização do volume. Isso resulta em:

1. Melhor Qualidade de Áudio: Melhor supressão de ruído sem silenciar excessivamente os falantes baixos.
2. Volume Ótimo: Alcance consistente de níveis de volume adequados para cenários de reunião.
3. Utilidade Downstream Aprimorada: Reduções significativas nos erros de reconhecimento para sistemas de Reconhecimento Automático de Fala (ASR).

Os autores enfatizam a reprodutibilidade de seu trabalho através do código de código aberto e do novo pipeline SE-AGC-DataGen, que aborda a lacuna crítica de datasets públicos de AGC. O trabalho futuro foca na extensão do framework para condições acústicas mais complexas e na exploração de modelos leves de tempo real.