Position-invariant Fine-tuning of Speech Enhancement Models with Self-supervised Speech Representations

Resumo Técnico: Ajuste Fino de Invariância Posicional de Modelos de Realce de Fala com Representações de Fala de Aprendizado Autossupervisionado

Problema
A integração de modelos de realce de fala (SE - speech enhancement) front-end com representações de aprendizado autossupervisionado (SSL - self-supervised learning) (ex: wav2vec 2.0, HuBERT) tem se mostrado eficaz para tarefas de aplicação (downstream) em ambientes ruidosos. A abordagem padrão envolve o ajuste fino (fine-tuning) do modelo de SE utilizando uma perda de Erro Quadrático Médio (MSE) entre as representações SSL da fala realçada e da fala limpa (SSL-MSE). No entanto, este artigo identifica uma limitação crítica: o objetivo de MSE é propenso a explorar os embeddings posicionais inerentes aos modelos SSL. Em vez de aprender similaridade de conteúdo significativa, o processo de otimização minimiza a perda através de correlações posicionais. Este fenômeno, análogo ao "colapso posicional" observado no pré-treinamento de SSL, reduz a generalização e a robustez do front-end de SE, particularmente em condições de ruído não vistas.

Metodologia
O estudo investiga este problema por meio de um framework de SE guiado por representação, no qual um modelo de SE pré-treinado é ajustado para alinhar sua saída com as representações de um codificador SSL congelado. Para mitigar a exploração de embeddings posicionais, duas estratégias são propostas e avaliadas:

1. Perturbação Posicional via Preenchimento de Zero Aleatório (SSL-MSE-PAD):
   Adaptado do framework SPIRAL usado no pré-treinamento de SSL, este método introduz o preenchimento de zeros aleatórios à forma de onda de referência limpa antes que ela seja passada pelo codificador SSL. O comprimento do preenchimento é amostrado aleatoriamente (2–5% da duração do sinal) e alinhado com o tamanho do salto de quadro (frame hop size) do modelo SSL. Para manter o alinhamento com o sinal realçado não preenchido, um número equivalente de quadros é aparado das representações SSL preenchidas antes de calcular o MSE. Isso interrompe o alinhamento posicional absoluto, forçando o modelo a depender mais do conteúdo.

2. Perturbação de Velocidade com Perda Soft-DTW (SSL-SoftDTW):
   Esta abordagem combina perturbação de velocidade (variando a velocidade de reprodução do sinal limpo) com uma perda soft-Dynamic Time Warping (soft-DTW). Diferente do preenchimento de zeros, a perturbação de velocidade introduz distorções temporais locais contínuas que simulam a variabilidade realista do tempo da fala. Como os sinais limpos realçados e perturbados diferem em comprimento, o MSE por quadro padrão é inaplicável. Em vez disso, o soft-DTW — uma extensão diferenciável do DTW usando um operador soft-min — alinha as sequências com base no conteúdo, e não na posição absoluta. A perda é normalizada pelo comprimento da sequência para garantir estabilidade.

Configuração Experimental
Os experimentos utilizam o modelo de SE master64 (uma rede convolucional profunda no domínio do tempo) ajustado em um subconjunto de ruído aumentado do LibriSpeech (train-clean-100) misturado com ruído interno DEMAND. O backbone de SSL é o HuBERT-BASE. Os modelos de SE ajustados são subsequentemente avaliados integrando-os como front-ends para tarefas de aplicação: Reconhecimento Automático de Fala (ASR) e Reconhecimento de Fonemas (PR), seguindo o protocolo de benchmark SUPERB. A avaliação inclui condições de áudio limpo, ruído visto (interno) e ruído não visto (externo).

Resultados Principais

• Desempenho de Aplicação (Downstream): A abordagem SSL-SoftDTW superou consistentemente o baseline SSL-MSE e a variante SSL-MSE-PAD. Em tarefas de ASR, o SSL-SoftDTW alcançou a menor Taxa de Erro de Palavra (WER) em condições de ruído não visto (9,06% vs. 9,19% para SSL-MSE). Da mesma forma, para o Reconhecimento de Fonemas, o SSL-SoftDTW apresentou a melhor Taxa de Erro de Fonema (PER) (5,11% vs. 5,17% para SSL-MSE).
• Velocidade de Convergência: Uma descoberta significativa é a taxa de convergência. A abordagem SSL-SoftDTW convergiu para o nível de desempenho final do baseline SSL-MSE em aproximadamente 60k passos, enquanto o baseline SSL-MSE exigiu cerca de 200k passos.
• Limitações do Preenchimento de Zero: Embora o SSL-MSE-PAD tenha mostrado uma convergência mais rápida que o baseline, ele ofereceu ganhos de desempenho apenas marginais. Os autores atribuem isso às descontinuidades artificiais introduzidas pelo preenchimento de zeros, que podem interferir na extração de características de SSL.

Significância e Alegações
O artigo afirma que a exploração de embeddings posicionais é uma limitação geral no ajuste fino baseado em SSL que afeta adversamente a robustez dos front-ends de SE. A principal contribuição é a demonstração de que estratégias de ajuste fino de invariância posicional, especificamente aquelas que utilizam o alinhamento soft-DTW, podem melhorar significativamente o desempenho das tarefas de aplicação e a eficiência do treinamento.

Crucialmente, os autores enfatizam que essas melhorias foram alcançadas ajustando apenas o módulo de SE, sem modificar o codificador SSL ou os cabeçalhos das tarefas de aplicação. Isso sugere que mitigar a dependência posicional no nível do componente é suficiente para gerar ganhos mensuráveis. O trabalho ressalta a importância de ir além do simples alinhamento por MSE em favor de objetivos baseados em conteúdo e invariantes à posição ao integrar modelos de SE com representações de SSL. Sugere-se que trabalhos futuros explorem a aplicação dessas técnicas durante a própria etapa de pré-treinamento de SSL, que é computacionalmente dispendiosa.