Time-Varying Audio Effect Modeling by End-to-End Adversarial Training

Resumo Técnico: Modelagem de Efeitos de Áudio com Variação Temporal por Treinamento Adversário de Ponta a Ponta

Definição do Problema
O aprendizado profundo tornou-se um padrão para a modelagem de efeitos de áudio, mas abordagens estritamente de "caixa-preta" têm dificuldade com sistemas de variação temporal (ex: chorus, flanger, phaser). Diferente dos efeitos invariantes no tempo (ex: distorção), os efeitos de variação temporal dependem de parâmetros internos modulados ao longo do tempo, frequentemente por um Oscilador de Baixa Frequência (LFO). O treinamento supervisionado padrão exige um alinhamento temporal preciso entre a entrada e a saída; no entanto, em um contexto de caixa-preta, a fase inicial do LFO varia entre as gravações. O treinamento em dados com tal desalinhamento geralmente resulta em um modelo que faz a média do comportamento de modulação sobre todo o período do LFO, perdendo efetivamente a dinâmica de variação temporal. Soluções existentes frequentemente exigem a extração do sinal de modulação (LFO) ou restringem os conjuntos de dados a fases de modulação fixas, o que limita sua aplicabilidade em cenários de caixa-preta total.

Metodologia
Os autores propõem uma estrutura de Rede Adversária Generativa (GAN) utilizando a arquitetura SPTVMod (Modulação de Variação Temporal Série-Paralelo), treinada através de uma nova estratégia de duas etapas:

1. Arquitetura (SPTVMod):

   • Gerador: Uma rede convolucional-recorrente com dois caminhos paralelos: um Caminho de Modulação (ModBlocks) contendo camadas LSTM para gerar sinais de modulação, e um Caminho de Áudio (FXBlocks) onde o áudio é processado e modulado via Modulação Linear por Características (FiLM).
   • Discriminador: Um classificador convolucional (FeatBlocks) que avalia tuplas de (entrada, controle, saída) para distinguir dados reais de gerados.
   • Rede de Predição de Estado (SPN): Um módulo adaptado de trabalhos anteriores para prever os estados internos iniciais ($h_0$) das camadas LSTM. Ela reutiliza as camadas de extração de características do discriminador para processar pares de entrada/saída e prever os estados necessários para sincronizar o modelo com o alvo.

2. Estratégia de Treinamento:

   • Fase I (Treinamento Adversário): O modelo é treinado usando perdas adversárias (hinge loss) e uma perda espectral de baixo peso. Crucialmente, a SPN é desativada e os estados do LSTM são inicializados estocasticamente (via distribuição normal ou inicialização angular). Isso força o gerador a aprender a distribuição geral do comportamento de modulação sem restrições estritas de fase. Para evitar o colapso de modo (onde o gerador ignora a entrada estocástica e produz uma fase fixa), uma perda de busca de modo (mode-seeking loss) é aplicada, penalizando o modelo se diferentes estados iniciais resultarem em saídas idênticas.
   • Fase II (Ajuste Fino Supervisionado): O objetivo adversário é removido. A SPN é instanciada e treinada para prever os estados iniciais corretos para os dados alvo. O modelo é então ajustado finamente usando uma perda de Transformada de Fourier de Curto Prazo de Múltiplas Resoluções (MR-STFT) para alinhar a saída gerada com o alvo, sincronizando efetivamente a modulação aprendida com a gravação específica.

3. Métrica de Modulação:

   • Perdas espectrais padrão são insuficientes para a fase adversária, pois não conseguem distinguir entre uma falta de modulação e uma modulação corretamente aprendida, mas desalinhada em fase.
   • Os autores introduzem uma métrica baseada em chirp-train. Um sinal de chirp-train (varreduras de frequência logarítmicas repetitivas) é passado pelo modelo. A saída é analisada para produzir um espectro de modulação (representação frequência-frequência). A métrica quantifica a presença e a força da modulação periódica comparando a energia total e a distribuição de picos no espectro de modulação contra a referência.

Principais Contribuições

• Modelagem de Variação Temporal em Caixa-Preta: Uma estrutura capaz de modelar efeitos impulsionados por LFO usando apenas gravações de áudio de entrada-saída, sem a necessidade de extração ou conhecimento do sinal de modulação.
• Treinamento de Duas Fases: Uma estratégia que desacopla o aprendizado da distribuição de modulação (adversário) do sincronismo de fase (supervisionado), abordando a instabilidade do treinamento de GANs de variação temporal.
• Adaptação da Predição de Estado: Extensão do conceito de Rede de Predição de Estado (SPN) de efeitos dependentes do tempo para efeitos de variação temporal para facilitar a sincronização.
• Nova Métrica de Avaliação: Uma métrica baseada em chirp-train especificamente desenhada para detectar e quantificar a modulação periódica em modelos de caixa-preta, servindo como critério de parada para a fase adversária.

Resultados
Experimentos foram conduzidos usando um phaser de hardware vintage (Ensoniq DP/4) utilizando dois conjuntos de dados com diferentes taxas de LFO (Lento: período de 1,3s; Rápido: período de 0,3s).

• Fase Adversária: O modelo aprendeu com sucesso a produzir saídas de variação temporal. A perda de busca de modo ajudou na convergência no conjunto de dados de LFO Lento, mas mostrou resultados mistos no conjunto de dados de LFO Rápido. A métrica de chirp-train identificou efetivamente modelos com modulação periódica.
• Fase de Ajuste Fino: A inclusão da SPN melhorou significativamente a precisão espectral (perda MR-STFT).
• Limitações Observadas:
  • Busca de Modo: Embora útil na fase adversária para o LFO Lento, foi considerada prejudicial à perda espectral final na fase de ajuste fino.
  • Sensibilidade de Fase: A perda MR-STFT é altamente sensível ao desalinhamento de fase; mesmo pequenos deslocos na fase do LFO resultam em altos valores de erro, complicando a avaliação objetiva.
  • Streaming: Os modelos tendem a sofrer de "colapso de modulação" em inferência de fluxo (streamed inference) (Alvo em Fluxo) quando a janela de processamento é menor que o período do LFO, pois o modelo aprende a sincronizar apenas dentro da janela de treinamento específica.
  • Artefatos: Alguns modelos exibiram atenuações estáticas ou artefatos, indicando que, embora a modulação tenha sido capturada, a precisão espectral exigia mais refinamento.

Significância e Alegações
O artigo afirma demonstrar que efeitos de áudio de variação temporal podem ser modelados em um contexto de caixa-preta total sem a extração de sinais de modulação, uma tarefa que anteriormente exigia restrições de dados significativas ou processamento de sinal. A estratégia de treinamento de duas fases proposta permite que o modelo primeiro aprenda a existência e a forma da distribuição de modulação e, em seguida, aprenda a sincronizá-la.

Os autores mantêm-se modestos quanto ao estado atual do trabalho:

• A métrica de modulação é empírica e sua relação com a percepção humana ainda não foi estabelecida.
• O método atualmente depende de conjuntos de dados de "instantâneo" (configurações de controle únicas) e ainda não suporta condicionamento de controle de usuário dinâmico.
• A abordagem é projetada para qualquer efeito de variação temporal, mas foi validada apenas em phasersacionados por LFO.
• Trabalhos futuros são necessários para abordar a generalização de estado para inferência (removendo a dependência da SPN durante a reprodução) e para melhorar a estabilidade no processamento em fluxo (streaming).

O trabalho representa um avanço na modelagem Analógica Virtual, oferecendo um caminho para emular comportamentos complexos de hardware com variação temporal onde a modelagem de circuito tradicional ou o aprendizado supervisionado falham devido ao desalinhamento de fase.