Compiling Differentiable Audio Graphs to Real-Time DSP

Resumo Técnico: Compilação de Grafos de Áudio Diferenciáveis para DSP em Tempo Real

Declaração do Problema
Processadores de áudio diferenciáveis são cada vez mais projetados e otimizados dentro de frameworks de aprendizado de máquina (por exemplo, PyTorch) usando gradiente descendente. No entanto, existe uma lacuna de implantação significativa: esses modelos otimizados permanecem confinados aos seus ambientes de treinamento. A conversão deles em efeitos de áudio em tempo real normalmente requer a reescrita manual em linguagens dedicadas de processamento de sinais digitais (DSP), como o FAUST. Esse processo de tradução é propenso a erros, exige verificação rigorosa e desconecta protótipos de pesquisa de ferramentas prontas para produção. Sistemas de áudio diferenciáveis existentes, como DDSP e FLAMO, enfrentam obstáculos semelhantes, onde os modelos treinados não podem ser exportados automaticamente para código eficiente e agnóstico ao hardware em tempo real.

Metodologia: O Pipeline ADAC
Os autores apresentam o Automatic Differentiable Audio Compiler (ADAC), um pipeline que preenche essa lacuna, reduzindo modelos treinados para representações intermediárias agnósticas ao framework e emitindo código FAUST eficiente. O processo consiste em três estágios primários:

1. Extração e Serialização: O compilador percorre o grafo computacional de um modelo treinado (especificamente demonstrado com Redes de Atraso de Feedback, ou FDNs). Ele extrai parâmetros aprendidos e os serializa em uma representação intermediária JSON. Crucialmente, o extrator lida com espaços paramétricos (por exemplo, armazenando matrizes de feedback ortogonais como pesos antissimétricos ou vetores de Householder) ao serializar os parâmetros efetivos aplicados ao sinal, enquanto retém os pesos brutos para permitir a reconstrução sem perdas do modelo de origem.
2. Emissão de Código: A representação JSON é reduzida para código FAUST. Nós estruturais mapeiam para operadores de composição FAUST: Série torna-se :, Paralelo torna-se uma divisão de entrada compartilhada, e Recursão torna-se ~. O emissor lida com linhas de atraso contabilizando o atraso implícito de uma amostra do FAUST na recursão, ajustando os valores de atraso emitidos ($z^{-(m_i-1)}$) para garantir que o período total do loop corresponda exatamente ao modelo de origem.
3. Verificação de Estabilidade: Antes da implantação, o sistema analisa a representação para estabilidade usando um argumento de ganho pequeno. Ele avalia o produto dos valores singulares máximos das respostas de frequência através do loop e verifica polos em seções de filtro recursivo. Esta análise é executada nos valores de parâmetros exatos após a formatação decimal e a conversão para precisão simples, garantindo que o certificado reflita o artefato enviado em vez de valores idealizados de precisão dupla.

Contribuições Principais
O artigo descreve três contribuições específicas para o fluxo de trabalho do áudio diferenciável:

• Treinamento Audível: O loop de otimização é tornado audível ao substituir o modelo em um plugin em execução após cada passo de gradiente. Um callback reemite o modelo e reescreve atomicamente um arquivo .dsp monitorado, permitindo que um plugin residente recarregue e recompile a rede em menos de 10 ms.
• Controles Macro Estáveis: Parâmetros brutos treinados não são adequados para interação do usuário, pois são otimizados conjuntamente e podem desestabilizar o processador se movidos isoladamente. O ADAC sobrepõe um vocabulário fixo de controles macro (tempo de reverberação, balanço dry/wet, pre-delay) que mantêm a estabilidade do processador em qualquer configuração.
• Certificados de Estabilidade: O plugin exportado carrega um certificado de estabilidade JSON computado a partir dos parâmetros enviados. O exportador de plugin recusa-se a construir um modelo se o veredito for instável ou não comprovado, a menos que explicitamente substituído.

Resultos

• Fidelidade: O código FAUST compilado corresponde à resposta de impulso do modelo de origem dentro do ruído de aritmética de ponto flutuante (resíduos no nível ou abaixo de $-80$ dB do pico, consistentes com limites de precisão simples). Para um FDN estéreo com um caminho direto, o acordo está dentro de $7 \times 10^{-5}$ do pico sem aplicação de alinhamento.
• Desempenho: Testado em um Apple M2 a 48 kHz, o custo computacional segue a complexidade prevista de $\Theta(N^2)$ para FDNs densos até que a matriz de feedback exceda o cache. Um FDN de 32 linhas roda a aproximadamente 90 vezes o tempo real, e um FDN de 64 linhas a 14 vezes o tempo real, deixando ampla margem de manobra em hardware comum.
• Precisão de Controle: Um controle de tempo de reverberação, calibrado em segundos, impõe com sucesso uma taxa de decaimento homogênea. Uma configuração de 0,5 segundos resulta em um tempo de reverberação medido de 0,5000 segundos.
• Implantação: O sistema compilou com sucesso um FDN treinado em um plugin funcional (CLAP, VST3, AU) em poucos minutos, com controles macro expostos como parâmetros automatizáveis.

Significância e Escopo
Os autores posicionam o ADAC não apenas como um gerador de código, mas como uma solução de fluxo de trabalho completo que desacopla a travessia da origem da emissão do alvo. Embora o estudo de caso foque em FDNs, a arquitetura é projetada para lidar com qualquer grafo de áudio construído a partir de composições série, paralelo e recursiva com folhas parametrizadas. O artigo observa que as garantias de estabilidade e argumentos de equivalência atuais estão vinculados ao cenário linear, invariante no tempo (LTI). O trabalho futuro envolve estender o emissor para processadores não lineares e variantes no tempo (ex: modeladores de onda, seguidores de envelope) e levar as garantias de estabilidade para esses domínios. O sistema também suporta alvos de ponto fixo via fluxo Syfala, que requantiza coeficientes e recomputa o certificado de estabilidade para o comprimento de palavra do alvo.