Compiling Differentiable Audio Graphs to Real-Time DSP

Resumen Técnico: Compilación de Grafos de Audio Diferenciables a DSP en Tiempo Real

Declaración del Problema
Los procesadores de audio diferenciables se diseñan y optimizan cada vez más dentro de marcos de trabajo de aprendizaje automático (por ejemplo, PyTorch) mediante el descenso de gradiente. Sin embargo, existe una brecha de despliegue significativa: estos modelos optimizados permanecen confinados en sus entornos de entrenamiento. La conversión de estos en efectos de audio en tiempo real suele requerir la reescritura manual en lenguajes dedicados de procesamiento de señales digitales (DSP) como FAUST. Este proceso de traducción es propenso a errores, exige una verificación rigurosa y desconecta los prototipos de investigación de las herramientas listas para producción. Los sistemas de audio diferenciable existentes, como DD0P y FLAMO, enfrentan obstáculos similares donde los modelos entrenados no pueden exportarse automáticamente a código eficiente e independiente del hardware en tiempo real.

Metodología: El Pipeline ADAC
Los autores presentan el Compilador de Audio Diferenciable Automático (ADAC), un pipeline que cierra esta brecha al reducir los modelos entrenados a representaciones intermedias independientes del marco de trabajo y emitir código FAUST eficiente. El proceso consta de tres etapas primarias:

1. Extracción y Serialización: El compilador recorre el grafo computacional de un modelo entrenado (específicamente demostrado con Redes de Retardo de Retroalimentación, o FDNs). Extrae los parámetros aprendidos y los serializa en una representación intermedia JSON. Crucialmente, el extractor maneja espacios paramétricos (por ejemplo, almacenando matrices de retroalimentación ortogonales como pesos antisimétricos o vectores de Householder) al serializar los parámetros efectivos aplicados a la señal, mientras retiene los pesos brutos para permitir una reconstrucción sin pérdidas del modelo original.
2. Emisión de Código: La representación JSON se reduce a código FAUST. Los nodos estructurales mapean a los operadores de composición de FAUST: la Serie se convierte en :, el Paralelo en una división de entrada compartida, y la Recursión en ~. El emisor gestiona las líneas de retardo teniendo en cuenta el retardo implícito de una muestra de FAUST en la recursión, ajustando los valores de retardo emitidos ($z^{-(m_i-1)}$) para asegurar que el periodo del bucle total coincida exactamente con el modelo de origen.
3. Verificación de Estabilidad: Antes del despliegue, el sistema analiza la estabilidad de la representación utilizando un argumento de ganancia pequeña. Evalúa el producto de los valores singulares máximos de las respuestas en frecuencia a través del bucle y comprueba los polos en las secciones de filtros recursivos. Este análisis se ejecuta sobre los valores de parámetros exactos tras el formateo decimal y el casting a precisión simple, asegurando que el certificado refleje el artefacto entregado en lugar de valores idealizados de doble precisión.

Contribuciones Clave
El artículo describe tres contribuciones específicas al flujo de trabajo del audio diferenciable:

• Entrenamiento Audible: El bucle de optimización se hace audible reemplazando el modelo en un plugin en ejecución después de cada paso de gradiente. Un callback vuelve a emitir el modelo y reescribe de forma atómica un archivo .dsp monitoreado, permitiendo que un plugin residente recargue y recompile la red en menos de 10 ms.
• Macro-controles Estables: Los parámetros brutos entrenados no son adecuados para la interacción del usuario, ya que están optimizados conjuntamente y pueden desestabilizar el procesador si se mueven de forma aislada. ADAC superpone un vocabulario fijo de macro-controles (tiempo de reverberación, balance dry/wet, pre-delay) que mantienen la estabilidad del procesador en cualquier configuración.
• Certificados de Estabilidad: El plugin exportado porta un certificado de estabilidad JSON computado a partir de los parámetros entregados. El exportador de plugins se niega a construir un modelo si el veredicto es inestable o no probado, a menos que se indique explícitamente lo contrario.

Resultados

• Fidelidad: El código FAUST compilado coincide con la respuesta al impulso del modelo de origen dentro del ruido de aritmética de punto flotante (residuales en o por debajo de $-80$ dB del pico, consistentes con los límites de precisión simple). Para un FDN estéreo con un camino directo, el acuerdo es dentro de $7 \times 10^{-5}$ del pico sin aplicar alineación.
• Rendimiento: Evaluado en un Apple M2 a 48 kHz, el costo computacional sigue la complejidad predicha de $\Theta(N^2)$ para FDNs densos hasta que la matriz de retroalimentación excede la caché. Un FDN de 32 líneas se ejecuta aproximadamente a 90 veces el tiempo real, y un FDN de 64 líneas a 14 veces el tiempo real, dejando un amplio margen en hardware comercial.
• Precisión de Control: Un control de tiempo de reverberación, calibrado en segundos, impone con éxito una tasa de decaimiento homogénea. Una configuración de 0.5 segundos produce un tiempo de reverberación medido de 0.5000 segundos.
• Despliegue: El sistema compila con éxito un FDN entrenado en un plugin funcional (CLAP, VST3, AU) en pocos minutos, con macro-controles expuestos como parámetros automatizables.

Significancia y Alcance
Los autores posicionan a ADAC no meramente como un generador de código, sino como una solución de flujo de trabajo completa que desacopla el recorrido de la fuente de la emisión del objetivo. Aunque el caso de estudio se centra en FDNs, la arquitectura está diseñada para manejar cualquier grafo de audio construido a partir de composiciones serie, paralelo y recursivas con hojas parametrizadas. El artículo señala que las garantías de estabilidad y los argumentos de equivalencia actuales están ligados al entorno lineal e invariante en el tiempo (LTI). El trabajo futuro implica extender el emisor a procesadores no lineales y variantes en el tiempo (por ejemplo, modeladores de ondas, seguidores de envolvente) y trasladar las garantías de estabilidad a esos dominios. El sistema también soporta objetivos de punto fijo mediante el flujo Syfala, que re-cuantiza los coeficientes y vuelve a computar el certificado de estabilidad para la longitud de palabra del objetivo.