Time-Varying Audio Effect Modeling by End-to-End Adversarial Training

Resumen Técnico: Modelado de Efectos de Audio con Variación Temporal mediante Entrenamiento Adversario de Extremo a Extremo

Planteamiento del Problema
El aprendizaje profundo se ha convertido en un estándar para el modelado de efectos de audio, pero los enfoques estrictamente de "caja negra" tienen dificultades con los sistemas de variación temporal (por ejemplo, chorus, flanger, phaser). A diferencia de los efectos invariantes en el tiempo (como la distorsión), los efectos de variación temporal dependen de parámetros internos modulados a lo largo del tiempo, a menudo por un Oscilador de Baja Frecuencia (LFO). El entrenamiento supervisado estándar requiere una alineación temporal precisa entre la entrada y la salida; sin embargo, en un contexto de caja negra, la fase inicial del LFO varía entre las grabaciones. Entrenar con tales datos desalineados suele resultar en un modelo que promedia el comportamiento de la modulación sobre todo el periodo del LFO, perdiendo efectivamente la dinámica de la variación temporal. Las soluciones existentes suelen requerir la extracción de la señal de modulación (LFO) o restringir los conjuntos de datos a fases de modulación fijas, lo que limita su aplicabilidad en escenarios de caja negra completa.

Metodología
Los autores proponen un marco de Redes Generativas Adversarias (GAN) que utiliza la arquitectura SPTVMod (Modulación de Tiempo Variable Serie-Paralelo), entrenada mediante una novedosa estrategia de dos etapas:

1. Arquitectura (SPTVMod):

   • Generador: Una red convolucional-recurrente que presenta dos rutas paralelas: una Ruta de Modulación (ModBlocks) que contiene capas LSTM para generar señales de modulación, y una Ruta de Audio (FXBlocks) donde el audio es procesado y modulado mediante Modulación Lineal Dependiente de Características (FiLM).
   • Discriminador: Un clasificador convolucional (FeatBlocks) que evalúa tuplas de (entrada, control, salida) para distinguir entre datos reales y generados.
   • Red de Predicción de Estado (SPN): Un módulo adaptado de trabajos previos para predecir los estados internos iniciales ($h_0$) de las capas LSTM. Reutiliza las capas de extracción de características del discriminador para procesar pares de entrada/salida y predecir los estados necesarios para sincronizar el modelo con el objetivo.

2. Estrategia de Entrenamiento:

   • Fase I (Entrenamiento Adversario): El modelo se entrena utilizando pérdidas adversarias (pérdida hinge) y una pérdida espectral de bajo peso. Crucialmente, la SPN está desactivada y los estados de la LSTM se inicializan estocásticamente (ya sea mediante una distribución normal o inicialización de ángulo). Esto obliga al generador a aprender la distribución general del comportamiento de la modulación sin restricciones de fase estrictas. Para prevenir el colapso de modo (donde el generador ignora la entrada estocástica y produce una fase fija), se aplica una pérdida de búsqueda de modo (mode-seeking loss), que penaliza al modelo si diferentes estados iniciales producen salidas idénticas.
   • Fase II (Ajuste Fino Supervisado): El objetivo adversario se elimina. La SPN se instancia y se entrena para predecir los estados iniciales correctos para los datos objetivo. El modelo se ajusta finamente utilizando una pérdida de Transformada de Fourier de Corto Tiempo de Multiresolución (MR-STFT) para alinear la salida generada con el objetivo, sincronizando efectivamente la modulación aprendida con la grabación específica.

3. Métrica de Modulación:

   • Las pérdidas espectrales estándar son insuficientes para la fase adversaria, ya que no pueden distinguir entre una falta de modulación y una modulación correctamente aprendida pero con la fase desalineada.
   • Los autores introducen una métrica basada en un tren de chirps. Se hace pasar una señal de tren de chirps (barridos de frecuencia logarítmicos repetitivos) a través del modelo. La salida se analiza para producir un espectro de modulación (representación de frecuencia-frecuencia). La métrica cuantifica la presencia y la fuerza de la modulación periódica comparando la energía total y la distribución de los picos en el espectro de modulación contra la referencia.

Contribuciones Clave

• Modelado de Variación Temporal en Caja Negra: Un marco capaz de modelar efectos impulsados por LFO utilizando únicamente grabaciones de audio de entrada-salida, sin requerir la extracción o el conocimiento de la señal de modulación.
• Entrenamiento de Dos Fases: Una estrategia que desacopla el aprendizaje de la distribución de la modulación (adversario) de la sincronización de la fase (supervisado), abordando la inestabilidad del entrenamiento de GANs de variación temporal.
• Adaptación de la Red de Predicción de Estado: Extensión del concepto de la Red de Predicción de Estado (SPN) de efectos dependientes del tiempo a efectos de variación temporal para facilitar la sincronización.
• Nueva Métrica de Evaluación: Una métrica basada en trenes de chirps diseñada específicamente para detectar y cuantificar la modulación periódica en modelos de caja negra, sirviendo como criterio de parada para la fase adversaria.

Resultados
Los experimentos se realizaron utilizando un phaser de hardware vintage (Ensoniq DP/4) empleando dos conjuntos de datos con diferentes tasas de LFO (Lento: periodo de 1.3s; Rápido: periodo de 0.3s).

• Fase Adversaria: El modelo aprendió con éxito a producir salidas de variación temporal. La pérdida de búsqueda de modo ayudó a la convergencia en el conjunto de datos de LFO Lento, pero mostró resultados mixtos en el conjunto de datos de LFO Rápido. La métrica de tren de chirps identificó eficazmente los modelos con modulación periódica.
• Fase de Ajuste Fino: La inclusión de la SPN mejoró significamente la precisión espectral (pérdida MR-STFT).
• Limitaciones Observadas:
  • Búsqueda de Modo: Aunque fue útil en la fase adversaria para el LFO Lento, se encontró perjudicial para la pérdida espectral final en la fase de ajuste fino.
  • Sensibilidad de Fase: La pérdida MR-STFT es altamente sensible al desalineamiento de fase; incluso pequeños desplazos en la fase del LFO resultan en valores de error elevados, complicando la evaluación objetiva.
  • Streaming: Los modelos tienden a sufrir de "colapso de modulación" en la inferencia por streaming (Target de Streaming) cuando la ventana de procesamiento es más corta que el periodo del LFO, ya que el modelo solo aprende a sincronizarse dentro de la ventana de entrenamiento específica.
  • Artefactos: Algunos modelos exhibieron atenuaciones estáticas o artefactos, indicando que, si bien se capturó la modulación, la precisión espectral requería mayor refinamiento.

Significancia y Reivindicaciones
El artículo afirma demostrar que los efectos de audio de variación temporal pueden modelarse en un contexto de caja negra completa sin extraer señales de modulación, una tarea que anteriormente requería restricciones de datos o procesamiento de señales significativas. La estrategia de entrenamiento de dos fases propuesta permite al modelo aprender primero la existencia y la forma de la distribución de la modulación y luego aprender a sincronizarla.

Los autores mantienen la modestia respecto al estado actual del trabajo:

• La métrica de modulación es empírica y su relación con la percepción humana aún no se ha establecido.
• El método actualmente depende de conjuntos de datos de "instantánea" (configuración de control única) y aún no admite el control de usuario dinámico condicionado.
• El enfoque está diseñado para cualquier efecto de variación temporal, pero solo fue validado en phasersers impulsados por LFO.
• Se requiere trabajo futuro para abordar la generalización del estado para la inferencia (eliminando la dependencia de la SPN durante la reproducción) y para mejorar la estabilidad en el procesamiento por streaming.

Este trabajo representa un paso adelante en el modelado de Analógico Virtual, ofreciendo una vía para emular comportamientos complejos de hardware de variación temporal donde el modelado de circuitos tradicional o el aprendizaje supervisado fallan debido al desalineamiento de fase.