Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms

Resumen Técnico: Stylus – Transferencia de Estilo Musical sin Entrenamiento Mediante Modelos de Difusión de Imágenes Reutilizados

Enunciado del Problema
La transferencia de estilo musical busca combinar los elementos estructurales de una pista fuente (melodía, ritmo) con los atributos estilísticos de una pista de referencia (timbre, textura). Aunque los modelos generativos recientes han avanzado en la creación musical, los enfoques actuales de cero disparos (zero-shot) enfrentan limitaciones significativas. La condicionamiento basado en texto (por ejemplo, MusicLM, Riffusion) a menudo falla en capturar los matices de grano fino de ejemplos de audio específicos, resultando en estilos toscos o débilmente alineados. Por el contrario, los métodos de difusión de audio a audio (por ejemplo, MusicTI) que condicionan directamente sobre señales de audio generalmente requieren entrenamiento específico para la tarea, ajuste fino de codificadores de estilo o adaptación a categorías de estilo predefinidas. Esta dependencia de entrenamiento adicional obstaculiza la escalabilidad e impide el despliegue de cero disparos en características timbrales novedosas o no etiquetadas. Además, muchos métodos existentes dependen de técnicas iterativas de estimación de fase como Griffin–Lim para la reconstrucción de ondas, lo que frecuentemente introduce artefactos audibles como difuminado temporal y sonidos metálicos.

Metodología: El Marco Stylus
Los autores proponen Stylus, un marco sin entrenamiento que reutiliza un modelo de difusión de imágenes preentrenado (específicamente Stable Diffusion v1.5) para realizar transferencia de estilo musical directamente en el dominio del espectrograma Mel. La premisa central es tratar los espectrogramas Mel como imágenes estructuradas de tiempo-frecuencia, aprovechando los priores espaciales genéricos aprendidos por los modelos de difusión de imágenes en lugar de las regularidades armónicas específicas del dominio de los modelos nativos de audio.

La metodología consta de tres componentes principales:

1. Manipulación de Estilo Basada en Atención:
   Stylus opera manipulando las capas de autoatención del modelo de difusión de imágenes preentrenado. Aprovecha el sesgo inductivo de que las consultas ($Q$) de autoatención anclan la geometría estructural, mientras que las claves ($K$) y los valores ($V$) codifican la textura estilística.

   • Proceso: El marco realiza inversión DDIM tanto en los espectrogramas Mel de contenido como de estilo para obtener sus representaciones latentes. Durante el proceso de generación inversa, las características de clave y valor ($K, V$) del espectrograma de estilo se inyectan en las capas de autoatención de la generación de contenido.
   • Preservación de Consultas: Para evitar la destrucción de la estructura musical de la fuente, las consultas originales de contenido ($Q_{mc}$) se preservan y se mezclan con las consultas generadas ($Q_{mo}$) utilizando un hiperparámetro $\gamma$: $\bar{Q} = \gamma Q_{mc} + (1-\gamma)Q_{mo}$. Esto asegura que la disposición estructural permanezca intacta mientras se modifica la textura.
   • Inicialización: El ruido latente estilizado se inicializa combinando las representaciones latentes de estilo y contenido mediante AdaIN.

2. Reconstrucción que Preserva la Fase:
   Para mitigar los artefactos comunes en la inversión de espectrograma (por ejemplo, los causados por Griffin–Lim), Stylus emplea una estrategia que preserva la fase. En lugar de estimar una nueva fase a partir del espectrograma de magnitud modificado, el marco reutiliza la fase del audio de contenido original. Este enfoque asegura estabilidad acústica y alta fidelidad perceptiva sin requerir entrenamiento adicional, transfiriendo efectivamente los atributos estilísticos a través del dominio de la magnitud mientras se bloquea la fase.

3. Intensidad Estilística Controlable (Escala de Guía):
   Para abordar la rigidez del intercambio simple de claves-valores, que fuerza una elección binaria entre contenido y estilo, Stylus introduce una estrategia de interpolación inspirada en la Guía Libre de Clasificador (CFG). Las salidas de atención para contenido ($\phi_{content}$) y estilo ($\phi_{style}$) se calculan independientemente y se mezclan utilizando una escala de guía $\alpha$:
   $$\phi_{blended} = \phi_{content} + \alpha \cdot (\phi_{style} - \phi_{content})$$
   Esto permite un ajuste continuo de la fuerza de estilización, donde valores más bajos de $\alpha$ preservan la fidelidad estructural y valores más altos enfatizan las características estilísticas.

Contribuciones Clave

• Marco sin Entrenamiento: La propuesta de Stylus, un método que formula la transferencia de estilo musical como una manipulación basada en atención de imágenes de espectrograma Mel utilizando un modelo de difusión de imágenes preentrenado fijo, eliminando la necesidad de entrenamiento específico para la tarea o ajuste fino.
• Manipulación y Reconstrucción Controlables: La introducción de un mecanismo de manipulación de atención controlable (mediante $\alpha$ y $\gamma$) y una estrategia de reconstrucción que preserva la fase, que mejoran conjuntamente la flexibilidad y la fidelidad perceptiva.
• Evaluación Exhaustiva de Cero Disparos: Una evaluación integral que demuestra que los priores de imágenes genéricos pueden reutilizarse eficazmente para la transformación de cero disparos de espectrogramas Mel estructurados.

Resultados Experimentales
Los autores evaluaron Stylus frente a líneas base de última generación, incluyendo MusicGen y MusicTI, utilizando el conjunto de datos MusicTI (253 clips de audio).

• Rendimiento Cuantitativo: En una evaluación a gran escala de 13,246 combinaciones de contenido-estilo, Stylus logró un 34.1% de puntuación más alta en preservación de contenido en comparación con MusicTI. También demostró un rendimiento superior en la adecuación del estilo a efectos sonoros (11.9% más alto que MusicTI).
• Evaluación Humana: Un estudio que involucró a 65 participantes válidos y 2,925 calificaciones mostró que Stylus superó significativamente a las líneas base en calidad perceptiva general (3.38 vs. ≤2.69) y preservación de contenido (4.29 vs. ≤2.95).
• Estudios de Ablación: Los experimentos confirmaron que eliminar las inyecciones de clave o valor degrada severamente el rendimiento. La ablación en la escala de guía ($\alpha$) validó la compensación entre adherencia al estilo y preservación de contenido. Además, se demostró que la reconstrucción que preserva la fase produce mayor calidad perceptiva y coherencia musical en comparación con la reconstrucción de Griffin–Lim, a pesar de una posible compensación en las señales dependientes de fase de grano fino.

Significado y Afirmaciones
El artículo afirma que Stylus valida la hipótesis de que los priores espaciales genéricos aprendidos por los modelos de difusión de imágenes pueden reutilizarse robustamente para la transformación sin entrenamiento de espectrogramas Mel estructurados. Al tratar el audio como imágenes, el marco elude las limitaciones de los modelos nativos de audio que están restringidos por reglas musicales aprendidas, permitiendo una transferencia de estilo basada en ejemplos flexible. El trabajo une el procesamiento de señales de audio con la visión por computadora generativa, ofreciendo una solución escalable para la creación musical personalizada que preserva la integridad estructural mientras logra una transferencia de estilo de alta fidelidad sin el costo computacional de entrenamiento adicional. Los autores señalan que, aunque el enfoque sacrifica la sensibilidad a señales acústicas de grano fino (como las dependencias de fase) a cambio de robustez, proporciona una base sólida para trabajos futuros destinados a mejorar la recuperación de matices acústicos manteniendo la inferencia sin entrenamiento.