Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms

Riepilogo Tecnico: Stylus – Trasferimento di Stile Musicale Senza Addestramento tramite Riutilizzo di Modelli di Diffusione per Immagini

Dichiarazione del Problema
Il trasferimento di stile musicale mira a fondere gli elementi strutturali di una traccia sorgente (melodia, ritmo) con gli attributi stilistici di una traccia di riferimento (timbro, texture). Sebbene i recenti modelli generativi abbiano fatto progredire la creazione musicale, gli approcci zero-shot esistenti affrontano limitazioni significative. Il condizionamento basato sul testo (ad esempio, MusicLM, Riffusion) spesso non riesce a catturare le sfumature fini di specifici esemplari audio, risultando in stili grezzi o scarsamente allineati. Al contrario, i metodi di diffusione audio-audio (ad esempio, MusicTI) che si condizionano direttamente sui segnali audio richiedono tipicamente addestramento specifico per il compito, affinamento di encoder di stile o adattamento a categorie di stile predefinite. Questa dipendenza da addestramenti aggiuntivi ostacola la scalabilità e impedisce il dispiegamento zero-shot su caratteristiche timbriche nuove o non etichettate. Inoltre, molti metodi esistenti si basano su tecniche iterative di stima della fase come Griffin–Lim per la ricostruzione della forma d'onda, che frequentemente introducono artefatti udibili come sfocatura temporale e suoni metallici.

Metodologia: Il Framework Stylus
Gli autori propongono Stylus, un framework senza addestramento che riutilizza un modello di diffusione per immagini preaddestrato (nello specifico Stable Diffusion v1.5) per eseguire il trasferimento di stile musicale direttamente nel dominio dello spettrogramma Mel. La premessa fondamentale è trattare gli spettrogrammi Mel come immagini tempo-frequenza strutturate, sfruttando le priorità spaziali generiche apprese dai modelli di diffusione per immagini piuttosto che le regolarità armoniche specifiche del dominio dei modelli nativi per l'audio.

La metodologia è composta da tre componenti principali:

1. Manipolazione dello Stile Basata sull'Attenzione:
   Stylus opera manipolando i livelli di auto-attenzione del modello di diffusione per immagini preaddestrato. Sfrutta il bias induttivo secondo cui le query di auto-attenzione ($Q$) ancorano la geometria strutturale, mentre le chiavi ($K$) e i valori ($V$) codificano la texture stilistica.

   • Processo: Il framework esegue l'inversione DDIM sia sugli spettrogrammi Mel del contenuto che su quelli dello stile per ottenere le loro rappresentazioni latenti. Durante il processo di generazione inversa, le caratteristiche chiave e valore ($K, V$) dallo spettrogramma dello stile vengono iniettate nei livelli di auto-attenzione della generazione del contenuto.
   • Preservazione delle Query: Per prevenire la distruzione della struttura musicale sorgente, le query originali del contenuto ($Q_{mc}$) vengono preservate e mescolate con le query generate ($Q_{mo}$) utilizzando un iperparametro $\gamma$: $\bar{Q} = \gamma Q_{mc} + (1-\gamma)Q_{mo}$. Ciò garantisce che il layout strutturale rimanga intatto mentre la texture viene modificata.
   • Inizializzazione: Il rumore latente stilizzato viene inizializzato combinando le rappresentazioni latenti dello stile e del contenuto tramite AdaIN.

2. Ricostruzione con Preservazione della Fase:
   Per mitigare gli artefatti comuni nell'inversione degli spettrogrammi (ad esempio, quelli causati da Griffin–Lim), Stylus impiega una strategia di preservazione della fase. Invece di stimare una nuova fase dallo spettrogramma di magnitudine modificato, il framework riutilizza la fase dall'audio originale del contenuto. Questo approccio garantisce stabilità acustica e alta fedeltà percettiva senza richiedere addestramento aggiuntivo, trasferendo efficacemente gli attributi stilistici attraverso il dominio della magnitudine bloccando la fase.

3. Intensità Stilistica Controllabile (Scalatura della Guida):
   Per affrontare la rigidità dello scambio semplice di chiavi-valori, che forza una scelta binaria tra contenuto e stile, Stylus introduce una strategia di interpolazione ispirata alla Guida Senza Classificatore (CFG). Le uscite di attenzione per il contenuto ($\phi_{content}$) e lo stile ($\phi_{style}$) vengono calcolate indipendentemente e mescolate utilizzando una scala di guida $\alpha$:
   $$\phi_{blended} = \phi_{content} + \alpha \cdot (\phi_{style} - \phi_{content})$$
   Ciò consente un aggiustamento continuo della forza di stilizzazione, dove valori di $\alpha$ più bassi preservano la fedeltà strutturale e valori più alti enfatizzano le caratteristiche stilistiche.

Contributi Chiave

• Framework Senza Addestramento: La proposta di Stylus, un metodo che formula il trasferimento di stile musicale come una manipolazione basata sull'attenzione di immagini di spettrogrammi Mel utilizzando un modello di diffusione per immagini preaddestrato e fisso, eliminando la necessità di addestramento specifico per il compito o affinamento.
• Manipolazione e Ricostruzione Controllabili: L'introduzione di un meccanismo di manipolazione dell'attenzione controllabile (tramite $\alpha$ e $\gamma$) e di una strategia di ricostruzione con preservazione della fase che migliorano congiuntamente la flessibilità e la fedeltà percettiva.
• Valutazione Zero-Shot Estensiva: Una valutazione completa che dimostra come le priorità generiche per le immagini possano essere riutilizzate efficacemente per la trasformazione zero-shot di spettrogrammi Mel strutturati.

Risultati Sperimentali
Gli autori hanno valutato Stylus rispetto a baseline all'avanguardia, inclusi MusicGen e MusicTI, utilizzando il dataset MusicTI (253 clip audio).

• Prestazioni Quantitative: In una valutazione su larga scala di 13.246 combinazioni contenuto-stile, Stylus ha ottenuto un punteggio del 34,1% più alto nella preservazione del contenuto rispetto a MusicTI. Ha inoltre dimostrato prestazioni superiori nel fitting dello stile degli effetti sonori (11,9% più alto di MusicTI).
• Valutazione Umana: Uno studio che ha coinvolto 65 partecipanti validi e 2.925 valutazioni ha mostrato che Stylus ha superato significativamente le baseline nella qualità percettiva complessiva (3,38 contro ≤2,69) e nella preservazione del contenuto (4,29 contro ≤2,95).
• Studi di Ablazione: Gli esperimenti hanno confermato che la rimozione delle iniezioni di chiavi o valori degrada severamente le prestazioni. L'ablazione sulla scala di guida ($\alpha$) ha validato il compromesso tra adesione allo stile e preservazione del contenuto. Inoltre, la ricostruzione con preservazione della fase ha dimostrato di produrre una qualità percettiva e una coerenza musicale superiori rispetto alla ricostruzione Griffin–Lim, nonostante un potenziale compromesso su segnali dipendenti dalla fase a grana fine.

Significato e Affermazioni
Il documento afferma che Stylus convalida l'ipotesi secondo cui le priorità spaziali generiche apprese dai modelli di diffusione per immagini possono essere riutilizzate in modo robusto per la trasformazione senza addestramento di spettrogrammi Mel strutturati. Trattando l'audio come immagini, il framework supera le limitazioni dei modelli nativi per l'audio che sono vincolati da regole musicali apprese, consentendo un trasferimento di stile flessibile basato su esemplari. Il lavoro colma il divario tra l'elaborazione dei segnali audio e la visione computerizzata generativa, offrendo una soluzione scalabile per la creazione musicale personalizzata che preserva l'integrità strutturale mentre raggiunge un trasferimento di stile ad alta fedeltà senza i costi computazionali di addestramenti aggiuntivi. Gli autori notano che, sebbene l'approccio sacrifichi la sensibilità a segnali acustici a grana fine (come le dipendenze di fase) in cambio di robustezza, fornisce una solida base per lavori futuri volti a migliorare il recupero delle sfumature acustiche mantenendo l'inferenza senza addestramento.