Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms

Technische Samenvatting: Stylus – Trainingsvrije Muziekstijloverdracht via Hergebruikte Afbeeldingsdiffusiemodellen

Probleemstelling
Muziekstijloverdracht beoogt de structurele elementen van een brontrack (melodie, ritme) te mengen met de stijlkenmerken van een referentietrack (klankkleur, textuur). Hoewel recente generatieve modellen de muziekcreatie hebben vooruitgebracht, ondervinden bestaande zero-shot-benaderingen aanzienlijke beperkingen. Conditionering op basis van tekst (bijvoorbeeld MusicLM, Riffusion) slaagt er vaak niet in om de fijnmazige nuances van specifieke audio-voorbeelden vast te leggen, wat resulteert in ruwe of losjes afgestemde stijlen. Omgekeerd vereisen audio-naar-audio diffusiemethoden (bijvoorbeeld MusicTI) die direct conditioneren op audiosignalen doorgaans taakspecifieke training, fine-tuning van stijlencoders, of aanpassing aan vooraf gedefinieerde stijlcategorieën. Deze afhankelijkheid van extra training belemmert de schaalbaarheid en verhindert zero-shot-implementatie op nieuwe of niet-gelabelde klankkleurkenmerken. Bovendien vertrouwen veel bestaande methoden op iteratieve fase-schattingstechnieken zoals Griffin–Lim voor golfvormreconstructie, wat vaak hoorbare artefacten introduceert, zoals tijdelijke vervaging en metalen geluiden.

Methodologie: Het Stylus-Frame
De auteurs stellen Stylus voor, een trainingsvrij frame dat een vooraf getraind afbeeldingsdiffusiemodel (specifiek Stable Diffusion v1.5) hergebruikt om muziekstijloverdracht direct in het Mel-spectrogram-domein uit te voeren. De kernpremissis is om Mel-spectrogrammen te behandelen als gestructureerde tijd-frequentie-afbeeldingen, waarbij gebruik wordt gemaakt van de generieke ruimtelijke priors die door afbeeldingsdiffusiemodellen zijn geleerd, in plaats van de domeinspecifieke harmonische regulariteiten van audio-native modellen.

De methodologie bestaat uit drie hoofdcomponenten:

1. Op attentie gebaseerde stijlbewerking:
   Stylus werkt door de self-attention-lagen van het vooraf getrainde afbeeldingsdiffusiemodel te manipuleren. Het maakt gebruik van de inductieve bias dat self-attention queries ($Q$) de structurele geometrie verankeren, terwijl keys ($K$) en values ($V$) de stijltextuur coderen.

   • Proces: Het frame voert DDIM-inversie uit op zowel de inhouds- als de stijlmel-spectrogrammen om hun latente representaties te verkrijgen. Tijdens het omgekeerde generatieproces worden de key- en value-features ($K, V$) uit het spectraal van de stijl ingebracht in de self-attention-lagen van de inhoudsgeneratie.
   • Behoud van Queries: Om de vernietiging van de bronmuzikale structuur te voorkomen, worden de originele inhoudsqueries ($Q_{mc}$) behouden en gemengd met de gegenereerde queries ($Q_{mo}$) met behulp van een hyperparameter $\gamma$: $\bar{Q} = \gamma Q_{mc} + (1-\gamma)Q_{mo}$. Dit zorgt ervoor dat de structurele lay-out intact blijft terwijl de textuur wordt gewijzigd.
   • Initialisatie: De gestileerde latente ruis wordt geïnitieerd door de stijl- en inhoudsrepresentaties te combineren via AdaIN.

2. Fasebehoudende reconstructie:
   Om de artefacten die vaak voorkomen bij spectrogram-inversie (bijvoorbeeld die veroorzaakt door Griffin–Lim) te verminderen, hanteert Stylus een fasebehoudende strategie. In plaats van een nieuwe fase te schatten vanuit het gewijzigde magnitude-spectrogram, hergebruikt het frame de fase van de originele inhoudsaudio. Deze aanpak zorgt voor akoestische stabiliteit en hoge perceptuele fideliteit zonder extra training, en transporteert stijlkenmerken effectief via het magnitude-domein terwijl de fase wordt vergrendeld.

3. Controleerbare stijlintensiteit (Gids-schaal):
   Om de rigiditeit van eenvoudige key-value-wisseling aan te pakken, die een binaire keuze tussen inhoud en stijl forceert, introduceert Stylus een op Classifier-Free Guidance (CFG) gebaseerde interpolatiestrategie. De attentie-uitvoer voor inhoud ($\phi_{content}$) en stijl ($\phi_{style}$) worden onafhankelijk berekend en gemengd met behulp van een gids-schaal $\alpha$:
   $$\phi_{blended} = \phi_{content} + \alpha \cdot (\phi_{style} - \phi_{content})$$
   Dit maakt een continue aanpassing van de sterkte van de stylisering mogelijk, waarbij lagere $\alpha$-waarden de structurele fideliteit behouden en hogere waarden de stijlkenmerken benadrukken.

Belangrijkste Bijdragen

• Trainingsvrij Frame: Het voorstellen van Stylus, een methode die muziekstijloverdracht formuleert als een op attentie gebaseerde manipulatie van Mel-spectrogram-afbeeldingen met behulp van een vast, vooraf getraind afbeeldingsdiffusiemodel, waardoor de behoefte aan taakspecifieke training of fine-tuning wordt geëlimineerd.
• Controleerbare Manipulatie en Reconstructie: De introductie van een controleerbaar attentie-manipulatiemechanisme (via $\alpha$ en $\gamma$) en een fasebehoudende reconstructiestrategie die gezamenlijk flexibiliteit en perceptuele fideliteit verbeteren.
• Uitgebreide Zero-Shot Evaluatie: Een uitgebreide evaluatie die aantoont dat generieke afbeeldingspriors effectief kunnen worden hergebruikt voor de zero-shot-transformatie van gestructureerde Mel-spectrogrammen.

Experimentele Resultaten
De auteurs hebben Stylus geëvalueerd tegen state-of-the-art baselines, waaronder MusicGen en MusicTI, met behulp van het MusicTI-dataset (253 audioclips).

• Kwantitatieve Prestaties: Bij een grootschalige evaluatie van 13.246 inhoud-stijlcombinaties behaalde Stylus een 34,1% hogere score in inhoudsbewaring vergeleken met MusicTI. Het toonde ook superieure prestaties in de stijlpassing voor geluidseffecten (11,9% hoger dan MusicTI).
• Menselijke Evaluatie: Een studie met 65 geldige deelnemers en 2.925 beoordelingen toonde aan dat Stylus de baselines significant overtrof in algehele perceptuele kwaliteit (3,38 versus ≤2,69) en inhoudsbewaring (4,29 versus ≤2,95).
• Ablatiestudies: Experimenten bevestigden dat het verwijderen van key- of value-injecties de prestaties ernstig verslechtert. De ablatie op de gids-schaal ($\alpha$) valideerde de afweging tussen stijlvolging en inhoudsbewaring. Bovendien bleek de fasebehoudende reconstructie, ondanks een mogelijke afweging in fijnmazige fase-afhankelijke cues, te leiden tot hogere perceptuele kwaliteit en muzikale coherentie in vergelijking met Griffin–Lim-reconstructie.

Betekenis en Beweringen
Het artikel beweert dat Stylus de hypothese valideert dat generieke ruimtelijke priors die door afbeeldingsdiffusiemodellen zijn geleerd, robuust kunnen worden hergebruikt voor de trainingsvrije transformatie van gestructureerde Mel-spectrogrammen. Door audio te behandelen als afbeeldingen, omzeilt het frame de beperkingen van audio-native modellen die worden beperkt door geleerde muzikale regels, waardoor flexibele, voorbeeldgebaseerde stijloverdracht mogelijk wordt. Het werk verbindt audiosignaalverwerking met generatieve computervisie en biedt een schaalbare oplossing voor gepersonaliseerde muziekcreatie die de structurele integriteit behoudt terwijl het hoge-fideliteit stijloverdracht bereikt zonder de rekenkosten van extra training. De auteurs merken op dat hoewel de aanpak de gevoeligheid voor fijnmazige akoestische cues (zoals fase-afhankelijkheden) opoffert in ruil voor robuustheid, het een sterke basis biedt voor toekomstig werk gericht op het verbeteren van het herstel van akoestische nuances terwijl trainingsvrije inferentie behouden blijft.