Genre Controlled Music Generation via Activation Steering

Technische Samenvatting: Genre-gestuurde Muziekgeneratie via Actiesturing

Probleemstelling
De computationele muziekgeneratie beweegt zich steeds meer naar niet-conventionele stijlen, wat leidt tot een vraag naar methoden die een precieze, controleerbare mengeling van diverse muzikale elementen mogelijk maken. Hoewel eerdere werken over conditionele muziekgeneratie tekstgebaseerde prompts (bijvoorbeeld genre- of stemmingbeschrijvingen) of fine-tuning voor instrument- en akkoordcontrole hebben gebruikt, vereisen deze aanpakken vaak aanzienlijke rekenkracht of missen ze fijnmazige controle. Bestaande interventietechnieken tijdens de inferentie zijn grotendeels toegepast op discrete attributen of taalmodellen, waardoor er een gat bestaat in lichtgewicht, effectieve methoden voor het controleren van continue, niet-binair concepten zoals muzikale genres in autoregressieve transformers.

Methodologie
De auteurs stellen een methode voor voor fijnmazige genrecontrole met behulp van interventies tijdens de inferentie op de autoregressieve generatieve transformer, MusicGen. De aanpak is gebaseerd op mechanistische interpretatie en actiesturing, en put uit inspiratie van technieken die worden gebruikt om Large Language Models (LLM's) te interpreteren.

1. Conceptidentificatie en Lineaire Probing:

   • De auteurs analyseren de activeringen van de residustroom en de uitvoer van de attentielagen van MusicGen om te bepalen waar muzikale concepten (specifiek genres: rock, klassiek, elektronisch en jazz) lineair worden weergegeven.
   • Zij passen $k$-means clustering toe op activeringen over lagen heen en evalueren de Adjusted Rand Index (ARI) en Normalized Mutual Information (NMI) om de laag te bepalen waar genre-informatie het meest distinct is.
   • Lineaire Probes: Een lineaire classifier (probe) wordt getraind op de activeringen van de residustroom ($h^l_a$) van specifieke lagen om genrelabels te voorspellen. De probe leert een mapping $\hat{y} = W^\top h^l_a + b$. De laag die de hoogste probe-accuraatte oplevert, wordt geïdentificeerd als de optimale locatie voor de lineaire representatie van het concept.

2. Actiesturing:

   • Zodra de optimale laag en de stuurvector (afgeleid van de probe-weights) zijn geïdentificeerd, voeren de auteurs een interventie tijdens de inferentie uit.
   • Een stuurvector $r^l$ met eenheidsgrootte wordt toegevoegd aan de activeringen van de residustroom vóór de doel-laag. De interventie wordt geschaald met een hyperparameter $\alpha$ (gezocht in het bereik $[0.3, 1.0]$) en genormaliseerd:
     $$h^l_i \leftarrow h^l_i + \frac{\alpha r^l}{1 + \alpha}$$
   • Deze interventie wordt selectief toegepast op de conditionele residustroom, waardoor het model de generatie kan sturen naar een doelgenre terwijl andere kenmerken zoals tempo en melodielijnen behouden blijven, wat de auteurs hypothetiseren dat in verschillende lagen worden weergegeven.

3. Experimentele Opstelling:

   • De experimenten maken gebruik van het musicgen-small-model en een gebalanceerde dataset van 10-seconden audioclippen uit de lewtun/music_genres-dataset (900 samples per klasse voor rock, klassiek, elektronisch en jazz).
   • Overgangen werden getest in paren (bijvoorbeeld Klassiek $\to$ Elektronisch, Rock $\to$ Klassiek) en vergeleken met een baseline waarbij overgangen uitsluitend via tekstprompts werden bereikt.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. Gebruikerscontroleerbare Sturing: Een methode die gebruikers in staat stelt de activeringen van MusicGen te sturen om specifieke genrecontrole te bereiken zonder het model opnieuw te trainen.
2. Uitbreiding naar Continue Concepten: De uitbreiding van rekenkracht-efficiënte actiesturingstechnieken, die eerder werden gebruikt voor discrete attributen, naar continue, niet-binair concepten zoals muzikale genres.
3. Validatie: Een uitgebreide evaluatie met behulp van zowel kwantitatieve metrieken (op CLAP gebaseerd) als menselijke perceptiestudies (2AFC luistertests) om te valideren dat actiesturing de genrecontrole verbetert terwijl de muzikale coherentie behouden blijft.

Resultaten
De studie evalueerde de methode via twee perspectieven:

• Kwantitatief (CLAP-scores): Met behulp van het clap-htsat-unfused-model voor zero-shot audioclassificatie maten de auteurs de gelijkenis van gegenereerde audio met doelgenrelabels. De resultaten toonden aan dat sturing consequent grotere positieve verschuivingen in CLAP-scores opleverde in vergelijking met tekstprompts. Bijvoorbeeld, bij de overgang "Klassiek $\to$ Elektronisch" leverde de gestuurde methode een $\Delta$CLAP op van $+0.2057$, vergeleken met $+0.1276$ voor prompting.
• Kwalitatief (Menselijke Luisterstudie): Een 2-Alternative Forced Choice (2AFC)-studie met 24 deelnemers (7 getrainde musici en 17 niet-musici) onthulde een consistente voorkeur voor gestuurde samples boven geprompte baselines over alle genre-overgangen heen. Getrainde musici toonden een hoge nauwkeurigheid in het prefereren van gestuurde samples (bijvoorbeeld 80,5% voor Rock $\to$ Klassiek, $p < 0.0001$), en het algemene publiek toonde in de meeste gevallen ook een significante voorkeur.

Betekenis en Claims
Het artikel claimt dat actiesturing een lichtgewicht, interpreteerbaar en effectief alternatief biedt voor zware fine-tuning of uitsluitend tekstgebaseerde conditionering voor controleerbare muziekgeneratie. Door actiesturing te kaderen als een door de mens controleerbare interactie, demonstreert het werk dat interpreteerbaar modelgedrag co-creatieve workflows kan versterken.

De auteurs merken bescheiden op dat hoewel CLAP-scores een nuttige proxy zijn voor genre-afstemming, ze waarschijnlijk gecorreleerde muzikale attributen (klankkleur, tempo, ritme) vangen in plaats van expliciete genre-semantiek. De sterkte van de sturing wordt gepresenteerd als een interactieve parameter voor gebruikers in plaats van een vaste hyperparameter. Het werk concludeert dat deze aanpak het potentieel valideert van interventies tijdens de inferentie voor het manipuleren van muzikale kenmerken, zelfs bij afwezigheid van duidelijk contrasterende samples, en de weg effent voor meer generaliseerbare en interpreteerbare strategieën in controleerbare muziekgeneratie.