Genre Controlled Music Generation via Activation Steering

Riepilogo Tecnico: Generazione Musicale Controllata per Genere tramite Steering delle Attivazioni

Enunciato del Problema
La generazione musicale computazionale si sta spostando sempre più verso stili non convenzionali, creando la necessità di metodi che consentano una fusione precisa e controllabile di elementi musicali diversificati. Sebbene i lavori precedenti sulla generazione musicale condizionata abbiano utilizzato prompt basati sul testo (ad esempio, descrizioni di genere o umore) o fine-tuning per il controllo di strumenti e accordi, questi approcci spesso richiedono risorse computazionali significative o mancano di un controllo fine-granulare. Le tecniche esistenti di intervento al momento dell'inferenza sono state ampiamente applicate ad attributi discreti o modelli linguistici, lasciando un vuoto in metodi leggeri ed efficaci per il controllo di concetti continui e non binari come i generi musicali nei transformer autoregressivi.

Metodologia
Gli autori propongono un metodo per il controllo fine-granulare del genere utilizzando interventi al momento dell'inferenza sul transformer generativo autoregressivo, MusicGen. L'approccio si basa sull'interpretabilità meccanica e sull'ingegneria delle attivazioni, traendo ispirazione dalle tecniche utilizzate per interpretare i Large Language Models (LLM).

1. Identificazione del Concetto e Sonda Lineare:

   • Gli autori analizzano le attivazioni del flusso residuo e gli output dei livelli di attenzione di MusicGen per identificare dove i concetti musicali (specificamente i generi: rock, classico, elettronico e jazz) sono rappresentati linearmente.
   • Applicano il clustering $k$-means sulle attivazioni attraverso i livelli e valutano l'Indice Rand Aggiustato (ARI) e l'Informazione Mutua Normalizzata (NMI) per determinare il livello in cui le informazioni sul genere sono più distinte.
   • Sonde Lineari: Un classificatore lineare (sonda) viene addestrato sulle attivazioni del flusso residuo ($h^l_a$) di livelli specifici per prevedere le etichette di genere. La sonda impara una mappatura $\hat{y} = W^\top h^l_a + b$. Il livello che produce la massima accuratezza della sonda è identificato come la posizione ottimale per la rappresentazione lineare del concetto.

2. Steering delle Attivazioni:

   • Una volta identificato il livello ottimale e il vettore di steering (derivato dai pesi della sonda), gli autori eseguono un intervento al momento dell'inferenza.
   • Un vettore di steering di modulo unitario $r^l$ viene aggiunto alle attivazioni del flusso residuo prima del livello target. L'intervento è scalato da un iperparametro $\alpha$ (ricercato nell'intervallo $[0.3, 1.0]$) e normalizzato:
     $$h^l_i \leftarrow h^l_i + \frac{\alpha r^l}{1 + \alpha}$$
   • Questo intervento viene applicato selettivamente al flusso residuo condizionato, permettendo al modello di orientare la generazione verso un genere target preservando al contempo altre caratteristiche come il tempo e le linee melodiche, che gli autori ipotizzano siano rappresentate in livelli diversi.

3. Configurazione Sperimentale:

   • Gli esperimenti utilizzano il modello musicgen-small e un dataset bilanciato di segmenti audio di 10 secondi provenienti dal dataset lewtun/music_genres (900 campioni per classe per rock, classico, elettronico e jazz).
   • Le transizioni sono state testate a coppie (ad esempio, Classico $\to$ Elettronico, Rock $\to$ Classico) e confrontate con una baseline in cui le transizioni erano ottenute esclusivamente tramite prompt testuali.

Contributi Chiave
Il documento delinea tre contributi principali:

1. Steering Controllabile dall'Utente: Un metodo che consente agli utenti di orientare le attivazioni di MusicGen per ottenere un controllo specifico del genere senza riaddestrare il modello.
2. Estensione a Concetti Continui: L'estensione di tecniche di steering delle attivazioni efficienti dal punto di vista computazionale, precedentemente utilizzate per attributi discreti, a concetti continui e non binari come i generi musicali.
3. Validazione: Una valutazione completa utilizzando sia metriche quantitative (basate su CLAP) sia studi percettivi umani (test di ascolto 2AFC) per validare che lo steering delle attivazioni migliora il controllo del genere mantenendo la coerenza musicale.

Risultati
Lo studio ha valutato il metodo attraverso due prospettive:

• Quantitativa (Punteggi CLAP): Utilizzando il modello clap-htsat-unfused per la classificazione audio zero-shot, gli autori hanno misurato la somiglianza dell'audio generato con le etichette di genere target. I risultati hanno mostrato che lo steering ha prodotto costantemente spostamenti positivi maggiori nei punteggi CLAP rispetto ai prompt testuali. Ad esempio, nella transizione "Classico $\to$ Elettronico", il metodo con steering ha prodotto un $\Delta$CLAP di $+0.2057$, rispetto a $+0.1276$ per i prompt.
• Qualitativa (Studio di Ascolto Umano): Uno studio a scelta forzata tra due alternative (2AFC) che ha coinvolto 24 partecipanti (7 musicisti formati e 17 non musicisti) ha rivelato una preferenza coerente per i campioni con steering rispetto alle baseline basate sui prompt in tutte le transizioni di genere. I musicisti formati hanno mostrato un'alta accuratezza nel preferire i campioni con steering (ad esempio, 80.5% per Rock $\to$ Classico, $p < 0.0001$), e anche il pubblico generale ha mostrato una preferenza significativa nella maggior parte dei casi.

Significato e Affermazioni
Il documento afferma che lo steering delle attivazioni offre un'alternativa leggera, interpretabile ed efficace al pesante fine-tuning o alla sola condizionamento testuale per la generazione musicale controllabile. Inquadrando lo steering delle attivazioni come un'interazione controllabile dall'umano, il lavoro dimostra che comportamenti del modello interpretabili possono potenziare flussi di lavoro co-creativi.

Gli autori notano modestamente che, sebbene i punteggi CLAP servano come un utile proxy per l'allineamento al genere, catturano probabilmente attributi musicali correlati (timbro, tempo, ritmo) piuttosto che semantiche esplicite del genere. La forza dello steering è presentata come un parametro interattivo per gli utenti piuttosto che come un iperparametro fisso. Il lavoro conclude che questo approccio valida il potenziale degli interventi al momento dell'inferenza per manipolare le caratteristiche musicali anche in assenza di campioni chiaramente contrastanti, aprendo la strada a strategie più generalizzabili e interpretabili nella generazione musicale controllabile.