Latent Space Disentanglement via Activation Steering for Interpretable Attribute Control in Symbolic Music Generation

Sintesi Tecnica: Disentanglement dello Spazio Latente tramite Steering delle Attivazioni per il Controllo Interpretabile degli Attributi nella Generazione di Musica Simbolica

Problematica
Sebbene le architetture basate su Transformer abbiano fatto passi avanti nella generazione di sequenze simboliche complesse, persiste una lacuna significativa nel raggiungere un controllo granulare e interpretabile sugli attributi dei segnali discreti. I modelli esistenti operano spesso come "black box", in cui la relazione tra le attivazioni interne ad alta dimensione e gli attributi discreti in uscita (come pitch e durata) risulta oscurata. Gli approcci attuali alla sintesi controllabile si affidano spesso a un retraining computazionalmente costoso, modifiche architettoniche complesse o al condizionamento globale, che però manca della granularità necessaria per la manipolazione specifica degli stati interni. Esiste una necessità premente di metodi di intervento durante l'inferenza che non interrompano il processo generativo e non richiedano l'ottimizzazione dei pesi.

Metodologia
Questo articolo investiga l'interpretabilità meccanicistica del Multitrack Music Transformer (MMT), un'architettura decoder-only addestrata sul Symbolic Orchestral Database (SOD). Gli autori propongono un framework per la modulazione deterministica degli attributi tramite steering delle attivazioni durante l'inferenza, fondato sulla Linear Representation Hypothesis.

1. Estrazione dei Vettori (DiffMean): Gli autori utilizzano la metodologia Difference-in-Means (DiffMean) per isolare le direzioni latenti per attributi specifici — Pitch Medio delle Note e Durata Media delle Note — all'interno dello stream residuo del modello. Analizzando il corpus SOD, definiscono cluster di concetti "High" e "Low" (basati sui quantili 20 e 80) e calcolano i vettori di steering come la differenza tra i centroidi di questi cluster.
2. Analisi della Sensibilità dei Layer: Attraverso forward hooks, lo studio intercetta le attivazioni dello stream residuo in ogni blocco del decoder. L'analisi della sensibilità rivela che la Durata della Nota è più linearmente separabile nei primi layer (con un picco al Layer 2), mentre il Pitch della Nota è più separabile nei layer più profondi (con un picco al Layer 11).
3. Meccanismo di Steering: Durante l'inferenza, gli stati nascosti vengono modificati iniettando vettori di steering scalati ($h^{(l)}_{steer} \leftarrow h^{(l)} + \alpha v^{(l)}$). Gli autori valutano le strategie di iniezione, riscontrando che un approccio All-to-All (iniezione di vettori specifici per layer in ogni layer) produce il compromesso più robusto tra potenza di steering e qualità della generazione.
4. Dual Steering e Disentanglement: Per affrontare l'entanglement delle feature (ad esempio, la naturale correlazione tra pitch alto e durata breve), il paper introduce un framework di Dual Steering. Esso confronta la semplice addizione vettoriale con l'Ortogonalizzazione di Gram-Schmidt. Nello specifico, la strategia "Pitch Priority" ortogonalizza il vettore della durata rispetto al vettore del pitch per prevenire l'interferenza concettuale, permettendo la modulazione indipendente di entrambi gli attributi.

Contributi Chiave

• Validazione della Rappresentazione Lineare nella Musica: Lo studio conferma che i concetti musicali di alto livello (pitch e durata) sono rappresentati come vettori lineari all'interno dello spazio latente di MMT, validando la Linear Representation Hypothesis nel dominio della musica simbolica.
• Controllo Senza Addestramento (Training-Free): Il framework proposto consente un controllo preciso e deterministico sugli attributi musicali senza necessità di retrain o fine-tuning del modello pre-addestrato.
• Decoupling Geometrico: L'introduzione dell'Ortogonalizzazione di Gram-Schmidt riesce a ridurre l'interferenza concettuale tra feature correlate, permettendo il controllo indipendente anche contro un forte condizionamento autoregressivo.
• Approfondimenti Specifici per Layer: Il lavoro fornisce una mappa di sensibilità per layer, identificando che le feature ritmiche sono codificate nella rete prima delle feature melodiche.

Risultati Sperimentali
Gli autori hanno valutato il framework attraverso la generazione incondizionata e la generazione condizionata (dove lo steering tenta di sovrascrivere un prefisso di 16 battute con forti prior autoregressivi).

• Steering di Singolo Attributo:
  • Pitch: Ha raggiunto una correlazione di Pearson $r = 0.9030$ tra l'ampiezza dello steering e lo spostamento dell'attributo, con una risposta lineare di circa +13.35 semitoni per unità di $\alpha$.
  • Durata: Ha raggiunto una correlazione di Pearson $r = 0.9263$, con una risposta lineare di +10.77 tick per unità di $\alpha$.
  • Override del Contesto: Il metodo ha sovrascritto con successo forti contesti locali nel 93.4% dei trial di pitch e nel 91.7% dei trial di durata, spostando gli attributi fino a 2.6 ottave o espansioni significative di tick.
• Dual Steering:
  • Negli scenari di dual-steering, la strategia Gram-Schmidt (Pitch Priority) ha superato la semplice addizione e l'ortogonalizzazione simmetrica, raggiungendo un tasso di successo dell'88.5% con la minore degradazione della qualità ($\delta = 2.14$).
  • Il metodo ha dimostrato che, sebbene lo steering verso l'alto sia generalmente più efficace (96.1% di successo) rispetto allo steering verso il basso (82.2%), la strategia di ortogonalizzazione mitiga efficacementamente l'interferenza, permettendo combinazioni inedite di pitch e durata che la distribuzione di addestramento del modello potrebbe non favorire naturalmente.
  • La degradazione della qualità è rimasta bassa ($\delta \leq 3$) per i range di steering ottimali, indicando coerenza percettiva, mentre valori di steering estremi portavano a una degradazione esponenziale.

Significatività
Il paper sostiene che questo lavoro colma il divario tra la generazione autoregressiva di alta qualità e il controllo preciso e interpretabile. Ingegnerizzando all'indietro le rappresentazioni latenti di un MMT pre-addestrato, gli autori dimostrano che gli attributi musicali complessi possono essere manipolati deterministicamente durante l'inferenza. La significatività risiede nella capacità di eseguire un intervento fine-grained e training-free che rispetta la struttura interna del modello pur superando i limiti del condizionamento globale. Il successo del decoupling geometrico (Gram-Schmidt) nel disaccoppiare le feature musicali entangled offre un percorso per strumenti di composizione musicale assistita da AI più controllabili e trasparenti. Gli autori pongono questo lavoro come un passo fondamentale verso un'IA più spiegabile nel dominio della musica simbolica, distinta dai metodi di sintesi audio continua.