Closing the Loop: PID Feedback Control for Interpretable Activation Steering in Symbolic Music Generation

Riepilogo Tecnico: Chiudere il Ciclo: Controllo a Feedback PID per lo Steering delle Attivazioni Interpretabili nella Generazione di Musica Simbolica

Definizione del Problema

Lo steering delle attivazioni permette di controllare i modelli generativi durante l'inferenza senza riaddestramento, basandosi sull'Ipotesi della Rappresentazione Lineare. Nella generazione di musica simbolica utilizzando modelli Transformer come il Multitrack Music Transformer (MMT), lo Sparse Activation Steering (SAS) tramite Sparse Autoencoders (SAE) offre un controllo degli attributi interpretabile a singolo strato. Tuttavia, il SAS impone un rigoroso vincolo di sparsità Top-K, dove solo le $K$ caratteristiche più grandi sopravvivono alla ri-sparsificazione.

Questo vincolo crea un fallimento della soglia Top-K durante l'ammorbidimento temporale. Quando si tenta di modulare gradualmente l'ampiezza dello steering (ad esempio, tramite una funzione coseno) da zero a un valore target, le ampiezze di steering frazionarie intermedie ($\lambda$) spesso cadono al di sotto della soglia Top-K. Di conseguenza, il segnale di steering viene completamente azzerato finché $\lambda$ non diventa sufficientemente grande da superare la soglia, forzando una transizione brusca e binaria invece di una transizione fluida. Inoltre, i metodi di steering statici agiscono come controllori proporzionali (P), che sono teoricamente incapaci di eliminare gli errori di regime stazionario causati dai priori del modello.

Metodologia

Gli autori propongono lo Steering PID (Proporzionale-Integrale-Derivativo) in due forme distinte per affrontare queste limitazioni:

1. PID Spaziale

Questo approccio adatta la formulazione PID per livello (Nguyen et al., 2026) ai 12 sottolivelli dell'MMT. Tratta il passaggio in avanti come un sistema dinamico a tempo discreto in cui il vettore di steering è calcolato dinamicamente ad ogni livello $k$:
$$u(k) = K_p e(k) + K_i \sum_{j=0}^{k-1} e(j) + K_d (e(k) - e(k-1))$$
Qui, $e(k)$ è il segnale di errore tra le attivazioni del target e del sorgente. Il termine integrale ($I$) accumula gli errori passati per rimuovere il bias residuo, mentre il termine derivativo ($D$) smorza l'overshoot. Ciò valida il fatto che le previsioni della teoria del controllo valgono anche per architetture meno profonde (12 livelli) rispetto ai modelli linguistici più profondi precedentemente studiati.

2. PID Temporale

Questo è il contributo principale progettato per risolvere il fallimento della soglia Top-K nel SAS. Invece di variare il controllore attraverso i livelli spaziali, la variabile di controllo è trasposta al dominio temporale (passaggi di generazione autoregressiva $t$).

• Misurazione dell'Errore: Ad ogni passaggio $t$, il sistema misura l'ampiezza media delle prime $N$ caratteristiche target (l' "impronta digitale del concetto") all'interno della rappresentazione sparsa. Il segnale di errore $e(t)$ è la differenza tra un setpoint modulato con coseno $m^*(t)$ e l'effettiva ampiezza della caratteristica.
• Legge di Controllo: Il controllore regola dinamicamente l'ampiezza dello steering $\lambda(t)$ ad ogni passaggio $t$:
  $$\lambda(t) = \text{clamp}(K_p e(t) + K_i I(t-1) + K_d(e(t) - e(t-1)))$$
• Meccanismo: Durante la rampa iniziale, le caratteristiche target sono azzerate dal vincolo Top-K, creando un errore positivo persistente. Il termine integrale accumula questo errore, amplificando progressivamente $\lambda(t)$ finché non supera la soglia Top-K. Una volta attivo, il controllore si assesta su un $\lambda$ appena sufficiente, con il termine derivativo che smorza l'overshoot.
• Controllo a Doppio Concetto: Per lo steering simultaneo (ad esempio, pitch e durata), due controllori indipendenti utilizzano vettori SAS ortogonalizzati tramite Gram-Schmidt e un budget espanso di $2\times K$ per prevenire la competizione tra caratteristiche.

Contributi Chiave

1. Validazione del PID Spaziale: È stato dimostrato che il controllo PID per livello elimina efficacementamente l'errore di regime stazionario nell'architettura meno profonda dell'MMT, confermando la trasferibilità dello steering basato sulla teoria del controllo dai modelli linguistici profondi.
2. Framework PID Temporale: Ha introdotto un sistema di feedback a ciclo chiuso che regola dinamicamente la forza dello steering per superare la barriera della sparsità Top-K, consentendo transizioni temporali fluide e continue nello steering delle attivazioni sparse.
3. Efficienza e Qualità: Ha dimostrato che lo steering PID raggiunge uno steering di attributi fluido con un'intensità di intervento significativamente inferiore rispetto al SAS statico, mantenendo o migliorando la qualità della generazione.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul Symbolic Orcheal Database (SOD) utilizzando il modello MMT, prendendo come target gli attributi di pitch (altezza) e durata.

• Superamento del Fallimento della Soglia: Il PID temporale ha superato con successo il fallimento della soglia Top-K. A differenza del SAS statico, che produce salti binari, il PID mantiene attivazioni non nulle sin dall'inizio della rampa.
• Riduzione dell'Intervento: Il PID ha ottenuto risultati di steering uguali o migliori con il 62–67% in meno di intensità di intervento (ampiezza media $\lambda \approx 1.15$ per il pitch rispetto a $\lambda=3.0$ del SAS statico).
• Metriche di Qualità:
  • Fréchet Music Distance (FMD): Il PID ha ridotto la degradazione della FMD del 5% rispetto al SAS statico per lo steering del pitch (461.9 vs 487.7), indicando una migliore fedeltà distributiva.
  • Degradazione della Qualità ($\delta$): Per il pitch, il PID ha ridotto la degradazione ($\delta \approx 0.45$) rispetto al SAS statico ($\delta \approx 0.64$). Per la durata, i risultati sono variati; mentre la riduzione della durata ha eguagliato la qualità del SAS statico, l'aumento della durata ha comportato una degradazione maggiore ($\delta=8.45$ vs $2.84$), attribuita alla traiettoria dinamica che amplifica i problemi di coerenza di scala intrinseci all'attributo.
• Round-Trip Steering: Il PID ha permesso uno steering reversibile (allontanarsi dallo stato, mantenere, tornare allo stato originale), ottenendo un recupero del 46–74% dello stato originale, superando significativamente i baseline di rilascio passivo (36–62%).
• Robustezza: Il sistema è rimasto stabile attraverso perturbazioni di $2\sigma$ nei parametri di guadagno ($K_p, K_i$) e ha mostrato un costo marginale di runtime minimo (+1.9% rispetto al SAS statico).

Significato e Rivendicazioni

Il documento sostiene di far progredire la generazione musicale controllabile risolvendo un modo di fallimento specifico dello steering delle attivazioni sparse: l'incapacità di eseguire transizioni temporali fluide a causa dei vincoli di sparsità Top-K. Applicando la teoria del controllo (PID) all'asse temporale, gli autori dimostrano che l'accumulo dell'errore integrale è essenziale per superare le soglie discrete nelle rappresentazioni sparse.

Gli autori posizionano il loro lavoro come una validazione dello steering basato sulla teoria del controllo in un nuovo dominio (musica simbolica) e come una soluzione pratica per l'intervento interpretabile a singolo strato. Essi notano esplicitamente i limiti, inclusa la valutazione su un singolo modello/dataset, l'assenza di validazione percettiva (ad esempio, test A/B) e la specifica degradazione osservata nello steering della durata verso l'alto. Il lavoro è inquadrato come un avanzamento metodologico piuttosto che come una soluzione completa per tutti i compiti di generazione musicale, suggerendo come lavori futuri lo scheduling del guadagno adattivo e gli SAE a sparsità rilassata.