Riepilogo Tecnico: LiveBand – Generazione di Accompagnamento Live nel Dominio Audio

1. Definizione del Problema

Il paper affronta la sfida della generazione di accompagnamento musicale in tempo reale da un flusso di input audio live. La difficoltà principale risiede nella causalità rigorosa: il modello deve generare frame di accompagnamento ad alta fedeltà con bassa latenza senza avere accesso al futuro dell'input (il "future mix").

Gli approcci esistenti affrontano due limitazioni primarie in questo scenario:

1. Bias di Esposizione e Accumulo di Errore: I modelli autoregressivi tradizionali addestrati con il "teacher forcing" (fornire i frame passati reali durante l'addestramento) soffrono di uno shift di distribuzione durante l'inferenza. Quando il modello utilizza le proprie predizioni passate come input, piccoli errori si accumulano, portando a una deriva a lungo termine e asincronia musicale.
2. Obiettivi a Livello di Frame vs. a Livello di Sequenza: Gli standard obiettivi di predizione a livello di frame penalizzano rigidamente i minori errori anticipatori. Tuttavia, in un contesto real-time dove il contesto futuro è sconosciuto, anche i musicisti esperti effettuano piccoli aggiustamenti temporali. Gli obiettivi rigidi a livello di frame non riescono a catturare la coerenza olistica necessaria per una jam session naturale.
3. Dipendenza dal Lookahead: Studi recenti suggeriscono che una forte aderenza tra l'accompagnamento generato e il mix di input possa richiedere il "lookahead" (accesso ai frame futuri del mix), il che viola i vincoli di tempo reale rigorosi.

2. Metodologia: LiveBand

LiveBand è un sistema in tempo reale che genera accompagnamenti nello spazio latente continuo di un autoencoder audio causale pre-addestrato. L'architettura e il paradigma di addestramento sono progettati per eliminare il mismatch tra addestramento e inferenza.

2.1 Componenti Core

• Autoencoder Audio Causale (AE): Una variante strettamente causale di CoDiCodec, pre-addestrata. Codifica forme d'onda stereo (44.1 kHz) in sequenze latenti continue (~10 Hz, dimensione 128) con un rapporto di downsampling di 4096×. Né l'encoder né il decoder accedono al contesto audio futuro.
• Generatore (G): Un transformer causale che opera su frame latenti.
  • Input: Ad ogni istante temporale $t$, riceve una storia del mix causalmente disponibile ($m_{\le t}$) e un vettore di rumore Gaussiano indipendente ($z_t$).
  • Architettura: Blocchi transformer pre-norm con normalizzazione adattiva del layer, self-attention multi-testa causale (utilizzando query-key normalization e Rotary Position Embeddings) e reti feed-forward SwiGLU.
  • Meccanismo: Predice un frame di accompagnamento futuro $a_{t+1+\delta}$ (dove $\delta$ è l'anticipazione in frame latenti) senza accedere alle informazioni del mix futuro o ai latenti target reali.
• Discriminatore (D): Una rete convoluzionale 1D non causale (usata solo durante l'addestramento) che valuta il realismo di una sequenza di accompagnamento completa condizionata al corrispondente mix. Valuta la sequenza congiunta dei latenti del mix e dell'accompagnamento.

2.2 Paradigma di Addestramento: Eliminare il Teacher Forcing

L'innovazione centrale è la rimozione del teacher forcing per garantire l'equivalenza tra addestramento e inferenza:

• Nessun Feedback del Ground-Truth: Durante l'addestramento, il generatore non riceve mai i frame di accompagnamento passati reali come input. Al contrario, si affida alla self-attention interna sugli stati nascosti e al vettore di rumore indipendente ad ogni step.
• Passaggio Causale Parallelo: Poiché il generatore non dipende dai propri output precedenti, l'intera sequenza può essere generata in un singolo passaggio forward parallelo sotto una maschera causale. Questo è computazionalmente identico al processo di inferenza autoregressivo passo-passo (utilizzando un KV cache), eliminando per design il bias di esposizione.
• Supervisione Avversaria a Livello di Sequenza: Invece di minimizzare l'errore di predizione frame-wise, il modello è addestrato utilizzando un obiettivo Relativistic GAN (R3GAN). Il discriminatore valuta l'intera sequenza generata rispetto alla sequenza reale, fornendo una supervisione a livello di distribuzione che incoraggia la coerenza musicale globale e tollera piccole deviazioni temporali locali.

2.3 Tecniche di Stabilizzazione

• Attention Sinks: Per prevenire la deriva in streaming a lungo termine causata dall'evizione della KV cache, il modello impiega un meccanismo di scalar attention sink, garantendo che i token iniziali rimangano accessibili.
• Adaptive Gradient Penalty (AdaGP): Un meccanismo online che regola dinamicamente il peso del gradiente di penalità ($\lambda$) nella loss del discriminatore per mantenere un vantaggio target fisso ($a^*$) del discriminatore rispetto al generatore. Questo stabilizza l'addestramento avversario senza la necessità di una sintonizzazione manuale degli iperparametri.

3. Contributi Chiave

1. Transformer Strictamente Causale con Supervisione Avversaria: L'introduzione di un modello addestrato con supervisione avversaria a livello di sequenza che opera senza lookahead, ottenendo una forte aderenza al mix.
2. Equivalenza Addestramento-Inferenza: Il primo modello di accompagnamento streaming che corrisponde completamente alle condizioni di addestramento e inferenza per design, eliminando il bias di esposizione e l'accumulo di errore senza richiedere costosi rollout sequenziali durante l'addestramento.
3. Adaptive Gradient Penalty: Un metodo innovativo (AdaGP) che mantiene automaticamente la stabilità del discriminatore, eliminando la necessità di sintonizzazione manuale dei pesi della penalità del gradiente.

4. Risultati Sperimentali

Il modello è stato valutato sul dataset Slakh2100 (e un corpus interno per una variante condizionata da CLAP) contro StreamMusicGen (SMG), un baseline autoregressivo allo stato dell'arte.

• Metriche Obiettive: LiveBand supera SMG in tutte le metriche (FAD, Beat Alignment, COCOLA) sia in configurazioni sincrone ($\tau=0$) che anticipatorie ($\tau=0.1s, 1s$).
  • Drift: A differenza di SMG, che mostra un degrado delle prestazioni nel tempo, LiveBand esibisce una deriva nulla o favorevole, indicando che non accumula errori locali.
  • Anticipazione: LiveBand mantiene alte prestazioni anche generando con 1 secondo di anticipo rispetto al mix di input, un regime in cui SMG fatica.
• Test di Ascolto Soggettivo: In uno studio con 19 partecipanti, LiveBand è stato significativamente preferito rispetto a SMG per qualità audio, consistenza temporale e aderenza al mix.
• Prestazioni Real-Time: Su una GPU consumer RTX 3090, LiveBand raggiunge un Real-Time Factor (RTF) di 1.1× (modalità eager) e 2.1× (modalità compilata) per un budget di anticipazione di 0.1s, confermando la deployabilità su hardware consumer.

5. Significato e Rivendicazioni

Il paper sostiene che il limite del richiedere un lookahead futuro per un accompagnamento live di alta qualità non è fondamentale per il compito, ma è piuttosto il risultato di mismatch nella supervisione (teacher forcing e obiettivi a livello di frame).

• Risoluzione del Drift: Sostituendo la supervisione predittiva step-by-step con la supervisione avversaria a livello di sequenza e rimuovendo il teacher forcing, il modello può generare in anticipo rispetto all'input live senza accumulo di errore.
• Coerenza Olistica: L'obiettivo avversario incoraggia il modello a preservare la struttura musicale a lungo termine, permettendogli di tollerare le piccole correzioni temporali naturali richieste nella performance real-time.
• Fattibilità: Il lavoro dimosta che è possibile costruire modelli generativi robusti e interattivi in tempo reale utilizzando l'addestramento avversario a livello di sequenza, consentendo ai musicisti di suonare con compagni AI che si adattano a tempo, tonalità e dinamica senza asincronia indotta dalla latenza.

Gli autori riconoscono che, sebbene il sistema raggiunga una forte coerenza musicale, la qualità audio (fedeltà) lascia ancora spazio per miglioramenti rispetto al ground truth, suggerendo che il lavoro futuro dovrebbe concentrarsi su autoencoder causali ad alta fedeltà.