Technische Samenvatting: LiveBand – Generatie van Live Begeleiding in het Audio-domein

1. Probleemdefinitie

Het artikel behandelt de uitdaging van real-time muziekbegeleidinggeneratie vanuit een live audio-inputstroom. De kernmoeilijkheid ligt in strikte causaliteit: het model moet hoogwaardige begeleidingsframes genereren met een lage latentie zonder toegang te hebben tot de toekomstige input (de "toekomstige mix").

Bestaande benaderingen kampen met twee primaire beperkingen in deze setting:

1. Exposure Bias en Foutaccumulatie: Traditionele autoregressieve modellen die getraind zijn met "teacher forcing" (het voeden van de grondwaarheid van voorgaande frames tijdens de training) lijden aan een distributieverschuiving tijdens de inferentie. Wanneer het model zijn eigen eerdere voorspellingen als input gebruikt, accumuleren kleine fouten, wat leidt tot drift op de lange termijn en muzikale asynchroniteit.
2. Frame-niveau versus Sequentie-niveau Doelstellingen: Standaard doelstellingen op frame-niveau bestraffen kleine anticiperende fouten rigide. Echter, in een real-time setting waar toekomstige context onbekend is, maken zelfs ervaren muzikanten kleine timing-aanpassingen. Rigide frame-niveau doelstellingen slagen er niet in de holistische coherentie te vangen die vereist is voor een natuurlijke jamsessie.
3. Lookahead Afhankelijkheid: Recent werk suggereert dat een sterke adherentie tussen de gegenereerde begeleiding en de inputmix "lookahead" vereist (toegang tot toekomstige mixframes), wat strikte real-time beperkingen schendt.

2. Methodologie: LiveBand

LiveBand is een real-time systeem dat begeleiding genereert in de continue latente ruimte van een vooraf getrainde causale audio-autoencoder. De architectuur en het trainingsparadigma zijn ontworpen om de mismatch tussen training en inferentie te elimineren.

2.1 Kerncomponenten

• Causale Audio-autoencoder (AE): Een vooraf getrainde, strikt causale variant van CoDiCodec. Het codeert stereowaveforms (44,1 kHz) naar continue latente sequenties (~10 Hz, dimensie 128) met een 4096× downsampling-ratio. Zowel de encoder als de decoder heeft geen toegang tot toekomstige audiocontext.
• Generator (G): Een causale transformer die opereert op latente frames.
  • Inputs: Op elk tijdstip $t$ ontvangt het een causaal beschikbare mix-historie ($m_{\le t}$) en een onafhankelijke Gaussische ruisvector ($z_t$).
  • Architectuur: Pre-norm transformer blokken met adaptieve layer normalisatie, causale multi-head self-attention (met gebruik van query-key normalisatie en Rotary Position Embeddings), en SwiGLU feed-forward netwerken.
  • Mechanisme: Het voorspelt een toekomstig begeleidingsframe $a_{t+1+\delta}$ (waarbij $\delta$ de anticipatie in latente frames is) zonder toegang te hebben tot toekomstige mixinformatie of de grondwaarheid van de doel-latents.
• Discriminator (D): Een niet-causaal 1D convolutioneel netwerk (gebruikt uitsluitend tijdens de training) dat de realiteitsgraad van een volledige begeleidingssequentie scoort, geconditioneerd op de corresponderende mix. Het evalueert de gezamenlijke sequentie van mix- en begeleidingslatents.

2.2 Trainingsparadigma: Het Elimineren van Teacher Forcing

De centrale innovatie is het verwijderen van teacher forcing om training-inferentie equivalentie te waarborgen:

• Geen Grondwaarheid Feedback: Tijdens de training ontvangt de generator nooit grondwaarheid van voorgaande begeleidingsframes als input. In plaats daarvan vertrouwt het op de interne self-attention over verborgen toestanden en de onafhankelijke ruisvector bij elke stap.
• Parallelle Causale Pass: Omdat de generator niet afhankelijk is van zijn eigen vorige outputs, kan de gehele sequentie in een enkele parallelle forward pass worden gegenereerd onder een causale maskering. Dit is computationeel identiek aan het stap-voor-stap autoregressieve inferentieproces (met gebruik van een KV-cache), waardoor exposure bias door ontwerp wordt geëlimineerd.
• Sequentie-niveau Adversariële Supervisie: In plaats van frame-wijze voorspellingsfouten te minimaliseren, wordt het model getraind met een Relativistic GAN (R3GAN) doelstelling. De discriminator evalueert de gehele gegenereerde sequentie tegen de echte sequentie, wat zorgt voor distributie-niveau supervisie die globale muzikale coherentie stimuleert en kleine lokale timing-afwijkingen tolereert.

2.3 Stabilisatietechnieken

• Attention Sinks: Om drift in langdurige streaming te voorkomen door KV-cache verwijdering, gebruikt het model een scalaire attention sink mechanisme, waardoor de initiële tokens toegankelijk blijven.
• Adaptive Gradient Penalty (AdaGP): Een online mechanisme dat de gradiënt-penalty gewicht ($\lambda$) in de loss van de discriminator dynamisch aanpast om een vaste target advantage ($a^*$) van de discriminator over de generator te handhaven. Dit stabiliseert de adversariële training zonder handmatige hyperparameter-tuning.

3. Belangrijkste Bijdragen

1. Strikt Causale Transformer met Adversariële Supervisie: De introductie van een model dat getraind is met sequentie-niveau adversariële supervisie en opereert zonder lookahead, waarbij een sterke mix-adherentie wordt bereikt.
2. Training-Inference Equivalentie: Het eerste streaming begeleidingsmodel dat door ontwerp volledig overeenkomt met de trainings- en inferentiecondities, waardoor exposure bias en foutaccumulatie worden geëlimineerd zonder dure sequentiële rollouts tijdens de training.
3. Adaptive Gradient Penalty: Een nieuwe methode (AdaGP) die automatisch de stabiliteit van de discriminator handhaaft, waardoor handmatige tuning van gradiënt-penalty gewichten overbodig is.

4. Experimentele Resultaten

Het model werd geëvalueerd op de Slakh2100 dataset (en een interne corpus voor een CLAP-geconditioneerde variant) tegenover StreamMusicGen (SMG), een state-of-the-art autoregressieve baseline.

• Objectieve Metrieken: LiveBand presteert beter dan SMG op alle metrieken (FAD, Beat Alignment, COCOLA) in zowel synchrone ($\tau=0$) als anticiperende ($\tau=0.1s, 1s$) settings.
  • Drift: In tegenstelling tot SMG, dat een prestatievermindering vertoont over de tijd, vertoont LiveBand een bijna nul of gunstige drift, wat aangeeft dat het geen lokale fouten accumuleert.
  • Anticipatie: LiveBand behoudt een hoge prestatie, zelfs wanneer het 1 seconde vooruit genereert ten opzichte van de inputmix, een regime waarin SMG moeite heeft.
• Subjectieve Luistertests: In een studie met 19 deelnemers werd LiveBand significant geprefereerd boven SMG wat betreft audiokwaliteit, temporele consistentie en mix-adherentie.
• Real-Time Prestaties: Op een consumenten RTX 3090 GPU bereikt LiveBand een Real-Time Factor (RTF) van 1.1× (eager mode) en 2.1× (compiled mode) voor een anticipatiebudget van 0.1s, wat de inzetbaarheid op consumentenhardware bevestigt.

5. Betekenis en Claims

Het artikel betoogt dat de beperking van het vereisen van toekomstige lookahead voor hoogwaardige live begeleiding niet fundamenteel is aan de taak, maar eerder een gevolg is van mismatches in supervised learning (teacher forcing en frame-niveau doelstellingen).

• Resolutie van Drift: Door de volgende-stap voorspellende supervisie te vervangen door sequentie-niveau adversariële supervisie en teacher forcing te verwijderen, kan het model vooruit genereren ten opzichte van de live input zonder foutaccumulatie.
• Holistische Coherentie: De adversariële doelstelling moedigt het model aan om langetermijn muzikale structuren te behouden, waardoor het de kleine, natuurlijke timing-correcties kan tolereren die nodig zijn in real-time optredens.
• Haalbaarheid: Het werk demonstreert dat robuuste, interactieve, real-time generatieve modellen gebouwd kunnen worden met behulp van sequentie-niveau adversariële training, waardoor muzikanten kunnen jammen met AI-begeleiders die zich aanpassen aan tempo, toonsoort en dynamiek zonder latentie-geïnduceerde asynchroniteit.

De auteurs erkennen dat hoewel het systeem een sterke muzikale coherentie bereikt, de audiokwaliteit (getrouwheid) nog steeds ruimte laat voor verbetering vergeleken met de grondwaarheid, wat suggereert dat toekomstig werk zich moet richten op hogere-getrouwheid causale autoencoders.