⚡ electrical engineering

LiveBand: Live Accompaniment Generation in the Audio Domain

LiveBand ist ein Echtzeitsystem, das durch das Training eines kausalen Transformers in einem kontinuierlichen latenten Raum unter adversarieller Überwachung hochfrequente, kausal beschränkte Musikbegleitungen generiert, wodurch der Exposure-Bias eliminiert und Streaming-Inferenz auf Consumer-Hardware ermöglicht wird.

Ursprüngliche Autoren: Marco Pasini, Javier Nistal, Mathias Rose Bjare, Stefan Lattner, George Fazekas

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Marco Pasini, Javier Nistal, Mathias Rose Bjare, Stefan Lattner, George Fazekas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Musiker, der ein Gitarrensolo in einer Jam-Session spielt. Normalerweise benötigen Sie einen menschlichen Bandkollegen, der Ihnen zuhört, Rhythmus und Stimmung erfasst und sofort Schlagzeug oder Bass spielt, um Sie zu begleiten. Wenn Ihr Bandkollege zu langsam ist oder einen Fehler macht, bricht das ganze Lied zusammen.

LiveBand ist ein KI-System, das genau dieser perfekte, sofort einsatzbereite Bandkollege ist. Es hört Ihnen beim Live-Spielen zu und generiert eine hochwertige musikalische Begleitung (wie Schlagzeug, Bass oder Keyboards) in Echtzeit, ohne jemals „einen Blick darauf werfen zu müssen“, was Sie als Nächstes spielen werden.

Hier ist die Erklärung dieses magischen Prozesses, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Die „Lehrer-Falle“

Die meisten KI-Musiksysteme werden wie Schüler in einem Klassenzimmer trainiert. Der Lehrer (der Computer) gibt dem Schüler (der KI) nach jedem einzelnen Schritt die richtige Antwort.

Das Problem: In einer echten Jam-Session steht kein Lehrer mit dem Rücken zum KI-System und korrigiert es bei jedem Schritt. Die KI muss die nächste Note basierend auf dem erraten, was sie gerade eben gespielt hat. Wenn sie einen winzigen Fehler macht, wird dieser Fehler Teil des nächsten Inputs, was zu einer Kettenreaktion von Fehlern führt. Dies wird als Exposure Bias bezeichnet.
Das Ergebnis: Die KI fängt vielleicht perfekt im Takt an, gerät aber nach ein paar Sekunden langsam aus dem Rhythmus und verwandelt das Musikstück in ein totales Chaos.

2. Die Lösung: Die „Proben-Methode“

LiveBand ändert die Spielregeln. Anstatt durch Schritt-für-Schritt-Korrekturen zu lernen, lernt es, indem es das ganze Lied auf einmal probeert während des Trainings.

Wie es funktioniert: Die KI wird darauf trainiert, ein Musikstück als Ganzes zu betrachten und die Begleitung für diesen gesamten Block in einem Rutsch zu generieren, wobei eine „kausale“ Maske verwendet wird. Das bedeutet, dass sie nur sieht, was bisher geschehen ist – genau wie im echten Leben.
Die Analogie: Stellen Sie sich vor, Sie üben eine Rede. Anstatt ein Skript zu lesen und nach jedem Wort korrigiert zu werden (was man bei einer echten Rede nicht kann), üben Sie die gesamte Rede von Anfang bis Ende, wohlwissend, dass Sie den ersten Satz nicht mehr ändern können, sobald Sie ihn ausgesprochen haben. Dies bereitet Sie perfekt auf den eigentlichen Auftritt vor.

3. Der „Richter“ (Der Diskriminator)

Um sicherzustellen, dass die Musik gut klingt, nutzt das System einen „Richter“ (einen sogenannten Diskriminator).

Der alte Weg: Frühere Systeme versuchten, jede einzelne Note perfekt auf ein Ziel abzustimmen. Das ist zu starr; selbst menschliche Musiker nehmen im Eifer des Gefechts kleine zeitliche Anpassungen vor.
Der LiveBand-Weg: Der Richter prüft nicht jede einzelne Note. Stattdessen hört er sich die gesamte Sequenz der Musik an und fragt: „Klingt das wie eine kohärente, echte Band, die zusammen spielt?“
Der Vorteil: Dies ermöglicht es der KI, kleine, natürliche zeitliche Anpassungen vorzunehmen (so wie ein menschlicher Schlagzeuger), ohne bestraft zu werden, solange der allgemeine Fluss und der Groove perfekt bleiben.

4. Das „Kristallkugel-Problem“ (Kausalität)

In Echtzeit können Sie nicht wissen, was der Musiker als Nächstes spielen wird.

Die Herausforderung: Einige bisherige KI-Systeme benötigten ein kleines Stück „Zukunftsinformation“ (eine Kristallkugel), um im Takt zu bleiben. Wenn man diese Kristallkugel entfernt, gerät die KI meist hinterher oder wird verwirrt.
Der Trick von LiveBand: Das System ist so konzipiert, dass die Zeit, die es für das Training benötigt, exakt der Zeit entspricht, die es für die Performance benötigt. Es braucht keine Kristallkugel, um in die Zukunft zu schauen. Es sagt den nächsten Beat basierend nur auf dem voraus, was es gerade hört, und tut dies schnell genug, um mit einem Menschen auf einem normalen Computer Schritt zu halten.

5. Die Ergebnisse: Eine bessere Jam-Session

Die Autoren haben LiveBand gegen andere KI-Systeme getestet:

Stabilität: Während andere Systeme im Laufe der Zeit immer mehr aus dem Takt gerieten, blieb LiveBand fest im Rhythmus. Es häufte keine Fehler an.
Qualität: Musiker bevorzugten in einem Hörtest die Begleitung von LiveBand gegenüber anderen KIs. Es klang natürlicher und passte besser zur Eingangs-Musik.
Geschwindigkeit: Es läuft schnell genug auf einer handelsüblichen Grafikkarte (wie man sie in Gaming-PCs findet), um in Echtzeit ohne Verzögerung zu funktionieren.

Zusammenfassung

LiveBand ist eine neue Art, eine KI zum Jammen zu lehren. Anstatt sie zu zwingen, ein Skript Schritt für Schritt auswendig zu lernen (was später zu Stolperereien führt), haben die Entwickler sie gelehrt, ganze Lieder auf eine Weise zu proben, die eine Live-Performance perfekt nachahmt. Das Ergebnis ist ein KI-Bandkollege, der zuhört, sich anpasst und im Takt bleibt, ohne in die Zukunft schauen zu müssen.

Technisches Resümee: LiveBand – Generierung von Live-Begleitung im Audiobereich

1. Problemdefinition

Die Arbeit befasst sich mit der Herausforderung der Echtzeit-Generierung von Musikbegleitung aus einem Live-Audio-Eingangsstrom. Die zentrale Schwierigkeit liegt in der strikten Kausalität: Das Modell muss hochfrequente Begleitungsframes mit geringer Latenz generieren, ohne Zugriff auf die Zukunft des Inputs (den „Zukunfts-Mix“) zu haben.

Bestehende Ansätze stehen in diesem Szenario vor zwei primären Einschränkungen:

Exposure Bias und Fehlerakkumulation: Traditionelle autoregressive Modelle, die mit „Teacher Forcing“ trainiert werden (wobei während des Trainings die Ground-Truth-Vergangenheitsframes als Input dienen), leiden während der Inferenz unter einem Distributionsshift. Wenn das Modell seine eigenen vergangenen Vorhersagen als Input verwendet, akkumulieren sich kleine Fehler, was zu langfristigem Drift und musikalischer Asynchronität führt.
Frame-basierte vs. Sequenz-basierte Zielsetzungen: Standardmäßige Frame-basierte Vorhersageziele bestrafen geringfügige antizipatorische Fehler streng. In einem Echtzeit-Szenario, in dem der zukünftige Kontext unbekannt ist, nehmen jedoch selbst erfahrene Musiker kleine zeitliche Anpassungen vor. Starre Frame-basierte Ziele versäumen es, die ganzheitliche Kohärenz einzufangen, die für eine natürliche Jam-Session erforderlich ist.
Lookahead-Abhängigkeit: Jüngste Arbeiten legen nahe, dass eine starke Übereinstimmung zwischen der generierten Begleitung und dem Input-Mix ein „Lookahead“ (Zugriff auf zukünftige Mix-Frames) erfordert, was jedoch gegen die strengen Echtzeit-Beschränkungen verstößt.

2. Methodik: LiveBand

LiveBand ist ein Echtzeitsystem, das Begleitungen im kontinuierlichen latenten Raum eines vortrainierten kausalen Audio-Autoencoders generiert. Die Architektur und das Trainingsparadigma sind darauf ausgelegt, die Diskrepanz zwischen Training und Inferenz zu eliminieren.

2.1 Kernkomponenten

Kausaler Audio-Autoencoder (AE): Eine vortrainierte, strikt kausale Variante von CoDiCodec. Er kodiert Stereo-Wellenformen (44,1 kHz) in kontinuierliche latente Sequenzen (~10 Hz, Dimension 128) mit einem Downsampling-Verhältnis von 4096×. Weder der Encoder noch der Decoder greifen auf zukünftigen Audio-Kontext zu.
Generator (G): Ein kausaler Transformer, der auf latenten Frames operiert.
- Inputs: Zu jedem Zeitschritt $t$ erhält er eine kausal verfügbare Mix-Historie ( $m_{\le t}$ ) und einen unabhängigen Gaußschen Rauschvektor ( $z_t$ ).
- Architektur: Pre-Norm Transformer-Blöcke mit adaptiver Layer-Normalisierung, kausaler Multi-Head Self-Attention (unter Verwendung von Query-Key-Normalisierung und Rotary Position Embeddings) sowie SwiGLU Feed-Forward-Netzwerken.
- Mechanismus: Er sagt einen zukünftigen Begleitungsframe $a_{t+1+\delta}$ voraus (wobei $\delta$ die Antizipation in latenten Frames ist), ohne auf zukünftige Mix-Informationen oder Ground-Truth-Ziel-Latente zuzugreifen.
Diskriminator (D): Ein nicht-kausales 1D-Faltungsnetzwerk (nur während des Trainings verwendet), das die Realitätstreue einer vollständigen Begleitungssequenz unter Berücksichtigung des entsprechenden Mix bewertet. Er evaluiert die gemeinsame Sequenz aus Mix- und Begleitungs-Latenten.

2.2 Trainingsparadigma: Eliminierung von Teacher Forcing

Die zentrale Innovation ist die Entfernung von Teacher Forcing, um Äquivalenz zwischen Training und Inferenz zu gewährleisten:

Kein Ground-Truth-Feedback: Während des Trainings erhält der Generator niemals Ground-Truth-Vergangenheitsframes der Begleitung als Input. Stattdessen stützt er sich auf die interne Self-Attention über die Hidden States und den unabhängigen Rauschvektor an jedem Schritt.
Paralleler kausaler Durchlauf: Da der Generator nicht von seinen eigenen vorherigen Ausgaben abhängt, kann die gesamte Sequenz in einem einzelnen parallelen Vorwärtsdurchlauf unter einer kausalen Maske generiert werden. Dies ist rechentechnisch identisch mit dem schrittweisen autoregressiven Inferenzprozess (unter Verwendung eines KV-Caches) und eliminiert somit durch Design den Exposure Bias.
Sequenz-basierte adversarielle Überwachung: Anstatt den frame-weisen Vorhersagefehler zu minimieren, wird das Modell mittels eines Relativistic GAN (R3GAN)-Ziels trainiert. Der Diskriminator bewertet die gesamte generierte Sequenz gegenüber der realen Sequenz und bietet eine Supervision auf Distributionsebene, die globale musikalische Kohärenz fördert und kleine lokale zeitliche Abweichungen toleriert.

2.3 Stabilisierungstechniken

Attention Sinks: Um den Drift in Langzeit-Streaming durch KV-Cache-Eviction zu verhindern, nutzt das Modell einen skalaren Attention-Sink-Mechanismus, der sicherstellt, dass initiale Tokens zugänglich bleiben.
Adaptive Gradient Penalty (AdaGP): Ein Online-Mechanismus, der das Gewicht der Gradientenstrafe ( $\lambda$ ) im Loss des Diskriminators dynamisch anpasst, um einen festen Zielvorteil ( $a^*$ ) des Diskriminators gegenüber dem Generator aufrechtzuerhalten. Dies stabilisiert das adversarielle Training ohne manuelles Hyperparameter-Tuning.

3. Wesentliche Beiträge

Strikt kausaler Transformer mit adversarieller Überwachung: Die Einführung eines Modells, das mit sequenzbasierter adversarieller Überwachung trainiert wird und ohne Lookahead operiert, wodurch eine starke Mix-Adhärenz erreicht wird.
Training-Inferenz-Äquivalenz: Das erste Streaming-Begleitungsmodell, das die Trainings- und Inferenzbedingungen durch Design vollständig angleicht und dadurch Exposure Bias und Fehlerakkumulation ohne teure sequentielle Rollouts während des Trainings eliminiert.
Adaptive Gradient Penalty: Eine neuartige Methode (AdaGP), die automatisch die Stabilität des Diskriminators aufrechterhält und somit die manuelle Abstimmung von Gradientenstrafe-Gewichten überflüssig macht.

4. Experimentelle Ergebnisse

Das Modell wurde auf dem Slakh2100-Datensatz (und einem internen Korpus für eine CLAP-konditionierte Variante) gegen StreamMusicGen (SMG), eine State-of-the-Art autoregressive Baseline, evaluiert.

Objektive Metriken: LiveBand übertrifft SMG in allen Metriken (FAD, Beat Alignment, COCOLA) sowohl in synchronen ( $\tau=0$ $τ = 0$ ) als auch in antizipatorischen ( $\tau=0.1s, 1s$ $τ = 0.1 s, 1 s$ ) Settings.
- Drift: Im Gegensatz zu SMG, das im Zeitverlauf eine Leistungsdegradation zeigt, weist LiveBand einen nahezu Null- oder sogar positiven Drift auf, was bedeutet, dass es keine lokalen Fehler akkumuliert.
- Antizipation: LiveBand behält eine hohe Performance bei, selbst wenn es 1 Sekunde vor den Input-Mix generiert – ein Bereich, in dem SMG Schwierigkeiten hat.
Subjektive Hörtests: In einer Studie mit 19 Teilnehmern wurde LiveBand gegenüber SMG signifikant hinsichtlich Audioqualität, zeitlicher Konsistenz und Mix-Adhärenz bevorzugt.
Echtzeit-Leistung: Auf einer Consumer-Grafikkarte (RTX 3090) erreicht LiveBand einen Real-Time Factor (RTF) von 1,1× (Eager Mode) und 2,1× (Compiled Mode) für ein 0,1s Antizipationsbudget, was die Einsatzfähigkeit auf Consumer-Hardware bestätigt.

5. Bedeutung und Behauptungen

Die Arbeit argumentiert, dass die Notwendigkeit eines zukünftigen Lookaheads für eine hochwertige Live-Begleitung kein fundamentales Problem der Aufgabe ist, sondern eine Folge von Mismatch-Effekten im überwachten Lernen (Teacher Forcing und frame-basierte Ziele).

Lösung des Drifts: Durch den Ersatz der Next-Step-Vorhersage-Supervision durch sequenzbasierte adversarielle Überwachung und die Entfernung von Teacher Forcing kann das Modell vor dem Live-Input generieren, ohne Fehler zu akkumulieren.
Ganzheitliche Kohärenz: Das adversarielle Ziel ermutigt das Modell, die langfristige musikalische Struktur zu bewahren, wodurch es die kleinen, natürlichen zeitlichen Korrekturen tolerieren kann, die in der Live-Performance erforderlich sind.
Machbarkeit: Die Arbeit zeigt, dass robuste, interaktive Echtzeit-Generativmodelle mittels sequenzbasierter adversarieller Trainingsverfahren gebaut werden können, was es Musikern ermöglicht, mit KI-Begleitern zu jammen, die sich ohne Latenz-induzierte Asynchronität an Tempo, Tonart und Dynamik anpassen.

Die Autoren räumen ein, dass das System zwar eine starke musikalische Kohärenz erreicht, die Audioqualität (Fidelity) jedoch im Vergleich zum Ground Truth noch Verbesserungspotenzial lässt, was darauf hindeutet, dass zukünftige Arbeiten auf höherwertige kausale Autoencoder fokussieren sollten.