Résumé Technique : LiveBand – Génération d'Accompagnement en Direct dans le Domaine Audio

1. Définition du Problème

L'article traite du défi de la génération d'accompagnement musical en temps réel à partir d'un flux d'entrée audio en direct. La difficulté fondamentale réside dans la causalité stricte : le modèle doit générer des trames d'accompagnement de haute fidélité avec une faible latence sans avoir accès au futur de l'entrée (le « mix futur »).

Les approches existantes font face à deux limitations principales dans ce contexte :

1. Biais d'exposition et accumulation d'erreurs : Les modèles autoregressifs traditionnels entraînés avec le « teacher forcing » (injection des trames passées réelles lors de l'entraînement) souffrent d'un décalage de distribution lors de l'inférence. Lorsque le modèle utilise ses propres prédictions passées comme entrées, de petites erreurs s'accumulent, entraînant une dérive sur le long terme et une asynchronie musicale.
2. Objectifs au niveau de la trame vs au niveau de la séquence : Les objectifs standards de prédiction par trame pénalisent rigidement les erreurs d'anticipation mineures. Cependant, dans un contexte en temps réel où le contexte futur est inconnu, même les musiciens experts effectuent de petits ajustements de timing. Les objectifs rigides au niveau de la trame ne parviennent pas à capturer la cohérence globale requise pour une session de jam naturelle.
3. Dépendance au Lookahead (Anticipation) : Des travaux récents suggèrent qu'une forte adhérence entre l'accompagnement généré et le mix d'entrée peut nécessiter un « lookahead » (accès aux trames futures du mix), ce qui viole les contraintes de temps réel strictes.

2. Méthodologie : LiveBand

LiveBand est un système en temps réel qui génère des accompagnements dans l'espace latent continu d'un autoencodeur audio causal pré-entraîné. L'architecture et le paradigme d'entraînement sont conçus pour éliminer le décalage entre l'entraînement et l'inférence.

2.1 Composants Clés

• Autoencodeur Audio Causal (AE) : Une variante strictement causale de CoDiCodec, pré-entraînée. Elle encode des formes d'onde stéréo (44,1 kHz) en séquences latentes continues (~10 Hz, dimension 128) avec un ratio de sous-échantillonnage de 4096×. Ni l'encodeur ni le décodeur n'accèdent au contexte audio futur.
• Générateur (G) : Un transformeur causal opérant sur les trames latentes.
  • Entrées : À chaque pas de temps $t$, il reçoit l'historique du mix causalement disponible ($m_{\le t}$) et un vecteur de bruit gaussien indépendant ($z_t$).
  • Architecture : Blocs de transformeur pre-norm avec normalisation de couche adaptative, attention multi-têtes causale (utilisant la normalisation query-key et des Rotary Position Embeddings), et réseaux feed-forward SwiGLU.
  • Mécanisme : Il prédit une trame d'accompagnement future $a_{t+1+\delta}$ (où $\delta$ est l'anticipation en trames latentes) sans accéder aux informations du mix futur ou aux latents cibles réels.
• Discriminateur (D) : Un réseau convolutionnel 1D non causal (utilisé uniquement pendant l'entraînement) qui évalue le réalisme d'une séquence d'accompagnement complète conditionnée par le mix correspondant. Il évalue la séquence jointe des latents du mix et de l'accompagnement.

2.2 Paradigme d'Entraînement : Élimination du Teacher Forcing

L'innovation centrale est la suppression du teacher forcing pour garantir l'équivalence entraînement-inférence :

• Absence de retour de vérité terrain : Pendant l'entraînement, le générateur ne reçoit jamais de trames d'accompagnement passées réelles comme entrée. Au lieu de cela, il repose sur l'auto-attention interne sur les états cachés et le vecteur de bruit indépendant à chaque étape.
• Passage Causal Parallèle : Parce que le générateur ne dépend pas de ses propres sorties précédentes, toute la séquence peut être générée en une seule passe directe parallèle sous un masque causal. Cela est informatiquement identique au processus d'inférence autoregressif étape par étape (utilisant un cache KV), éliminant ainsi le biais d'exposition par conception.
• Supervision Adversaire au Niveau de la Séquence : Au lieu de minimiser l'erreur de prédiction par trame, le modèle est entraîné à l'aide d'un objectif de GAN Relatif (R3GAN). Le discriminateur évalue la totalité de la séquence générée par rapport à la séquence réelle, fournissant une supervision au niveau de la distribution qui encourage la cohérence musicale globale et tolère de légères déviations de timing locales.

2.3 Techniques de Stabilisation

• Attention Sinks (Puits d'Attention) : Pour éviter la dérive dans le streaming de longue durée causée par l'éviction du cache KV, le modèle utilise un mécanisme de puits d'attention scalaire, garantissant que les jetons initiaux restent accessibles.
• Adaptive Gradient Penalty (AdaGP) : Un mécanisme en ligne qui ajuste dynamiquement le poids de la pénalité de gradient ($\lambda$) dans la perte du discriminateur pour maintenir un avantage cible fixe ($a^*$) du discriminateur sur le générateur. Cela stabilise l'entraînement adversarial sans réglage manuel des hyperparamètres.

3. Contributions Clés

1. Transformeur Strictement Causal avec Supervision Adversaire : L'introduction d'un modèle entraîné avec une supervision adversaire au niveau de la séquence qui opère sans lookahead, atteignant une forte adhérence au mix.
2. Équivalence Entraînement-Inférence : Le premier modèle d'accompagnement en streaming qui correspond pleinement aux conditions d'entraînement et d'inférence par conception, éliminant le biais d'exposition et l'accumulation d'erreurs sans nécessiter de déploiements séquentiels coûteux durant l'entraînement.
3. Pénalité de Gradient Adaptative : Une nouvelle méthode (AdaGP) qui maintient automatiquement la stabilité du discriminateur, supprimant le besoin de réglage manuel des poids de la pénalité de gradient.

4. Résultats Expérimentaux

Le modèle a été évalué sur le jeu de données Slakh2100 (et un corpus interne pour une variante conditionnée par CLAP) contre StreamMusicGen (SMG), une base autoregressive de pointe.

• Métriques Objectives : LiveBand surpasse SMG sur toutes les métriques (FAD, Alignement de Beat, COCOLA) dans les configurations synchrones ($\tau=0$) et anticipatoires ($\tau=0.1s, 1s$).
  • Dérive : Contrairement à SMG, qui montre une dégradation des performances au fil du temps, LiveBand présente une dérive quasi nulle ou favorable, indiquant qu'il n'accumule pas d'erreurs locales.
  • Anticipation : LiveBand maintient des performances élevées même en générant 1 seconde avant le mix d'entrée, un régime où SMG peine.
• Tests d'Écoute Subjective : Dans une étude avec 19 participants, LiveBand est nettement préféré à SMG en termes de qualité audio, de cohérence temporelle et d'adhérence au mix.
• Performance en Temps Réel : Sur un GPU RTX 3090 grand public, LiveBand atteint un Facteur de Temps Réel (RTF) de 1.1× (mode eager) et 2.1× (mode compilé) pour un budget d'anticipation de 0.1s, confirmant sa déployabilité sur du matériel de consommation.

5. Signification et Revendications

L'article soutient que la limitation imposant un lookahead futur pour un accompagnement en direct de haute qualité n'est pas fondamentale pour la tâche, mais résulte de décalages de l'apprentissage supervisé (teacher forcing et objectifs au niveau de la trame).

• Résolution de la Dérive : En remplaçant la supervision de prédiction de l'étape suivante par une supervision adversaire au niveau de la séquence et en supprimant le teacher forcing, le modèle peut générer en avance sur l'entrée en direct sans accumulation d'erreurs.
• Cohérence Globale : L'objectif adversarial encourage le modèle à préserver la structure musicale à long terme, lui permettant de tolérer les petites corrections de timing naturelles requises dans une performance en temps réel.
• Faisabilité : Ce travail démontre que des modèles génératifs robustes et interactifs en temps réel peuvent être construits en utilisant l'entraînement adversarial au niveau de la séquence, permettant aux musiciens de jammer avec des compagnons IA qui s'adaptent au tempo, à la tonalité et à la dynamique sans asynchronie induite par la latence.

Les auteurs reconnaissent que bien que le système atteigne une forte cohérence musicale, la qualité audio (fidélité) laisse encore une marge de progression par rapport à la vérité terrain, suggérant que les travaux futurs devraient se concentrer sur des autoencodeurs causaux de plus haute fidélité.