Résumé technique : Génération de scènes audio multi-locuteurs pilotée par référence à partir de priors « in-the-wild »

Énoncé du problème

Les systèmes existants de génération de dialogues multi-locuteurs reposent lourdement sur une supervision structurée, telle que des balises de locuteurs par tour de parole, des transcriptions multi-flux ou des plongements (embeddings) de tours de parole apprenables. Ces approches opèrent généralement au sein de pipelines dédiés uniquement à la parole qui produisent des séquences vocales propres, supprimant ainsi la texture ambiante, l'acoustique de la pièce et les chevauchements de parole caractéristiques des conversations réelles. De plus, les modèles de clonage de voix zero-shot traitent généralement uniquement le cas d'un locuteur unique, nécessant que les scènes multi-locuteurs soient assemblées segment par segment en dehors du modèle. Le défi central consiste à générer des scènes audio riches, comprenant des locuteurs multiples avec des chevauchements de parole naturels et des sons environnementaux, en utilisant uniquement une invite de langage naturel libre et un ensemble de voix de référence, sans nécessiter d'annotations structurelles par tour de parole ou d'encodeurs d'identité.

Méthodologie : Cadre SCENA

Les auteurs proposent SCENA, un cadre de correspondance de flux (flow-matching) qui conditionne un modèle de fondation de texte-vers-audio préentraîné (spécifiquement une variante audio de LTX-2) sur plusieurs voix de référence et une invite de langage naturel holistique.

1. Conditionnement de référence via la concaténation latente

Au lieu d'utiliser des adaptateurs complexes ou des encodeurs d'identité, SCENA emploie une interface minimale :

• Concaténation latente : Les clips audio de référence sont encodés en séquences latentes à l'aide du même auto-encodeur variationnel (VAE) que l'audio cible. Ces latents de référence sont directement concaténés avec les jetons (tokens) cibles bruités.
• Encodages positionnels sensibles à l'identité : Pour distinguer les différentes références et la cible, chaque emplacement de référence $k$ se voit assigner un embedding appris $e_k$. Cet embedding est ajouté aux jetons du latent de référence correspondant. Les jetons cibles ne reçoivent aucun embedding additif de ce type.
• Interface en langage naturel : Une seule invite textuelle décrit l'ensemble de la scène, incluant les sons ambiants, les tours de parole et le contenu. L'invite fait référence aux locuteurs via des mentions textuelles (par exemple, « le locuteur de la référence 1 »). Le modèle repose entièrement sur ce texte pour lier des références spécifiques à des parties spécifiques de l'audio généré.

2. Le défi du raccourci de référence (Reference Shortcut)

Les auteurs identifient un mode de défaillance critique dans l'entraînement des modèles de correspondance de flux conditionnés par référence, nommé le Raccourci de Référence.

• Mécanisme : Sous des schémas de bruit standard (par exemple, logit-normal), la masse d'entraînement se concentre sur les étapes de temps intermédiaires où la cible bruitée $z_t$ conserve encore une information acoustique significative de la cible propre $z_0$. Dans ce régime, le modèle peut contourner entièrement l'invite textuelle. Au lieu d'apprendre à router les requêtes de la description textuelle vers la bonne référence via l'attention croisée (cross-attention) et l'auto-attention, le modèle se contente de faire correspondre les jetons de la cible bruitée aux latents de référence les plus acoustiquement similaires via l'auto-attention.
• Conséquence : Bien que ce raccourci minimise la perte d'entraînement, il conduit à un échec catastrophique lors de l'inférence. L'inférence commence à un bruit pur ($t=1$), où la similitude acoustique est indisponible. Puisque le modèle a appris à ignorer l'invite textuelle pendant l'entraînement, il échoue à lier les références aux bons locuteurs, entraînant des sorties confuses ou incohérentes.

3. Distribution des pas de temps biaisée vers le bruit élevé

Pour éliminer le Raccourci de Référence, les auteurs modifient le schéma de bruit d'entraînement :

• Stratégie : Ils remplacent la distribution logit-normale standard par une distribution de mélange : $p(t) = (1 - \lambda) \text{Beta}(t; \alpha, 1) + \lambda \text{Uniform}(t; \epsilon, 1)$.
• Effet : La composante Beta concentre la masse d'entraînement dans la queue de bruit élevé (où $t$ est proche de 1). Dans ce régime, la cible bruitée contient peu ou pas d'information acoustique sur la source, rendant le raccourci impossible. Le modèle est contraint de s'appuyer sur l'invite textuelle et les embeddings de référence pour déterminer l'assignation des locuteurs.
• Augmentations auxiliaires : Pour renforcer le lien, les auteurs utilisent l'injection de référence adversaire (remplir les emplacements inutilisés avec des références distractrices non mentionnées dans l'invite) et l'augmentation par permutation d'emplacements (randomisation de l'ordre des références et mise à jour des jetons de l'invite en conséquence) pour empêcher le modèle de dépendre de biais positionnels.

4. Construction du jeu de données

Les auteurs ont construit un jeu de données multi-référence où chaque exemple consiste en un clip de conversation multi-locuteurs, $K$ clips de locuteur unique, et une légende. Le pipeline de génération de légendes utilise une légende intermédiaire (non conditionnée sur les références) pour ancrer la description de la scène, qui est ensuite combinée avec des horodatages de diarisation et des clips de référence pour générer l'invite finale conditionnée par référence.

Résultats

La méthode a été évaluée sur le benchmark CoVoMix2-Dialogue, spécifiquement sur le sous-ensemble COVOMIX2-DIALOGUE-20S et un sous-ensemble COVOMIX2-DIALOGUE-WILDREF utilisant des références « in-the-wild ».

• Liaison des locuteurs (Speaker Binding) : SCENA surpasse les bases de comparaison multi-locuteurs existantes (incluant MOSS-TTSD, VibeVoice, ZipVoice-Dialog et Dia) sur les métriques de liaison de locuteurs. Il atteint les meilleurs scores pour le cpWER (taux d'erreur de mots sensible au locuteur), le cpSIM (similitude cosinus stricte par locuteur) et l'ACC (précision de l'assignation du locuteur).
• Robustesse : Dans le cadre « Wild Reference », où les références contiennent du bruit de fond et des conditions non studio, SCENA maintient une performance supérieure. Alors que les scores cpSIM des bases de comparaison ont chuté de manière significative (tombant sous 0,40), SCENA a conservé un score supérieur à 0,42.
• Qualité audio : SCENA génère des chevauchements de parole, des événements paralinguistiques spontanés (rires, soupirs) et des sons ambiants de scène conjointement avec la conversation. Bien que les scores UTMOS soient légèrement inférieurs à certains modèles de base (attribué au fait que le backbone LTX-2 a été entraîné sur des bandes sonores vidéo « in-the-wild » plutôt que sur de la parole en studio), les scores SQUIM sont compétitifs ou supérieurs.

Signification et affirmations

L'article affirme que SCENA démontre l'avantage d'utiliser un modèle de fondation audio polyvalent conditionné par une description de scène en langage libre, plutôt que de faire passer des scripts de dialogue structurés à travers un pipeline dédié uniquement à la parole.

Les affirmations clés incluent :

1. Naturel : En exploitant un modèle préentraîné sur des données massives « in-the-wild », SCENA hérite de la capacité de générer des textures audio naturelles non studio, incluant le bruit de fond, l'acoustique de la pièce et les dialogues superposés, qui sont typiquement absents des systèmes de TTS de dialogue structurés.
2. Interface minimale : Le cadre permet un contrôle multi-locuteurs complexe sans étiquettes par tour de parole, sans transcriptions ni encodeurs d'identité, en s'appuyant uniquement sur le langage naturel et les latents de référence.
3. Dynamique d'entraînement : L'article met en lumière le « Raccourci de Référence » comme un mode de défaillance jusqu'alors non reconnu dans la correspondance de flux conditionnée par référence, et propose que la modification de la distribution des pas de temps est suffisante pour forcer le modèle à apprendre la liaison nécessaire entre le texte et la référence, sans ajouter de mécanismes de liaison explicites.

Les auteurs concluent que leur approche permet des interactions humaines complexes, incluant les chevauchements de parole et les événements paralinguistiques spontanés, directement à partir d'une seule invite de langage naturel.