Sommelier: Scalable Open Multi-turn Audio Pre-processing for Full-duplex Speech Language Models

Ce papier présente Sommelier, une pipeline de traitement de données open-source et évolutive conçue pour surmonter la pénurie de données conversationnelles multi-locuteurs de haute qualité et faciliter le développement de modèles de langage parlés en duplex intégral.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment avoir une conversation naturelle avec des humains. Le problème ? La plupart des robots actuels sont comme des joueurs de tennis très rigides : ils attendent que vous finissiez votre phrase, puis ils répondent. Ils ne savent pas gérer les interruptions, les "euh..." en même temps que vous parlez, ou les petits "oui, je comprends" que l'on fait pendant que l'autre parle.

C'est là qu'intervient Sommelier.

Le mot "Sommelier" fait référence à un expert du vin qui sait décomposer un mélange complexe pour en déguster chaque note. De la même manière, cette équipe de chercheurs (de KAIST et NAVER Cloud) a créé un outil de prétraitement audio qui permet de transformer des enregistrements de conversations réelles, chaotiques et bruyantes, en un "vin" parfait pour entraîner les futurs robots à parler comme des humains.

Voici comment cela fonctionne, avec quelques analogies simples :

1. Le Problème : Le Chaos de la Conversation

Dans la vraie vie, quand deux personnes parlent, c'est souvent un bazar :

• Ils se coupent la parole.
• Ils parlent en même temps (superposition).
• Il y a de la musique de fond, des bruits de rue, ou des silences étranges.

Les ordinateurs actuels, pour apprendre, ont besoin de données "propres". Mais si on nettoie trop les données en supprimant les chevauchements, le robot n'apprend jamais à gérer une vraie conversation. C'est comme apprendre à conduire uniquement sur un circuit vide, sans jamais voir de piétons ou d'autres voitures.

2. La Solution : La "Machine à Découper le Gâteau" (Sommelier)

Sommelier est une chaîne de montage intelligente qui prend un enregistrement brut et le transforme en données d'entraînement parfaites. Voici ses étapes clés :

• Le Tri des Invités (Diarisation) : Imaginez une soirée où tout le monde parle en même temps. Sommelier identifie qui est qui. Il dit : "Ah, c'est Marie qui parle ici, et c'est Paul là-bas", même s'ils parlent en même temps. Il utilise un détective très rapide (un modèle appelé Sortformer) pour ne pas confondre les voix.
• La Séparation des Voix (Le Magicien) : C'est la partie la plus magique. Quand deux personnes parlent en même temps, Sommelier utilise une technique de "séparation de sources". C'est comme si vous aviez un enregistrement d'un orchestre et que vous pouviez isoler uniquement le violon ou la trompette. Ici, il sépare les deux voix qui se chevauchent pour que le robot puisse entendre clairement ce que dit chaque personne, même si elles se sont coupées la parole.
• Le Nettoyage de la Cuisine (Suppression du bruit) : Si la conversation a lieu dans un café avec de la musique de fond, Sommelier retire la musique pour ne garder que la voix humaine, comme un chef qui enlève les épices trop fortes pour ne garder que le goût principal.
• Le Jury de Traducteurs (ASR Ensemble) : Pour écrire ce qui a été dit, Sommelier ne fait pas confiance à un seul traducteur (comme un seul modèle d'intelligence artificielle). Il fait travailler trois experts en même temps. S'ils sont d'accord, c'est validé. S'ils sont en désaccord, il utilise une méthode de vote pour choisir la meilleure transcription. Cela évite les "hallucinations" (quand le robot invente des mots qui n'existent pas).

3. Le Résultat : Un Robot Plus Humain

Grâce à Sommelier, les chercheurs ont pris un robot nommé Moshi (qui était déjà bon) et l'ont entraîné avec ces données "nettoyées mais réalistes".

Le résultat ?

• Le robot a appris à écouter et parler en même temps (full-duplex).
• Il sait maintenant dire "oui" ou "je comprends" pendant que vous parlez, sans vous interrompre brutalement.
• Il gère mieux les interruptions : si vous le coupez, il s'arrête et vous laisse parler, au lieu de continuer son discours comme un robot cassé.

En Résumé

Sommelier, c'est comme un chef d'orchestre pour les données audio. Il prend une symphonie désordonnée (des conversations réelles avec du bruit et des chevauchements), sépare les instruments (les voix), nettoie la partition (le texte), et donne au robot la partition parfaite pour apprendre à jouer du jazz avec les humains, plutôt que de jouer une marche militaire rigide.

C'est une avancée majeure pour rendre nos interactions avec les IA plus fluides, naturelles et moins frustrantes.

Résumé technique

Titre : Sommelier : Prétraitement audio évolutif et open-source pour les modèles de langage vocal en duplex intégral

1. Le Problème

L'évolution des modèles de langage (LLM) vers des Modèles de Langage Vocal (SLM) nécessite le passage d'interactions textuelles à des conversations naturelles en temps réel. Cependant, le développement de systèmes en duplex intégral (full-duplex), capables d'écouter et de parler simultanément, se heurte à plusieurs obstacles majeurs :

• Pénurie de données : Il existe un manque criant de données conversationnelles multi-locuteurs de haute qualité, adaptées à l'entraînement en duplex. Les ressources existantes sont soit mono-locuteur, soit trop limitées en volume (ex: Fisher).
• Complexité des dialogues naturels : Les conversations réelles comportent des chevauchements de parole (overlaps), des backchannels (réactions courtes comme "mm-hmm"), des interruptions et du bruit de fond. Les pipelines de traitement standards échouent souvent à gérer ces dynamiques, entraînant des erreurs de diarisation et des hallucinations de la reconnaissance vocale (ASR).
• Limitations des pipelines actuels : Les approches traditionnelles (ASR + LLM + TTS en cascade) introduisent de la latence, perdent les indices paralinguistiques et ne gèrent pas bien les interruptions. De plus, les pipelines de prétraitement actuels tendent à éliminer les chevauchements au lieu de les modéliser, ce qui est contre-productif pour l'entraînement de modèles en duplex.

2. Méthodologie : Le Pipeline Sommelier

Les auteurs proposent Sommelier, un pipeline de prétraitement audio open-source, robuste et évolutif, conçu spécifiquement pour transformer des enregistrements bruts ("in-the-wild") en corpus d'entraînement de haute qualité pour les SLM en duplex.

L'architecture modulaire (illustrée dans la Figure 1 du papier) comprend les étapes suivantes :

• Standardisation Audio : Conversion de tous les formats audio en un format unifié (16 kHz, 16 bits, Mono) et normalisation du volume (-20 dBFS).
• Découpage et Détection d'Activité Vocale (VAD) : Utilisation d'un modèle VAD (Silero) pour segmenter l'audio en blocs de moins de 5 minutes, évitant ainsi les problèmes de mémoire (OOM) pour les modèles de diarisation.
• Diarisation des Locuteurs : Remplacement du modèle standard pyannote par Sortformer (NVIDIA), choisi pour sa supériorité dans la détection des énoncés très courts (backchannels) et la gestion des frontières de locuteurs précises.
• Gestion des Chevauchements (Overlap Separation) : C'est le cœur de l'innovation. Au lieu de supprimer les chevauchements, le pipeline les préserve et les sépare :
  • Identification des segments chevauchants.
  • Extraction de segments non chevauchants (> 2s) pour générer des embeddings de locuteurs de référence.
  • Utilisation d'un modèle de séparation de parole (SepReformer) sur la partie chevauchante.
  • Attribution des candidats séparés aux locuteurs corrects via une mesure de similarité cosinus avec les embeddings de référence.
  • Reconstruction de segments mono-locuteur complets incluant les parties séparées.
• Suppression de la Musique de Fond (BGM) : Détection de la musique via PANNs. Si la probabilité dépasse un seuil, le modèle Demucs est utilisé pour extraire la piste vocale. Cette étape est appliquée sélectivement pour éviter de dégrader la qualité de la parole inutilement.
• Reconnaissance Vocale par Ensemble (Ensemble ASR) : Pour réduire les hallucinations et les erreurs de transcription :
  • Combinaison de trois modèles SOTA (Whisper, Canary, Parakeet).
  • Utilisation de la stratégie ROVER (Recognizer Output Voting Error Reduction) avec un vote majoritaire au niveau des mots.
  • Application d'un filtre de répétition pour éliminer les boucles de texte hallucinées.
  • Extraction précise des timestamps au niveau du mot pour la synchronisation audio-texte.

3. Contributions Clés

1. Premier pipeline évolutif pour SLM en duplex : Une solution open-source permettant de curer des données conversationnelles multi-tours à grande échelle, adressant la pénurie de données.
2. Traitement haute fidélité des chevauchements : Une stratégie détaillée qui préserve la dynamique naturelle du dialogue (interruptions, backchannels) tout en séparant les sources audio pour l'entraînement, réduisant ainsi les erreurs de transcription.
3. Validation empirique : Démonstration de l'efficacité du pipeline en affinant (fine-tuning) le modèle Moshi sur des données traitées par Sommelier, prouvant une amélioration significative des capacités en duplex.

4. Résultats Expérimentaux

Les auteurs ont validé le pipeline sur plusieurs axes :

• Performance du Modèle (Moshi Fine-tuned) :
  • Sur le benchmark Full-Duplex-Bench 1.0, le modèle affiné avec Sommelier montre des améliorations notables dans la gestion des backchannels, des prises de tour fluides et des interruptions utilisateur.
  • La latence, bien que légèrement augmentée par rapport à la base (qui ignorait les interruptions), est interprétée positivement : elle indique que le modèle traite activement l'entrée utilisateur et prépare des réponses appropriées plutôt que de continuer à parler aveuglément.
• Diarisation (Sortformer vs Pyannote) :
  • Sur le jeu de données VoxConverse, Sortformer surpasse Pyannote 3.1, notamment sur les métriques DER (Diarization Error Rate) et JER (Jaccard Error Rate), avec une réduction significative des erreurs sur les énoncés courts (< 1s).
• Qualité de la Séparation de Chevauchement :
  • L'évaluation sur des mélanges synthétiques montre que la méthode de séparation améliore considérablement la qualité perçue (UTMOS) et l'intelligibilité (STOI, WER), se rapprochant des limites supérieures (Oracle), même avec des ratios de chevauchement élevés (100%).
• Performance ASR (Ensemble) :
  • L'approche par ensemble (Whisper + Canary + Parakeet) réduit le taux d'erreur mot (WER) d'environ 37% par rapport à l'utilisation de Whisper seul, particulièrement dans des conditions bruyantes ou avec de la musique de fond.
• Efficacité Calculatoire :
  • Le pipeline atteint un facteur temps réel (RTF) de 0,17 sur une carte A100. Avec un parallélisme optimisé, il est possible de traiter 10 000 heures d'audio en environ 55 heures, rendant le processus viable industriellement.

5. Signification et Impact

Le travail Sommelier représente une avancée majeure pour la communauté de l'IA conversationnelle :

• Démocratisation des données en duplex : En fournissant un pipeline open-source, il permet aux chercheurs et aux industriels de créer leurs propres ensembles de données d'entraînement pour les modèles en duplex, brisant le monopole des données propriétaires.
• Préservation de la richesse conversationnelle : Contrairement aux approches précédentes qui "nettoyaient" les données en supprimant les imperfections naturelles, Sommelier les préserve et les structure, permettant aux modèles d'apprendre les nuances complexes de l'interaction humaine réelle.
• Accélération du développement : En résolvant les problèmes de diarisation, de séparation de source et d'hallucination ASR à grande échelle, le pipeline accélère le passage des prototypes de recherche aux systèmes de dialogue humain-IA fluides et naturels.

En résumé, Sommelier comble le fossé entre la disponibilité massive de données audio brutes et le besoin critique de données conversationnelles structurées pour entraîner la prochaine génération d'assistants vocaux intelligents et réactifs.