⚡ electrical engineering

MOSS Transcribe Diarize Technical Report

MOSS Transcribe Diarize est un grand modèle de langage multimodal unifié qui atteint l'état de l'art en matière de transcription horodatée et attribuée aux locuteurs en exploitant une fenêtre de contexte de 128k et un entraînement de bout en bout sur des données réelles étendues pour surmonter les limitations des systèmes existants.

Auteurs originaux : MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong

Publié 2026-07-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong, Yuqian Zhang, Wenbo Zhang, Songlin Wang, Zhiyu Wu, Zhaoye Fei, Qinyuan Cheng, Shimin Li, Xipeng Qiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes assis dans un café bondé, essayant de noter exactement ce que trois amis différents se disent. Vous devez savoir non seulement les mots, mais aussi qui les a dits et exactement quand ils ont parlé. C'est le défi de la « Transcription avec Attribution de Locuteur et Horodatage » (SATS - Speaker-Attributed, Time-Stamped Transcription). C'est un superpouvoir pour les ordinateurs, transformant un enregistrement audio désordonné en un script propre et organisé où chaque phrase est étiquetée avec le nom du locuteur et un temps précis. C'est incroyablement utile pour des choses comme transcrire des réunions professionnelles, analyser des appels de service client ou aider les personnes malentendantes à suivre des conversations complexes.

Jusqu'à présent, les ordinateurs essayaient généralement de résoudre cela en deux étapes distinctes. D'abord, un robot de « reconnaissance vocale » écoutait et tapait les mots. Ensuite, un autre robot, le « détective de locuteurs », essayait de déterminer qui disait quoi. Le problème est que ces deux robots ne communiquent souvent pas entre eux. Si le premier robot fait une petite erreur, le second devient confus, et le script final devient un fouillis. C'est comme essayer d'assembler un puzzle dont la moitié des pièces proviennent d'une boîte différente. Ce nouvel article présente un nouveau type de cerveau informatique qui fait les deux tâches en même temps, en un seul mouvement fluide.

La solution du modèle unique

L'équipe derrière ce projet, OpenMOSS, a construit un nouveau modèle appelé MOSS Transcribe Diarize. Voyez ce modèle comme un chef d'orchestre super intelligent et multitâche. Au lieu d'engager un orchestre séparé pour les mots et un autre pour les voix, ce chef d'orchestre garde toute la partition dans sa tête et dirige l'ensemble de la performance en une seule fois.

Par le passé, les ordinateurs avaient du mal avec les longues conversations. Si une réunion durait une heure, les anciens systèmes devaient découper l'audio en petites tranches de 30 secondes, résoudre chaque tranche, puis essayer de les recoller. Cela entraînait souvent le fait que l'ordinateur oubliait qui était le « Locuteur A » après la pause, ou perdait le fil de la conversation. MOSS Transcribe Diarize change la donne en possédant une immense « fenêtre de mémoire » de 128k tokens. Pour donner un ordre d'idée, cela permet au modèle d'écouter et de comprendre jusqu'à 90 minutes d'audio en une seule passe ininterrompue. Il n'a pas besoin de découper l'audio ; il entend toute l'histoire du début à la fin, gardant une image mentale claire de qui est qui, même si quelqu'un n'a pas parlé depuis un certain temps.

Comment cela fonctionne (Le tour de magie)

Le modèle est un « grand modèle de langage multimodal », une façon sophistiquée de dire qu'il peut lire du texte et écouter de l'audio en même temps. Voici l'astuce :

Les Oreilles : Il prend les ondes sonores brutes et les convertit en un format numérique.
Le Traducteur : Il utilise une « projection » spéciale pour transformer ces ondes sonores en un langage que la partie du cerveau lisant le texte peut comprendre.
La Sortie : Au lieu de simplement recracher des mots, il produit un script qui ressemble à ceci : [0.11] [S01] Bonjour ! [1.03] [S02] Bonjour, les gars !. Il vous indique l'ID du locuteur (S01, S02), l'heure exacte à laquelle ils ont commencé à parler, et les mots qu'ils ont dits, le tout en une seule passe directe.

Pour enseigner ce modèle, les chercheurs n'ont pas seulement utilisé des enregistrements de qualité studio très propres. Ils l'ont nourri d'une énorme quantité de données « réelles et sauvages » — des enregistrements provenant d'Internet qui incluent du bruit de fond, des voix qui se chevauchent, différents accents et des gens qui se coupent la parole. Ils ont également créé des conversations « simulées » où ils ont mélangé et associé différentes voix pour apprendre au modèle comment gérer les situations délicates, comme lorsque deux personnes parlent exactement en même temps.

Ce qu'ils ont découvert

L'équipe a testé son nouveau modèle contre certains des systèmes commerciaux les plus puissants et les plus coûteux actuellement disponibles (comme ceux de Doubao, ElevenLabs et divers modèles de Google). Ils ont utilisé trois types de tests différents :

AISHELL-4 : Enregistrements de réunions réelles et longues (jusqu'à environ 40 minutes).
Podcast : Interviews longues et de haute qualité avec plusieurs invités.
Films : Courts extraits avec des dialogues rapides et superposés.

Les résultats sont impressionnants. Dans presque tous les tests, MOSS Transcribe Diarize a commis moins d'erreurs que la concurrence.

Précision : Il a plus souvent raison sur les mots (taux d'erreur de caractères plus bas).
Identité : Il est bien meilleur pour garder une trace de qui disait quoi. Les chercheurs ont mesuré cela avec une métrique appelée Δcp (la différence entre les erreurs de mots et les erreurs de locuteurs). Un chiffre plus bas ici signifie que le modèle ne s s'est pas trompé sur l'identité du locuteur. MOSS Transcribe Diarize a obtenu les scores Δcp les plus bas, ce qui signifie qu'il a maintenu la cohérence des identités des locuteurs même dans des conversations longues et désordonnées.
Capacité sur le long format : Alors que certains modèles commerciaux célèbres (comme GPT-4o et Gemini 3 Pro) ont simplement échoué à traiter les fichiers audio longs ou n'ont pas pu produire le format correct pour eux, MOSS Transcribe Diarize a géré les entrées de 90 minutes sans sourciller.

Pourquoi cela importe

L'article suggère qu'en combinant la reconnaissance vocale et l'identification du locuteur en un système unifié doté d'une mémoire longue, nous pouvons obtenir des transcriptions plus fiables. Le modèle prouve qu'il n'est pas nécessaire de découper l'audio pour le comprendre ; on peut écouter toute la conversation à la fois et tout de même saisir les détails.

Les auteurs précisent avec prudence que, bien que leur modèle soit une étape importante, il n'est pas une baguette magique qui résout tout parfaitement. Ils voient encore des marges de progression, comme rendre le système capable de fonctionner en temps réel (streaming) et de gérer encore plus de langues. Mais pour l'instant, ils ont démontré qu'un cerveau unique et unifié peut faire le travail de deux robots distincts, et le faire mieux, surtout quand la conversation devient longue et complexe.

Le code et le modèle sont désormais ouverts à tous sur GitHub et Hugging Face, invitant d'autres personnes à voir si elles peuvent construire des outils encore meilleurs sur cette nouvelle base.

Résumé Technique : MOSS Transcribe Diarize

Énoncé du Problème

La transcription avec attribution de locuteur et horodatage (SATS - Speaker-Attributed, Time-Stamped Transcription) est une tâche critique pour des applications allant des assistants de réunion à la recherche juridique. Elle nécessite non seulement de transcrire la parole, mais aussi de déterminer précisément qui a parlé et quand, en préservant la structure des tours de parole, les chevauchements et les références à long terme.

Les systèmes SATS actuels reposent généralement sur des pipelines modulaires et en cascade qui assemblent des composants de reconnaissance automatique de la parole (ASR) et de diarisation du locuteur (SD). Ces approches souffrent de plusieurs limitations :

Propagation d'erreurs : Les erreurs dans les étapes précoces (ex. : l'ASR) se répercutent sur les étapes suivantes (ex. : la diarisation), et il est difficile d'exploiter de manière cohérente le contexte global.
Contexte limité : De nombreux modèles existants sont contraints par des fenêtres de contexte courtes, ce qui oblige à traiter les enregistrements longs par segments. Cela interrompt la continuité du discours, affaiblit la résolution de la coréférence et introduit des artefacts de bordure.
Dérive de la mémoire du locuteur : L'identité des locuteurs dérive souvent au cours de longues conversations, particulièrement sous des conditions acoustiques variables ou avec des voix similaires.
Absence d'horodatage natif : De nombreuses architectures ne peuvent pas produire nativement des horodatages au niveau du segment, s'appuyant sur des composants d'alignement externes qui réintroduisent la propagation d'erreurs modulaire.

Bien que les récents modèles de langage multimodaux (MLLM) aient montré des promesses, ils échouent souvent dans les contextes SATS en étant limités à des contextes audio courts (50 à 90 secondes), à de petits ensembles de locuteurs, ou en échouant à produire nativement des segments de locuteurs explicitement horodatés.

Méthodologie

Les auteurs présentent MOSS Transcribe Diarize, un modèle de langage multimodal unifié conçu pour effectuer la tâche SATS en une seule passe de bout en bout.

Architecture

Le modèle couple un encodeur audio avec un module de projection qui projette les plongements acoustiques multi-locuteurs dans l'espace de caractéristiques d'un LLM textuel pré-entraîné.

Modélisation Unifiée : Cette architecture permet au backbone de lier conjointement les identités des locuteurs au contenu lexical et d'effectuer une modélisation de contexte long unifiée.
Horodatage Explicite : Suite aux travaux récents sur l'encodage temporel basé sur des jetons textuels, l'information temporelle est représentée sous forme de texte d'horodatage formaté inséré entre les segments de l'encodeur audio. Cela évite de lier l'encodage temporel à des indices de position absolue, qui deviennent épars sur de longues durées, permettant ainsi une génération d'horodatage précise sur des audios de l'échelle de l'heure.
Fenêtre de Contexte : Le modèle est équipé d'une fenêtre de contexte de 128k jetons, lui permettant de traiter des entrées allant jusqu'à 90 minutes sans découpage. Cela préserve la continuité du discours et maintient des représentations globales des participants et des sujets.

Composition des Données

Le modèle est entraîné sur un vaste ensemble de données audio conversationnelles réelles et de données simulées pour garantir sa robustesse :

Données Réelles : Comprend de l'audio multilingue provenant d'Internet, spécifiquement le jeu de données AISHELL-4 (enregistrements de salles de réunion avec audio en champ lointain et chevauchements), ainsi que des jeux de données de podcasts et de films sélectionnés.
Données Simulées : Pour pallier la rareté des enregistrements multi-locuteurs de haute qualité dans le monde réel, les auteurs utilisent un simulateur probabiliste contrôlable. Celui-ci génère des dialogues multi-locuteurs synthétiques avec 2 à -12 locuteurs, imposant l'alternance des locuteurs tout en autorisant les chevauchements (plafonnés à 80 % du segment le plus court). Les mélanges sont augmentés de bruit et de réverbération du monde réel (SNR de 0 à 15 dB) pour améliorer la continuité perceptuelle.

Contributions Clés

Système SATS de bout en bout : MOSS Transcribe Diarize est présenté comme le premier modèle multimodal unifié capable d'effectuer conjointement la reconnaissance de mots, l'attribution de locuteur et la prédiction d'horodatage en une seule passe directe, éliminant les transferts entre sous-systèmes distincts.
Modélisation de Contexte Long à l'Échelle d'une Réunion : Le modèle traite des entrées allant jusqu'à 90 minutes dans une fenêtre de contexte de 128k jetons. Cette capacité réduit la dérive d'identité et les artefacts de bordure, améliorant les métriques SATS tant dans les évaluations in-domain qu'out-of-domain sans nécessiter de découpage.

Évaluation et Résultats

Le modèle a été évalué par rapport aux systèmes commerciaux de pointe (incluant Doubao, ElevenLabs, GPT-4o et les variantes de Gemini) à travers trois benchmarks diversifiés :

AISHELL-4 : Enregistrements de conférences réels de longue durée (près de 40 minutes).
Podcast : Interviews de haute qualité, de longue durée, avec plusieurs invités.
Films : Segments courts, riches en chevauchements, issus de films et de séries télévisées.

Métriques :
La performance a été mesurée via le Taux d'Erreur de Caractère (CER) pour l'ASR, le CER de permutation minimale concaténé (cpCER) pour l'ASR et la diarisation (SD) conjoints, et $\Delta_{cp}$ (la différence entre cpCER et CER) pour isoler les erreurs d'attribution de locuteur.

Résultats :

Performance Conjointe Supérieure : MOSS Transcribe Diarize a systématiquement obtenu la meilleure performance globale en termes de cpCER et de $\Delta_{cp}$ sur tous les jeux de données.
Réduction de l'Erreur d'Attribution : Sur le jeu de données AISHELL-4, le modèle a présenté un $\Delta_{cp}$ nettement plus faible que les bases de référence, indiquant que les erreurs d'attribution de locuteur introduisent une dégradation supplémentaire bien moindre que les erreurs d'ASR pur.
Capacité Longue Durée : Contra manirement à GPT-4o et Gemini 3 Pro, qui n'ont pas pu traiter de manière fiable des entrées audio de longue durée sous le protocole d'évaluation en raison des contraintes de longueur d'entrée ou de l'instabilité du format, MOSS Transcribe Diarize est resté pleinement opérationnel sur des audios de l'échelle de l'heure.
Robustesse aux Chevauchements : Dans le jeu de données Movies (caractérisé par une alternance rapide des locuteurs et des chevauchements fréquents), le modèle a maintenu un écart relativement faible entre le CER et le cpCER, démontant une gestion robuste des frontières de locuteurs.

Signification

L'article affirme que MOSS Transcribe Diarize remédie à la fragilité des pipelines modulaires ASR–diarisation en unifiant la reconnaissance et l'attribution de locuteur au sein d'un cadre multimodal unique. En exploitant la modélisation de contexte long et la simulation à distribution contrôlée, le système atteint des transcriptions horodatées avec attribution de locuteur plus fiables que les alternatives modulaires ou semi-en cascade. Les auteurs soulignent que cette approche comble l'écart entre la capacité multimodale nominale et la performance SATS déployable sur le long terme, ce qui la rend particulièrement adaptée à la transcription de réunions réelles et à l'analyse de conversations de longue durée.