⚡ electrical engineering

MOSS Transcribe Diarize Technical Report

MOSS Transcribe Diarize is een verenigd multimodaal groot taalmodel dat de state-of-the-art sprekersgeattribueerde, tijdgestempelde transcriptie bereikt door gebruik te maken van een contextvenster van 128k en end-to-end training op uitgebreide real-world data om de beperkingen van bestaande systemen te overwinnen.

Oorspronkelijke auteurs: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong

Gepubliceerd 2026-07-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: MOSI. AI, :, Donghua Yu, Zhengyuan Lin, Hanfu Chen, Chen Yang, Yiyang Zhang, Jingqi Chen, Ke Chen, Liwei Fan, Yi Jiang, Jie Zhu, Muchen Li, Wenxuan Wang, Yang Wang, Zhe Xu, Botian Jiang, Yitian Gong, Yuqian Zhang, Wenbo Zhang, Songlin Wang, Zhiyu Wu, Zhaoye Fei, Qinyuan Cheng, Shimin Li, Xipeng Qiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een druk koffietentje zit en probeert precies op te schrijven wat drie verschillende vrienden tegen elkaar zeggen. Je moet niet alleen de woorden weten, maar ook wie ze zei en precies wanneer ze spraken. Dit is de uitdaging van "Speaker-Attributed, Time-Stamped Transcription" (SATS). Het is een superkracht voor computers: het verandert een rommelige audio-opname in een schoon, georganiseerd script waar elke zin is voorzien van een spreker en een exacte tijdstempel. Dit is ongelooflijk nuttig voor zaken als het transcriberen van zakelijke vergaderingen, het analyseren van klantenservicegesprekken of het helpen van mensen met een gehoorbeperking om complexe gesprekken te volgen.

Tot nu toe probeerden computers dit meestal in twee aparte stappen op te lossen. Eerst luisterde een "spraak-naar-tekst" robot en typte de woorden uit. Daarna probeerde een andere "spreker-detective" robot uit te zoeken wie wat zei. Het probleem is dat deze twee robots vaak niet met elkaar communiceren. Als de eerste robot een kleine fout maakt, raakt de tweede robot in de war, en wordt het uiteindelijke script een rommelige bende. Het is alsof je een puzzel probeert te leggen waarbij de helft van de stukjes uit een andere doos komt. Dit nieuwe paper introduceert een nieuw soort computerbrein dat beide taken tegelijkert uitoert, in één enkele, vloeiende beweging.

De One-Brain Solution

Het team achter dit project, OpenMOSS, heeft een nieuw model gebouwd genaamd MOSS Transcribe Diarize. Denk aan dit model als een superintelligente, veelzijdige dirigent. In plaats van een apart orkest in te huren voor de woorden en een apart orkest voor de stemmen, houdt deze dirigent de volledige partituur in zijn hoofd en leidt hij de hele uitvoering in één keer.

In het verleden hadden computers moeite met lange gesprekken. Als een vergadering een uur duurde, moesten de oude systemen de audio opknippen in kleine stukjes van 30 seconden, elk stukje oplossen en vervolgens proberen ze weer aan elkaar te plakken. Dit leidde er vaak toe dat de computer vergat wie "Spreker A" was na de onderbreking, of het overzicht over de flow van het gesprek verloor. MOSS Transcribe Diarize verandert de regels door een enorme "geheugenvenster" van 128k tokens te hebben. Om dit in perspectief te plaatsen: dit stelt het model in staat om tot wel 90 minuten aan audio in één ononderbroken passage te beluisteren en te begrijpen. Het hoeft de audio niet op te knippen; het hoort het hele verhaal van begin tot eind, waardoor het een helder mentaal beeld behoudt van wie wie is, zelfs als iemand al een tijdje niet meer heeft gesproken.

Hoe het werkt (De Magische Truc)

Het model is een "multimodale groot taalmodel", wat een chique manier is om te zeggen dat het tegelijkertijd tekst kan lezen en naar audio kan luisteren. Hier is de truc:

De Oren: Het neemt de ruwe geluidsgolven en zet deze om in een digitaal formaat.
De Vertaler: Het gebruikt een speciale "projectie" om die geluidsgolven om te zetten in een taal die het tekstlezende deel van het brein begrijpt.
De Output: In plaats van alleen woorden uit te spuwen, geeft het een script uit dat er zo uitziet: [0.11] [S01] Goedemorgen! [1.03] [S02] Goedemorgen, jongens!. Het geeft je de spreker-ID (S01, S02), de exacte tijd waarop ze begonnen te spreken, en de woorden die ze zeiden, allemaal in één enkele forward pass.

Om dit model te trainen, gebruikten de onderzoekers niet alleen schone opnames van studiokwaliteit. Ze voerden het een enorme dieet van "echte wilde" data—opnames van het internet die achtergrondgeluid, overlappende stemmen, verschillende accenten en mensen die door elkaar heen praten bevatten. Ze creëerden ook "gesimuleerde" gesprekken waarbij ze verschillende stemmen mixten en matchen om het model te leren hoe het lastige situaties moet afhandelen, zoals wanneer twee mensen op exact hetzelfde moment praten.

Wat ze vonden

Het team heeft hun nieuwe model getest tegenover enkele van de grootste, meest dure commerciële systemen die momenteel beschikbaar zijn (zoals die van Doubao, ElevenLabs en diverse Google-modellen). Ze gebruikten drie verschillende soorten tests:

AISHELL-4: Lange, real-world vergaderopnames (tot ongeveer 40 minuten).
Podcast: Hoogwaardige, lange interviews met meerdere gasten.
Films: Korte fragmenten met snelle, overlappende dialogen.

De resultaten waren indrukwekkend. In bijna elke test maakte MOSS Transcribe Diarize minder fouten dan de concurrentie.

Nauwkeurigheid: Het kreeg de woorden vaker goed (lagere Character Error Rate).
Identiteit: Het was veel beter in het bijhouden van wie wat zei. De onderzoekers maten dit met een metriek genaamd Δcp (het verschil tussen woordfouten en sprekerfouten). Een lager getal hier betekent dat het model niet in de war raakte over wie er sprak. MOSS Transcribe Diarize had de laagste Δcp-scores, wat betekent dat het de identiteit van de spreker consistent hield, zelfs in lange, rommelige gesprekken.
Long-Form Capability: Terwijl sommige beroemde commerciële modellen (zoals GPT-4o en Gemini 3 Pro) simpelweg faalden bij het verwerken van de lange audiobestanden of niet in staat waren om het juiste formaat voor hen uit te voeren, verwerkte MOSS Transcribe Diarize de volledige 90 minuten aan input zonder moeite.

Waarom dit ertoe doet

Het paper suggereert dat door spraakherkenning en sprekeridentificatie te combineren in één verenigd systeem met een lang geheugen, we betrouwbaardere transcripties kunnen krijgen. Het model bewijst dat je audio niet in stukjes hoeft te hakken om het te begrijpen; je kunt het hele gesprek in één keer beluisteren en nog steeds de details goed krijgen.

De auteurs merken er voorzichtig bij op dat hoewel hun model een belangrijke stap voorwaarts is, het geen toverstaf is die elk probleem perfect oplost. Ze zien nog steeds ruimte voor verbetering, zoals het bruikbaar maken van het systeem in real-time (streaming) en het ondersteunen van nog meer talen. Maar voor nu hebben ze laten zien dat een enkel, verenigd brein het werk van twee aparte robots kan doen, en dat beter, vooral wanneer het gesprek lang en ingewikkeld wordt.

De code en het model zijn nu openbaar voor iedereen om te proberen, beschikbaar op GitHub en Hugging Face, en nodigen anderen uit om te zien of zij nog betere tools kunnen bouwen op dit nieuwe fundament.

Technische Samenvatting: MOSS Transcribe Diarize

Probleemstelling

Speaker-Attributed, Time-Stamped Transcription (SATS) is een cruciale taak voor toepassingen die variëren van vergaderassistenten tot juridische gegevensverwerking. Het vereist niet alleen het transcriberen van spraak, maar ook het nauwkeurig bepalen van wie wanneer sprak, waarbij de turnstructuur, overlappingen en langetermijnreferenties behouden blijven.

Huidige SATS-systemen vertrouwen doorgaans op modulaire, gekascadeerde pipelines die componenten van Automatic Speech Recognition (ASR) en Speaker Diarization (SD) aan elkaar koppelen. Deze benaderingen lijden onder verschillende beperkingen:

Foutpropagatie: Fouten in vroege stadia (bijv. ASR) planten zich voort door opeenvolgende stadia (bijv. diarizatie), en globale context is moeilijk consistent te benutten.
Beperkte Context: Veel bestaande modellen zijn beperkt door korte contextvensters, waardoor lange opnames in fragmenten (chunks) moeten worden verwerkt. Dit verstoort de continuïteit van de discourse, verzwakt coreferentie-resolutie en introduceert grensbewerkingsartefacten.
Speaker Memory Drift: Identiteiten van sprekers driften vaak af tijdens lange gesprekken, met name onder variërende akoestische omstandigheden of bij vergelijkbare stemmen.
Gebrek aan Natieve Timestamps: Veel architecturen kunnen niet van nature segment-niveau timestamps produceren, maar vertrouwen op externe uitlijningscomponenten die modulaire foutpropagatie opnieuw introduceren.

Hoewel recente Multimodale Large Language Models (MLLM's) veelbelovend zijn gebleken, schieten ze vaak tekort in SATS-settings door beperkt te zijn tot korte audio-contexten (50–90 seconden), kleine verzamelingen sprekers, of door het niet in staat zijn om van nature expliciete, tijdgestempelde sprekerssegmenten te genereren.

Methodologie

De auteurs presenteren MOSS Transcribe Diarize, een verenigd multimodaal groot taalmodel dat is ontworpen om SATS uit te voeren in één enkele, end-to-end pass.

Architectuur

Het model koppelt een audio-encoder aan een projectiemodule die multi-speaker akoestische embeddings naar de feature space van een vooraf getraind tekst-LLM mapt.

Verenigde Modellering: Deze architectuur stelt de backbone in staat om sprekersidentiteiten gezamenlijk uit te lijnen met lexicale inhoud en een verenigde, long-context modellering uit te voeren.
Expliciete Timestamping: In navolging van recent werk op het gebied van tekstuele token-gebaseerde tijdcodering, wordt temporele informatie gerepresenteerd als geformatteerde timestamp-tekst die tussen audio-encoder chunks wordt ingevoegd. Dit voorkomt dat temporele codering gebonden is aan absolute positionele indices, wat bij lange duurdersnelheden schaars wordt, wat nauwkeurige timestamp-generatie over audio van uren mogelijk maakt.
Contextvenster: Het model is uitgerust met een 128k-token contextvenster, waardoor het inputs tot 90 minuten kan verwerken zonder chunking. Dit bewaart de continuïteit van de discourse en behoudt globale representaties van deelnemers en onderwerpen.

Datacompositie

Het model is getraind op uitgebreide real-world conversatie-audio en gesimuleerde data om robuustheid te garanderen:

Real Data: Omvat meertalige audio van het internet, specifelijk de AISHELL-4 dataset (vergaderruimte-opnames met far-field overlappende audio), evenals gecureerde podcast- en filmdatasets.
Gesimuleerde Data: Om het tekort aan hoogwaardige real-world multi-speaker opnames aan te pakken, gebruiken de auteurs een controleerbare probabilistische simulator. Deze genereert synthetische multi-speaker dialogen met 2–12 sprekers, waarbij sprekersafwisseling wordt afgedwongen terwijl overlappingen zijn toegestaan (geplafonneerd op 80% van het kortere segment). De mengsels worden geaugmenteerd met real-world ruis en reverberatie (SNRs van 0–15 dB) om perceptuele continuïteit te verbeteren.

Belangrijkste Bijdragen

End-to-End SATS Systeem: MOSS Transcribe Diarize wordt gepresenteerd als het eerste verenigde multimodale model dat gezamenlijk woordherkenning, sprekersattributie en timestamp-voorspelling uitvoert in een enkele forward pass, waardoor hand-offs tussen afzonderlijke subsystemen worden geëlimineerd.
Meeting-Scale Long-Context Modeling: Het model verwerkt inputs tot 90 minuten binnen een 128k-token contextvenster. Deze capaciteit vermindert identiteitsdrift en grensbewerkingsartefacten, wat de SATS-metrics verbetert over zowel in-domain als out-of-domain evaluaties zonder de noodzaak van chunking.

Evaluatie en Resultaten

Het model werd geëvalueerd tegen state-of-the-art commerciële systemen (inclusief Doubao, ElevenLabs, GPT-4o en Gemini-varianten) over drie diverse benchmarks:

AISHELL-4: Lange (bijna 40 minuten durende) real-world conferentie-opnames.
Podcast: Hoogwaardige, langdurige interviews met meerdere gasten.
Movies: Korte, overlap-rijke segmenten uit films en tv-series.

Metrics:
Prestaties werden gemeten met behulp van Character Error Rate (CER) voor ASR, concatenated minimum-permutation CER (cpCER) voor gezamenlijke ASR en SD, en $\Delta_{cp}$ (het verschil tussen cpCER en CER) om sprekersattributiefouten te isoleren.

Bevindingen:

Superieure Gezamenlijke Prestaties: MOSS Transcribe Diarize behaalde consistent de beste algehele prestaties in termen van cpCER en $\Delta_{cp}$ over alle datasets.
Verminderde Attributiefout: Op de AISHELL-4 dataset vertoonde het model een aanzienlijk kleinere $\Delta_{cp}$ vergeleken met de baselines, wat aangeeft dat sprekersattributiefouten aanzienlijk minder extra degradatie veroorzaakten dan pure ASR-fouten.
Long-Form Capability: In tegen tegenover GPT-4o en Gemini 3 Pro, die niet in staat waren om langdurige audio-inputs betrouwbaar te verwerken onder het evaluatieprotocol vanwege inputlengtebeperkingen of format instabiliteit, bleef MOSS Transcribe Diarize volledig operationeel op audio van een uur-schaal.
Robuustheid tegen Overlaps: In de Movies dataset (gekenmerkt door snelle sprekersafwisseling en frequente overlappingen) behield het model een relatief kleine kloof tussen CER en cpCER, wat duidt op een robuuste afhandeling van sprekersgrenzen.

Betekenis

Het artikel stelt dat MOSS Transcribe Diarize de broosheid van modulaire ASR–diarizatie pipelines aanpakt door herkenning en sprekersattributie te verenigen binnen een enkel multimodaal framework. Door gebruik te maken van long-context modeling en distributie-gecontroleerde simulatie, bereikt het systeem meer betrouwbare sprekers-geattribueerde, tijdgestempelde transcripten dan modulaire of semi-gekascadeerde alternatieven. De auteurs benadrukken dat deze aanpak de kloof overbrugt tussen nominale multimodale capaciteit en inzetbare long-form SATS-prestaties, waardoor het bijzonder geschikt is voor real-world vergadertranscriptie en langdurige conversatie-analyse.