⚡ electrical engineering

LibriConvo: Simulating Conversations from Read Literature for ASR and Diarization

Dit artikel introduceert LibriConvo, een 240 uur durend synthetisch conversatiesprekerscorpus dat is geconstrueerd door het Speaker-Aware Simulated Conversation-framework te verbeteren met realistische timing en akoestische eigenschappen, wat dient als een praktische benchmark die een superieure prestatie demonstreert in speaker diarization en ASR vergeleken met bestaande pipelines en modellen.

Oorspronkelijke auteurs: Máté Gedeon, Péter Mihajlik

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Máté Gedeon, Péter Mihajlik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om een drukke kamer te begrijpen waar twee mensen een levendige, overlappende conversatie voeren. De robot moet twee dingen tegelijk doen: uitzoeken wie er op elk gegeven moment spreekt (Speaker Diarization) en wat ze zeggen (Automatic Speech Recognition).

Het probleem is dat echte gesprekken rommelig, duur zijn om op te nemen en moeilijk perfect te labelen zijn. Daarom bouwen wetenschappers vaak "nep" gesprekken door vooraf opgenomen zinnen aan elkaar te plakken. Maar meestal voelen deze nepgesprekken robotachtig aan—mensen pauzeren te lang, de timing klopt niet en de zinnen vormen samen geen logisch geheel.

Dit artikel introduceert LibriConvo, een nieuwe, enorme bibliotheek van "nep" maar zeer realistische gesprekken, ontworpen om deze robots beter te trainen. Dit is hoe ze het gebouwd hebben, met behulp van eenvoudige analogieën:

1. Het "Script"-probleem: Zin geven aan de chaos

In het verleden pakten onderzoekers willekeurige zinnen uit verschillende boeken en voegden die samen. Het is alsof je een gesprek probeert te voeren waarbij de één citaten uit Harry Potter deelt en de ander citaten uit The Great Gatsby. De robot raakt in de war omdat de context onderbroken wordt.

De oplossing: De auteurs besloten om één boek per gesprek aan te houden. Ze namen zinnen uit LibriTTS (een database van mensen die boeken voorlezen) en gebruikten voor een enkel dialoog alleen zinnen uit hetzelfde verhaal.

Analogie: In plaats van een chaotische mix van willekeurige citaten, creëerden ze een "boekclub"-simulatie waarbij beide sprekers hetzelfde hoofdstuk bespreken. Dit helpt de robot de flow van het verhaal te begrijpen, wat het makkelijker maakt om woorden te herkennen.

2. Het "Timing"-probleem: De ongemakkelijke pauzes oplossen

Wanneer onderzoekers probeerden te simuleren hoe mensen praten, merkten ze dat de pauzes te lang en ongemakkelijk waren. Het voelde als een gesprek tussen twee mensen die constant op elkaar wachtten om klaar te zijn, zelfs toen dat niet nodig was.

De oplossing: Ze analyseerden echte telefoongesprekken (CallHome) om te zien hoe mensen daadwerkelijk pauzeren. Ze ontdekten dat de originele data rommelig was, dus gebruikten ze een slimme tool om het exacte begin en einde van de spraak te vinden. Vervolgens pasten ze een "tijdscompressie"-filter toe.

Analogie: Stel je een video van een gesprek voor waarbij de editor per ongeluk 5 seconden stilte heeft laten staan tussen elke zin. De auteurs gebruikten een "fast-forward"-knop die alleen de lange, ongemakkelijke stiltes versnelt, terwijl de natuurlijke, korte pauzes intact blijven. Dit zorgt ervoor dat het gesprek vloeit als een echt menselijk gesprek.

3. Het "Ruimte"-probleem: Waar staan ze?

Wanneer je een gesprek opneemt, verandert het geluid afhankelijk van waar je staat en hoe de kamer eruitziet. Eerdere simulaties plaatsten sprekers vaak op vreemde plekken, zoals zwevend in het midden van het plafond of direct tegen een muur aan, wat in het echte leven niet voorkomt.

De oplossing: Ze gebruikten een database van echte kamergeluiden (Room Impulse Responses), maar voegden een "gezond verstand"-filter toe.

Analogie: Stel je een regisseur voor die acteurs cast voor een scène. Die zou de acteurs niet op het plafond of in een muur plaatsen. De auteurs creëerden een regel die alleen toestaat dat sprekers op "menselijke locaties" staan (ongeveer 1,5 meter hoog, 1 meter uit elkaar) en op verschillende hoeken, zodat het geluid voelt alsok het uit een echte woonkamer komt en niet uit een sci-fi filmset.

4. Het resultaat: Een gigantische trainingsgym

Het eindproduct, LibriConvo, is een enorme dataset die 240 uur aan deze gesimuleerde gesprekken bevat.

Het bevat 1.496 dialogen met 830 verschillende sprekers.
Cruciaal is dat ze de data zo hebben opgesplitst dat de sprekers in de "trainingsgroep" totaal verschillend zijn van de sprekers in de "testgroep". Dit zorgt ervoor dat de robot leert om iedereen te herkennen, en niet alleen specifieke stemmen uit het hoofd te leren.

5. Heeft het gewerkt? (Het scorebord)

De auteurs testten twee soorten robots op deze nieuwe dataset:

De "Wie is er aan het woord?"-test (Diarization):
Ze vergeleken een standaard tool (pyannote) met een nieuwere, slimmere tool genaamd Sortformer.
- Resultaat: Sortformer was veel beter. Het maakte minder fouten (11,1% foutpercentage versus 24,4%).
- Waarom? Het is beter in het ontwarren van de chaos wanneer twee mensen door elkaar praten, een beetje zoals een bekwame dirigent die twee muzikanten die tegelijk spelen bijhoudt.
De "Wat zeiden ze?"-test (Speech Recognition):
Ze testten grote, vooraf getrainde modellen (zoals Whisper) tegen een op maat gemaakt model (FastConformer).
- Resultaat: Het op maat gemaakte model won. Het bereikte een zeer laag foutpercentage (6,97%).
- Waarom? Ze leerden het model een speciale truc genaamd "Serialized Output Training". In plaats van overlappende spraak op te knippen in kleine, verwarrende stukjes, leerde het model om elke zin van de spreker heel te houden, zelfs als ze door elkaar heen praatten. Het is alsoal luisteren naar een duet en de tekst opschrijven voor de zanger links, en dan voor de zanger rechts, zonder dat de woorden door elkaar worden gehaald.

Samenvatting

Het artikel beweert niet dat dit alle problemen in de wereld al oplost, maar het biedt een betere trainingsgrond. Door de timing, de context van het verhaal en de kamerakoestiek te verbeteren, hebben ze een dataset gecreëerd die robots helpt om complexe, echte gesprekken veel effectiever aan te pakken dan voorheen. Het is een nieuwe, hoogwaardige "sportschool" voor spraak-AI om sterker te worden.

Technische Samenvatting: LibriConvo – Het simuleren van gesprekken uit gelezen literatuur voor ASR en Diarisatie

Probleemstelling

Moderne spraakverwerkingssystemen, met name end-to-end sprekerdiarisatie (EEND) en multi-spreker automatische spraakherkenning (ASR), vereisen grote hoeveelheden geannoteerde conversationele audio. Het verzamelen van echte gesprekken met meerdere partijen met betrouwbare labels op turn-niveau is echter duur en moeilijk. Hoewel synthetische datageneratie een veelgebruikte alternatieve methode is geworden, faalt naïeve utterance-mixing vaak in het vastleggen van realistische turn-taking gedragingen, stabiele sprekeridentiteitspatronen en semantische continuïteit over een volledig dialoog. Bovendien boden eerdere frameworks zoals Speaker-Aware Simulated Conversation (SASC) wel de theoretische modellering van conversationele timing, maar ontbrak het aan een vrijgegeven benchmark-dataset en downstream evaluatieresultaten voor ASR- en diarisatietaken.

Methodologie

Het artikel introduceert LibriConvo, een synthetische conversationele spraakcorpus geconstrueerd door de SASC-framework te instantiëren met specifieke verbeteringen die zijn ontworpen om de realiteitszin en geschiktheid voor downstream-taken te vergroten. De constructie-pipeline bestaat uit verschillende belangrijke technische componenten:

1. Conversationele Timing en Statistieken

Om inconsistenties in bestaande annotaties aan te pakken (specifiek met betrekking tot overlap- en gap-statistieken in de Switchboard-corpus), hebben de auteurs de English CallHome-corpus gebruikt. Ze maakten gebruik van een extern Voice Activity Detection (VAD) model (Silero VAD) om meer betrouwbare temporele grenzen af te leiden.

Pauzecompressie: Voorlopige analyse toonde aan dat gereconstrueerde dialogen onnatuurlijk lange pauzes bevatten. Om spontane spraak na te bootsen, werd een deterministische stuksgewijze lineaire transform toegepast op stilte-duur. Dit comprimeert selectief lange stiltes (met een compressiecoëfficiënt $s=0.4$ voor pauzes die de drempelwaarde $t=1.0$ overschrijden) terwijl korte gaten behouden blijven, waardoor de relatieve ordening van gebeurtenissen behouden blijft terwijl kunstmatige discontinuïteit wordt verminderd.
Turn-Taking: Een eerste-orde Markovketen, getraind op CallHome-data, modelleert de waarschijnlijkheid van sprekerovergangen.

2. Semantische Continuïteit

Om het gebrek aan semantische samenhang in eerdere gesimuleerde datasets aan te pakken, wat ASR-modellen die vertrouwen op tekstuele context kan hinderen, hebben de auteurs de selectie van utterances beperkt.

Bronmateriaal: Utterances werden afkomstig uit LibriTTS, dat bestaat uit gelezen boekhoofdstukken.
Boekrestrictie: Elke gesimuleerde conversatie wordt geconstrueerd met utterances uit één enkel boek, waardoor de deelnemers aan de dialoog een gemeenschappelijke semantische grond delen.
Lengtefiltering: Utterances werden gefilterd naar een realistisch bereik van 2 tot 10 seconden.

3. Akoestische Realisme (Room Impulse Responses)

De auteurs hebben een ruimtelijke plausibiliteitsheuristiek geïmplementeerd voor het selecteren van Room Impulse Responses (RIRs) uit de BUT Speech@FIT Reverb Database.

Selectiestrategie: In plaats van willekeurige selectie werden configuraties gerangschikt op basis van geometrische attributen (hoogte, afstand, elevatie, azimuth) ten opzichte van geïdealiseerde menselijke spraakposities (bijv. 1,5 m bronhoogte, 1 m bron-microfoon afstand).
Diversiteit: Het selectieproces waarborgt ruimtelijke diversiteit door te eisen dat sprekers een azimuth hebben die minstens 20° verschilt, waardoor collineariteit wordt vermeden en natuurlijke conversationele scènes worden benaderd. Deze procedure werd toegepast op 40% van de conversaties.

4. Dataset Constructie en Splitsingen

De resulterende corpus bevat 240,1 uur aan audio verspreid over 1.496 dialogen met 830 unieke sprekers.

Spreker-disjuncte Splitsingen: Om robuuste evaluatie te garanderen en datalekken te voorkomen, is de dataset verdeeld in trainings-, validatie- en testsets zodanig dat geen enkele spreker in meer dan één split voorkomt.
Distributie: De splitsingen volgen een benaderde 80–10–10% ratio (Train: 193,7u/580 sprekers; Validatie: 23,1u/127 sprekers; Test: 23,3u/123 sprekers).

Belangrijkste Bijdragen

LibriConvo Dataset: De release van een 240,1-uur durende synthetische conversationele dataset met turn-level sprekerlabels en transcripties, specifiek ontworpen voor zowel ASR als sprekerdiarisatie.
Verbeterde Constructie-pipeline: Een dataset-georiënteerde instantiatie van de SASC-framework met:
- Boek-beperkte utterance-sampling om semantische continuïteit te verbeteren.
- Een realisme-gestuurde RIR-selectiestrategie om akoestische plausibiliteit te verhogen.
- Temporele compressie van pauzes om beter aan te sluiten bij de statistieken van spontane spraak.
Reproduceerbare Baselines: De vaststelling van benchmarkresultaten voor zowel diarisatie als ASR op spreker-disjuncte splitsingen, wat een standaard biedt voor het evalueren van multi-spreker spraakverwerkingssystemen.

Experimentele Resultaten

Sprekerdiarisatie

Twee state-of-the-art frameworks werden geëvalueerd zonder aanvullende fine-tuning:

Pyannote Pipeline: Een modulaire framework die segmentatie, embedding extractie en clustering gebruikt.
Sortformer: Een encoder-gebaseerd model dat een "Sort Loss" gebruikt om consistente sprekerlabel-ordening af te dwingen.

Resultaten: Sortformer presteerde aanzienlijk beter dan de Pyannote-pipeline op de testset, met een Diarization Error Rate (DER) van 11,1% vergeleken met 24,4% voor Pyannote. Sortformer vertoonde ook een hogere consistentie over opnames met een lagere variantie in de foutdistributie.

Automatische Spraakherkenning (ASR)

De auteurs evalueerden vooraf getrainde modellen (Whisper-large-v3, Canary-1B-v2) en fine-tuned FastConformer modellen (Large en XLarge) met behulp van Serialized Output Training (SOT).

Trainingsaanpak: In tegen tegenstelling tot token-level varianten die utterances bij elke overlap splitsen, behoudt de SOT-aanpak elke utterance van een spreker als een coherente eenheid, waarbij sprekerwisselingen worden gemarkeerd met een <sc> token.
Metrieken: Word Error Rate (WER), concatenated minimum-permutation WER (cpWER) en Segment Accuracy (SegAcc).

Resultaten:

Pre-trained modellen presteerden goed zonder fine-tuning (bijv. Whisper-large-v3 behaalde 7,46% WER op de testset).
Het FastConformer-CTC XLarge model, gefinetuned met SOT, behaalde de beste algehele prestaties: 7,29% WER en 6,97% cpWER op de testset, waarmee het de zero-shot Whisper-large-v3 baseline overtrof.
Alle modellen vertoonden verbetering wanneer ze met cpWER werden geëvalueerd, wat suggereert dat hoewel de inhoud accuraat was, de ordening van de sprekersegmenten soms verschilde van de referenties.

Betekenis en Claims

Het artikel positioneert LibriConvo als een praktische benchmark voor het bestuderen van synthetische conversationele spraak en het evalueren van multi-spreker systemen. De auteurs beweren dat de dataset kritieke beperkingen van eerdere gesimuleerde datasets aanpakt, specifiek het gebrek aan semantische samenhang en de aanwezigheid van onplausibele tijdsintervallen.

De resultaten tonen aan dat:

End-to-end transformer-architecturen (zoals Sortformer) zeer effectief zijn bij het ontwarren van overlappende spraak en het handhaven van sprekercontinuïteit vergeleken met modulaire pipelines.
Serialized Output Training gecombineerd met fine-tuning een effectieve strategie is voor multi-spreker ASR, waarbij de coherentie van de utterance behouden blijft in plaats van de spraak bij elke overlap te fragmenteren.
De methodologie reproduceerbaar is en kan worden uitgebreid om grotere datasets te genereren of kan worden aangepast voor verschillende akoestische omstandigheden.

De auteurs concluderen dat LibriConvo dient als een waardevolle bron voor toekomstig onderzoek naar multi-spreker spraakverwerking, door een realistische simulatieomgeving te bieden die de kloof tussen theoretische frameworks en praktische systeemevaluatie overbrugt.