Efficient ASR Training with Conversations that Never Happened

Technische Samenvatting: Efficiënte ASR-training met gesprekken die nooit hebben plaatsgevonden

Probleemstelling
Conversationele Automatische Spraakherkenning (ASR) voor talen met minder middelen en niche-domeinen staat voor een kritieke flessenhals: de schaarste aan domein-specifieke, multi-speaker trainingsdata. Hoewel diepe akoestische modellering en zelfgesuperviseerde pretraining ASR aanzienlijk hebben geavanceerd, zijn deze winsten sterk afhankelijk van data. Bestaande corpora slagen er vaak niet in om het volledige spectrum van sprekersdiversiteit, discursieve fenomenen en variatie in onderwerpen te vangen dat aanwezig is in echte interacties. Traditionele methoden voor data-augmentatie, zoals snelheidspersistentie of masking, verbeteren de robuustheid, maar kunnen geen nieuwe lexicale inhoud, sprekersrollen of complexe conversationele structuren introduceren. Bovendien missen standaard pipelines voor neurale Tekst-naar-Spraak (TTS) vaak controle over sprekersattributen en multi-party interactiedynamiek, waardoor ze het temporele structurele verloop van natuurlijke dialoog (bijv. beurtwisseling, overlappingen en onderbrekingen) niet kunnen simuleren.

Methodologie
De auteurs stellen een verenigde, drie-fasen pipeline voor om synthetische multi-speaker conversationele audio te genereren voor ASR-augmentatie. Deze aanpak integreert Large Language Models (LLM's), TTS en conversatiesimulatie:

1. LLM-gebaseerde scenario- en dialooggeneratie: De pipeline prompt een LLM om een scenario te genereren bestaande uit een onderwerp ($t_k$) en deelnemersmetadata ($M_k$), inclus\de leeftijd, geslacht, beroep en conversationele rol. Geconditioneerd op deze metadata genereert de LLM een gestructureerde, turn-level dialoog waarbij elke uiting wordt toegewezen aan een specifieke sprekersindex.
2. Metadata-geconditioneerde TTS-synthese: Elke gegenereerde uiting wordt gesynthetiseerd met behulp van een neuraal TTS-model (xTTS-v2). Cruciaal is dat het systeem de gegenereerde sprekersmetadata (leeftijd en geslacht) koppelt aan het meest geschikte referentiestemprofiel uit een bestaande bank van echte spraaksegmenten. Het selectiealgoritme kiest de referentie met het overeenkomende geslacht en de dichtstbijzijnde leeftijd, wat zorgt voor sprekersconsistentie en diversiteit.
3. Sprekersbewuste conversatiesimulatie: De gesynthetiseerde uitingen worden samengevoegd tot één conversationeel golfvorm. In tegenstelling tot eenvoudige concatenatie gebruikt deze fase een sprekersbewuste simulatiemethode om temporele dynamiek te modelleren. Het past gesamplede inter-turn offsets toe om pauzes en overlappingen te simuleren op basis van de vraag of de spreker verandert of hetzelfde blijft, waardoor de interactionele organisatie van spontane spraak wordt gereproduceerd zonder een speciaal toegewezen conversationeel TTS-model te vereisen.

Belangrijkste Bijdragen

• Verenigd Framework: Een pipeline die LLM-scenario-generatie, metadata-geconditioneerde TTS en sprekersbewuste simulatie combineert om synthetische conversationele data voor ASR te creëren.
• Metadata-geconditioneerde stemselectie: Een procedure die de gegenereerde sprekersattributen (leeftijd/geslacht) expliciet koppelt aan referentie TTS-profielen, waardoor de kloof tussen tekstgeneratie en akoestisch realisme wordt overbrugd.
• Vergelijkende Evaluatie: Een rigoureuze beoordeling van vijf hedendaagse LLM-families (GPT, Claude Haiku, Gemini, Grok en Qwen) onder een gedeeld augmentatieprotocol, waarbij de prestaties van single-generator, fixed-budget mengsels en scale-up configuraties worden geëvalueerd.
• Empirische Validatie: Bewijs dat LLM-gestuurde, sprekersbewuste synthetische conversaties de Hongaarse conversationele ASR-prestaties verbeteren ten opzichte van non-augmented baselines en eerdere augmentatiemethoden.

Resultaten
De experimenten werden uitgevoerd op de Hongaarse BEA-Dialogue benchmark met een FastConformer-Large training recipe.

• Single-Generator Performance: Synthetische conversaties verbeterden de prestaties consistent ten opzichte van training op enkel echte data. GPT-5.4 mini kwam als sterkste single generator uit de bus, met een character error rate (cpCER) van 8.20 en een word error rate (cpWER) van 17.75 bij een schaal van 500 conversaties.
• Generator Mengsels: Onder een vast budget van 500 conversaties leverde het mengen van generatoren slechts marginale of negatieve resultaten op als zwakkere generatoren de bijdrage van de sterkste zouden verwateren. Het beste fixed-budget mengsel (GPT + Haiku) presteerde iets beter dan de beste single generator (17.56 cpWER vs. 17.75 cpWER).
• Scale-Up: Het verwijderen van de vaste budgetrestrictie toonde aan dat het opschalen van de hoeveelheid synthetische data van hoogpresterende generatoren verdere winst opleverde. De beste configuratie combineerde GPT, Haits, Qwen en Grok, wat een cpWER van 16.65 bereikte.
• Gecombineerde Augmentatie: Het meest effectieve systeem combineerde de beste LLM-gegenereerde scale-up (4 generatoren) met gesimuleerde conversaties afgeleid van echte uitingen (BEA-Large). Deze hybride aanpak bereikte een cpWER van 15.40 en een cpCER van 7.57.
• Vergelijking met Large-Scale Baselines: Het gecombineerde systeem, getraind op slechts 67 uur echte conversatie plus 636 uur gesimuleerde data, presteerde beter dan een zero-shot model getraind op 2.700 uur Hongaarse spraak (dat een 16.27 cpWER behaalde).

Betekenis en Claims
Het artikel claimt dat LLM-gegenereerde conversationele data, wanneer gesynthetiseerd met TTS en gestructureerd via sprekersbewuste simulatie, dient als een praktisch en efficiënt complement aan echte conversationele corpora. De bevindingen suggereren dat voor talen met minder middelen, het genereren van scenario-gebaseerde dialogen met gecontroleerde sprekersattributen meer relevante trainingscontext kan bieden dan grootschalige generieke akoestische pretraining. De auteurs benadrukken dat de keuze van de generator en de compositie van de data cruciaal zijn; het simpelweg vergroten van het datavolume of het mengen van willekeurige generatoren garandeert geen verbetering. In plaats daarvan bestaat de meest effectieve strategie uit het opschalen van hoogpresterende generatoren en het combineren van deze met simulaties afgeleid van echte uitingen om zowel linguïstische diversiteit als natuurlijke akoestische eigenschappen te vangen. Deze aanpak biedt een hulpbron-efficiënt pad voor het trainen van robuuste conversationele ASR-systemen waar domein-specifieke gelabelde data schaars is.