Technische Samenvatting: FormalASR

1. Probleemstelling

Automatische Spraakherkenning (ASR)-systemen worden traditioneel geoptimaliseerd voor letterlijke transcriptie, waarbij de gesproken oppervlaktevorm trouw wordt gereproduceerd. Hoewel dit effectief is voor benchmarks die de Tekstfoutenratio (CER) meten, bevat deze output vaak disfluënties (bijv. "uh", "eh"), valse starts, herhalingen en informele zinsstructuren. Deze kenmerken maken de output ongeschikt voor downstream toepassingen gericht op schrijven, zoals het genereren van vergaderminuten, dictaat van documenten of spraakgestuurde editors, die formele, goed geconstrueerde tekst vereisen.

Huidige oplossingen omvatten doorgaans een tweestapsproces: een ASR-model genereert een letterlijke transcriptie, gevolgd door een apart Groot Taalmodel (LLM) om de tekst in een formele stijl te herschrijven. Deze aanpak introduceert echter aanzienlijke latentie, verdubbelt het geheugengebruik en bemoeilijkt de implementatie op het apparaat vanwege de noodzaak om twee modellen gelijktijdig uit te voeren. Omgekeerd vertrouwen grote multimodale modellen die in één doorgang formele transcriptie kunnen genereren vaak op cloud-API's, wat kosten met zich meebrengt en privacyzorgen oproept die implementatie aan de rand (edge) uitsluiten.

2. Methodologie

De auteurs stellen FormalASR voor, een end-to-end aanpak die gesproken Chinees audio direct afbeeldt op formele geschreven tekst met behulp van één compact model, waardoor de noodzaak van aanvullende LLM's tijdens inferentie wordt geëlimineerd.

2.1. Datasetconstructie

Om toezichtgevend trainen voor deze taak mogelijk te maken, construeerden de auteurs twee grootschalige datasets door bestaande letterlijke corpora te herschrijven:

• WenetSpeech-Formal: Afgeleid van het WenetSpeech-corpus, met 969.201 trainingsvoorbeelden.
• Speechio-Formal: Afgeleid van de Speechio-benchmark, met 43.178 testvoorbeelden verspreid over 27 domeinspecifieke subsets (lezingen, interviews, vergaderingen, enz.).

Constructieproces:

1. Input: Originele audio en letterlijke transcripties.
2. LLM-herschrijven: Het DeepSeek-V3.2-model werd geprompt om letterlijke transcripties om te zetten in formeel geschreven Chinees. Dit proces omvatte het verwijderen van vulwoorden, het herschikken van zinnen volgens schrijfgewoonten, het normaliseren van leestekens en het corrigeren van herkenningsfouten, terwijl de semantische inhoud behouden bleef.
3. Kwaliteitsfiltering: Automatische filtering verwierp kwalitatief slechte herschrijvingen op basis van inbeddingssimilariteit (semantische consistentie), bewerkingsafstand (zorgen voor zinvolle formalisering zonder hallucinaties) en de aanwezigheid van voor de hand liggende artefacten.

2.2. Modelarchitectuur en Training

De auteurs fine-tuneden Qwen3-ASR (een audio-taalmodel met een Whisper-stijl encoder en een autoregressieve Qwen-decoder) op twee schalen: 0,6B en 1,7B parameters.

• Trainingsdoel: Standaard toezichtgevend fine-tuning (SFT) met maximum likelihood schatting. Het model leert om akoestische tekst-uitlijning, verwijdering van disfluënties en stijltransfer gezamenlijk uit te voeren binnen één conditioneel generatieproces.
• Inferentie: Decoding wordt direct uitgevoerd op audio-input om formele tekst te produceren, waarbij de systeemcomplexiteit identiek blijft aan standaard implementaties van ASR met één model.

3. Belangrijkste Bijdragen

1. Datasets: Het openbaar maken van WenetSpeech-Formal en Speechio-Formal, de eerste grootschalige Chinese datasets voor gesproken-naar-formeel die zijn geconstrueerd via LLM-gebaseerd herschrijven en kwaliteitsfiltering. Deze maken end-to-end training mogelijk zonder aanvullende modellen tijdens inferentie.
2. Modellen: De release van FormalASR-0.6B en FormalASR-1.7B, compacte audio-taalmodellen die zijn gefine-tuned voor directe transcriptie van gesproken naar formeel.
3. Prestaties: Aantonen dat compacte modellen aanzienlijke verbeteringen kunnen behalen in de kwaliteit van formalisering ten opzichte van letterlijke baselines, terwijl ze geschikt blijven voor implementatie op het apparaat.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op zowel domeinspecifieke (WenetSpeech-Formal testset) als cross-domein (Speechio-Formal testset) benchmarks.

4.1. Nauwkeurigheidsmetrieken

FormalASR presteerde consequent beter dan letterlijke baselines (Qwen3-ASR en Whisper large-v3) op alle metrieken:

• Tekstfoutenratio (CER): FormalASR bereikte tot een 37,4% relatieve CER-reductie ten opzichte van letterlijke baselines op de cross-domein Speechio-Formal benchmark (bijv. het 1,7B-model verlaagde de CER van 0,2393 naar 0,1499).
• ROUGE-L en BERTScore: Beide metrieken verbeterden, wat bevestigt dat het model de semantische inhoud behoudt terwijl disfluënties worden verwijderd. Bijvoorbeeld, op WenetSpeech-Formal verbeterde het 1,7B-model ROUGE-L van 0,8571 naar 0,8896 en BERTScore van 0,9268 naar 0,9439.
• Schaaleffect: Het 1,7B-model presteerde consequent beter dan het 0,6B-model, wat suggereert dat grotere decoders een sterkere capaciteit bieden voor linguïstische formalisering.

4.2. Inferentie-efficiëntie

• Tokenreductie: Door vulwoorden en disfluënties te verwijderen, produceert FormalASR kortere outputsequenties. Gemiddeld verlaagde FormalASR-1,7B het aantal outputtokens met 22,8% op WenetSpeech-Formal en 14,3% op Speechio-Formal in vergelijking met de letterlijke baseline.
• Latentie: De reductie in sequentielengte leidde tot lagere decodingslatentie. Het voordeel in latentie groeide superlineair met de zinslengte; voor lange uitspraken (40–49 tokens) verlaagde FormalASR-1,7B de latentie met ongeveer 388 ms ten opzichte van de letterlijke baseline.

4.3. Quantisatie en Haalbaarheid op het Apparaat

De auteurs evalueerden GGUF-quantisatie om het potentieel voor implementatie op het apparaat te valideren:

• 8-bit (Q8 0): Bijna verliesloze compressie. De modelgrootte werd met ~47% verkleind (bijv. het 1,7B-model van 3,80 GB naar 2,03 GB) met verwaarloosbare kwaliteitsdaling (CER-stijging van slechts 0,0001).
• 4-bit (Q4 K): Sterke compressie (~72% verkleining van de grootte) met gematigde kwaliteitsafwegingen. Opvallend is dat het 1,08 GB 4-bit 1,7B-model nog steeds beter presteerde dan het 1,46 GB 0,6B-model in volledige precisie, wat aangeeft dat modelcapaciteit, en niet numerieke precisie, de primaire determinant is van de kwaliteit van formalisering.

5. Betekenis en Claims

Het artikel beweert dat FormalASR het eerste werk is dat een compact audio-taalmodel end-to-end fine-tuned voor gesproken-naar-formeel Chinese transcriptie. De primaire betekenis ligt in het aantonen dat moderne ASR-modellen de latente capaciteit voor linguïstische formalisering bezitten; ze vereisen simpelweg toezicht om deze capaciteit te activeren zonder de modelgrootte of de complexiteit tijdens inferentie te vergroten.

Door kwalitatief hoogwaardige formalisering in één doorloop te bereiken, adresseert FormalASR het kritieke gat tussen letterlijke ASR-output en de formele tekst die door downstream toepassingen wordt vereist. Het biedt een lichtgewicht, op het apparaat werkende oplossing die de latentie, geheugenkosten en privacyzorgen vermijdt die geassocieerd zijn met tweestapsprocessen of cloudgebaseerde multimodale modellen. De auteurs concluderen dat hun aanpak praktische implementatie mogelijk maakt voor realtime transcriptie in privacygevoelige of hulpbronnenbeperkte omgevingen.