Technische Samenvatting: Transcriptiebeleid als een Latente Variabele

1. Probleemstelling

Huidige grootschalige Automatic Speech Recognition (ASR)-systemen behandelen het transcriptiebeleid—de beslissing om verbatim tekst te produceren (inclusief disfluenties, stopwoorden, herhalingen en paralinguïstische klanken) versus de beoogde tekst (schone, vloeiende inhoud)—als een ongecontroleerde latente variabele. Deze ambiguïteit ontstaat omdat modellen doorgaans worden getraind op heterogene geannoteerde data zonder expliciete controlesignalen.

De auteurs identificeren drie primaire gevolgen van deze ambiguïteit:

1. Decoding Instabiliteit: Bij disfluente spraak levert beam search significant verschillende transcripties op voor hetzelfde audiofragment (mediane karakter-niveau beam divergentie ~15%), omdat het model een signaal mist om te kiezen tussen concurrerende transcriptiestrategieën.
2. Evaluatie Confounding: Standaard Word Error Rate (WER) vermengt inhoudelijke fouten met stijlverschillen. De auteurs tonen aan dat tot wel 60% van de gerapporteerde WER op conversationele benchmarks (bijv. AMI) reflecteert een stijl-mismatch in plaats van een werkelijke herkenningsfout.
3. Onduidelijke Timing: Als een model inconsistent besluit of het een woordherhaling of een stopwoord moet emitteren, mist de cross-attention distributie voor dat temporele gebied een stabiel doelwit, waardoor woordniveau-timestamps conceptueel ongedefinieerd en praktisch onnauwkeurig worden.

2. Methodologie

De auteurs stellen dat de kernuitdaging capaciteitscontrole is in plaats van capaciteitsverwerving, en beargumenteren dat vooraf getrainde modellen beide stijlen al coderen maar een expliciete activatie vereisen. Ze introduceren drie complementaire mechanismen om deze latente capaciteiten eenduidig te activeren, gebruikmakend van de OpenAI Whisper-medium architectuur als basis.

A. Expliciete Stijlcontrole via Mode Tags

De auteurs introduceren discrete decoder-prefix tokens (mode tags) om het transcriptiebeleid te parametriseren als een binaire keuze tussen verbatim (letterlijk) en intended (beoogde) modi.

• Ontwerp: Ze breiden de vocabulaire uit met specifieke tokens: [verbatim 1..3] voor disfluentie-controle, [sound 1,2] voor paralinguïstische gebeurtenissen, en [intended 1..5] voor schone output.
• Dekking-bewuste Partitionering: Om heterogene annotatiekwaliteit te verwerken (bijv. corpora met disfluentie-labels maar zonder sound-labels), zijn de tags gepartitioneerd. Tijdens de training ontvangen samples alleen de tags die overeenkomen met hun annotatie-dekking. Dit voorkomt dat het model tegenstrijdige gradiënten leert (het bestraffen voor ontbrekende labels die nooit geannoteerd waren).
• Trainingsstrategie: Dezelfde audio wordt onder beide beleidsregels getraind, onderscheiden door enkel de prefix tags. Dit leert de encoder om alle beschikbare inhoud (woorden, disfluenties, klanken) te representeren, terwijl de tags de emissie-policy dicteren.

B. Gesuperviseerde Cross-Attention voor Woordniveau-Timing

Zodra de output token-sequentie is gestabiliseerd door mode tags, passen de auteurs gesuperviseerde cross-attention toe om de timing te verbeteren.

• Objectief: In plaats van te vertrouwen op emergente, ongesuperviseerde alignment, superviseren ze direct geselecteerde cross-attention heads met woordgrenzen-targets afgeleid van forced alignment.
• Loss Functie: Ze minimaliseren de gemiddelde cosinusafstand tussen de gemiddelde attention distributie van geselecteerde heads en een binaire ground-truth target vector die het tijdsbestek van het woord representeert.
• Inference: Om de samenvoeging van witruimte door de tokenizer te verwerken, ontkoppelen ze pauzedetectie van attention met behulp van een energy-based pauze model en passen ze temperature scaling (sharpening) toe op de attention distributies vóór Viterbi alignment.

C. Verbatimize: Transcript-geconditioneerde Disfluency Recovery

De auteurs introduceren een nieuwe taak genaamd Verbatimize, die de schaalbare creatie van verbatim transcripties uit beoogde transcripties mogelijk maakt.

• Mechanisme: Gegeven een audiobestand en een beoogde transcriptie (als prompt), reconstrueert het model een canonieke verbatim versie. Het kopieert de geprompte inhoud exact en voegt daar academisch gefundeerde disfluenties (stopwoorden, herhalingen, afkapkingen, klanken) aan toe op hun temporele locaties.
• Training: Dit omvat een "casing perturbation" techniek waarbij inhoudswoorden in de prompt willekeurig in hoofdletters worden geschreven om het model te dwingen naar de prompt te attention voor exacte spelling, terwijl het vertrouwt op de audio voor de lokalisatie van disfluenties.

3. Belangrijkste Resultaten

Latente Capaciteit en Cross-Linguale Transfer

• Zero-Shot Activatie: Het trainen van alleen de mode-tag embeddings (waarbij de 764M parameter encoder en decoder bevroren bleven) verhoogde de Duitse disfluentie event F1 van 10% naar 79% zero-shot, ondanks het ontbreken van Duitse verbatim trainingsdata.
• Full Fine-Tuning: Volledige Engels-specifieke fine-tuning (FT0) bereikte 93,8% disfluentie event F1 op Duits en 90,7% op Engels.
• Policy Controle: Het verwijderen van mode tags uit het gefinetunede model liet de Duitse F1 dalen naar 60,1%, wat aantoont dat expliciete policy signalen cruciaal zijn voor cross-linguale transfer en stabiliteit.
• Beoogde Kwaliteit: Mode tags slaagden erin de lekkage van disfluenties in de beoogde output te onderdrukken (Insertion Rate daalde van ~15% naar ~3-4%) zonder de herkenningsnauwkeurigheid in gevaar te brengen (Substitution en Deletion rates bleven stabiel).

Woordniveau-Timing

• Prestaties: De gesuperviseerde cross-attention methode bereikte een Mean Absolute Error (MAE) van 36 ms op gelezen spraak (TIMIT) en 102 ms op disfluente spraak (FluencyBank).
• Vergelijking: Dit presteert beter dan forced-alignment baselines (bijv. MFA degradeert naar 142 ms op disfluente spraak; WhisperX bereikt 200 ms). De methode generaliseert ook naar het Duits (55 ms MAE) met zero Duitse timing supervisie.

Verbatimize

• Herstel van Zeldzame Woorden: Op een evaluatieset voor zeldzame woorden verbeterde Verbatimize de Rare-Word Recall (RWR) van 6,8% (acoustic-only transcriptie) naar 96,1%, met een Content Loss Rate (CLR) van slechts 1,3%. Dit bevestigt dat het model de geprompte inhoud getrouw kan kopiëren terwijl het disfluenties toevoegt.

4. Betekenis en Claims

Het artikel claimt dat transcriptiestijl in moderne ASR een ongecontroleerde latente variabele is die meetbare instabiliteit en evaluatiefouten veroorzaakt. De betekenis van het werk ligt in:

1. Demonstreren van Latente Capaciteit: Laten zien dat grootschalige modellen reeds de capaciteit bezitten om verbatim of beoogde tekst te transcriberen, en enkel een expliciete interface (mode tags) nodig hebben om dit te activeren, in plaats van deze vaardigheden vanaf nul te leren.
2. Resolutie van Evaluatie Ambiguïteit: Het bieden van een framework om inhoudelijke fouten te scheiden van stijl-mismatches, wat een eerlijkere evaluatie van conversationele ASR mogelijk maakt.
3. Schaalbare Dataverrijking: Het introduceren van "Verbatimize" als een methode om hoogwaardige canonieke verbatim transcripties te genereren uit overvloedige beoogde transcripties, wat het tekort aan geannoteerde disfluentie corpora aanpakt, met name voor niet-Engelse talen.
4. Verenigde Aanpak: Een enkel model aanbieden dat kan schakelen tussen verbatim en beoogde modi, precieze woordniveau-timing kan bieden op disfluente spraak, en transcript-geconditioneerde generatie kan uitvoeren, waarbij het gespecialiseerde baselines in alle categorieën overtreft.

De auteurs concluderen dat de sprong van 10% naar 94% zero-shot performance de visie ondersteunt dat mode-specifieke transcriptie grotendeels vereist dat er wordt geactiveerd in plaats van verworven.