Contextual Earnings-22: A Speech Recognition Benchmark with Custom Vocabulary in the Wild

Dit paper introduceert Contextual Earnings-22, een nieuw open dataset met realistische contextuele woordenschat om de vooruitgang van spraakherkenningsystemen in de praktijk beter te meten en te stimuleren, aangezien bestaande academische benchmarks de prestaties in hoog-risico domeinen niet adequaat weerspiegelen.

De kern

Stel je voor dat je een tolk hebt die fantastisch is in het vertalen van alledaagse gesprekken. Hij kent woorden als "koffie", "regen" en "fiets" uit zijn hoofd. Maar als je hem vraagt om een gesprek over de beurs te vertalen, waar mensen praten over specifieke bedrijven, dure producten en exotische namen, dan struikelt hij. Hij zegt misschien "Apple" (het fruit) in plaats van "Apple" (het tech-bedrijf), of hij verwardt de naam van een CEO met een andere persoon.

Dit is precies het probleem dat dit nieuwe onderzoek ("Contextual Earnings-22") aanpakt. Hier is een uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Perfecte" Tolke die faalt in de praktijk

Vroeger dachten wetenschappers dat als een spraakherkenningsysteem (zoals Siri of Google) 99% van de woorden goed verstaat, het perfect was. Maar in de echte wereld, bijvoorbeeld tijdens een belconferentie van een bedrijf, telt niet het totale aantal fouten, maar welke fouten je maakt.

• De Vergelijking: Stel je voor dat je een recept voor een taart volgt. Als je per ongeluk "zout" in plaats van "suiker" doet, is de taart onbruikbaar, ook al heb je de rest van de instructies perfect gevolgd.
• De Realiteit: Als een systeem de naam van een bedrijf of een product verkeerd uitspreekt, is de hele tekst onbruikbaar voor de gebruiker, zelfs als de rest van de zin perfect is. De huidige tests (de "academische benchmarks") kijken alleen naar het totale aantal fouten, maar missen deze cruciale details.

2. De Oplossing: Een "Spiekbriefje" voor de Tolke

Om dit op te lossen, geven we de tolk een spiekbriefje (een lijst met woorden) voordat hij begint. Dit noemen ze "context conditioning".

• Hoe het werkt: Je zegt tegen de computer: "Let op, in dit gesprek komen de namen Tesla, Elon Musk en Cybertruck voor."
• De twee manieren:
  1. Het Flitslicht (Keyword Boosting): De computer krijgt een lijst met woorden en wordt "aangemoedigd" om die woorden te kiezen als ze klinken alsof ze daar horen.
  2. De Hint (Keyword Prompting): De computer krijgt een tekstuele hint: "Onthoud dat je deze namen moet gebruiken."

3. De Nieuwe Test: "Contextual Earnings-22"

De auteurs hebben een nieuwe test ontwikkeld, gebaseerd op echte belconferenties van bedrijven (zoals die van Apple of Microsoft). Ze hebben dit niet zomaar bedacht, maar echt gemaakt:

• Ze hebben echte audio-opnames genomen.
• Ze hebben met een slimme AI (GPT-5) de belangrijke namen eruit gehaald.
• Ze hebben mensen ingezet om te controleren of de tekst klopte met de audio (want computers maken hier vaak fouten).
• Het resultaat: Een database van korte, 15-seconden clips, elk met een lijstje met de juiste namen die in dat stukje audio voorkomen.

4. De Twee Scènes: De Rustige Kamer vs. De Drukte

De test kijkt naar twee situaties, net als in het echte leven:

• Situatie A: De Rustige Kamer (Lokale Context)
  Je geeft de tolk alleen de namen die precies in dat korte stukje audio voorkomen.
  • Vergelijking: Het is alsof je de tolk alleen de namen geeft van de mensen die in de kamer staan. Dit is makkelijk, en de tolk doet het goed.
• Situatie B: De Drukte (Globale Context)
  Je geeft de tolk de namen van alle mensen en bedrijven die in het hele uur durende gesprek voorkomen, ook al worden ze in dat specifieke 15-seconden stukje niet genoemd.
  • Vergelijking: Het is alsof je de tolk een lijst geeft van 100 mensen, terwijl er in de kamer maar 3 staan. De tolk moet nu heel goed kunnen kiezen en niet per ongeluk een naam noemen die niet in de kamer is. Dit is veel moeilijker en hier falen veel systemen.

5. Wat hebben ze ontdekt?

Ze hebben zes verschillende spraaksystemen getest (zowel dure commerciële diensten als gratis open-source modellen).

• De Goede Nieuws: Als je de systemen het spiekbriefje geeft, worden ze veel beter in het herkennen van die specifieke namen. De "F-score" (een maat voor hoe goed ze de juiste namen vangen) gaat omhoog.
• De Bittere Pil: Soms maakt het geven van een spiekbriefje de rest van de tekst juist slechter.
  • Vergelijking: Soms is de tolk zo gefocust op de namen op zijn lijstje, dat hij per ongeluk een naam in de tekst plakt die er niet hoorde (een "hallucinatie"), of hij begint in een andere taal te praten.
• Het Verschil tussen Systemen: Sommige systemen zijn slim genoeg om te weten welke namen ze moeten gebruiken en welke ze niet moeten gebruiken (ze zijn resistent tegen afleiding). Andere systemen worden erdoor in de war gebracht en beginnen namen te verzinnen.

Conclusie

Dit onderzoek zegt eigenlijk: "Stop met alleen kijken naar het totale aantal fouten. Kijk of de tolk de belangrijke namen goed kan zeggen, en of hij niet in de war raakt door een te lange lijst met namen."

Ze hebben de data en de testtools openbaar gemaakt, zodat ontwikkelaars hun systemen kunnen verbeteren. Het is alsof ze een nieuwe, eerlijke racebaan hebben gebouwd waar de echte kampioenen van spraakherkenning zich kunnen bewijzen, niet alleen in de theorie, maar in de drukke, chaotische realiteit van de zakelijke wereld.

Technische samenvatting

Probleemstelling

De nauwkeurigheidsvooruitgang van spraak-naar-tekst (STT) systemen lijkt te stagneren op academische benchmarks, terwijl industriële toepassingen in hoog-risico domeinen (zoals financiële earnings calls) aangeven dat er nog veel ruimte voor verbetering is. De auteurs stellen dat de discrepantie wordt veroorzaakt door contextuele conditionering:

• Academische benchmarks worden gedomineerd door veelvoorkomende algemene vocabulaire.
• In de praktijk bepaalt een klein aantal zeldzame, context-specifieke termen (zoals bedrijfsnamen, productnamen en persoonsnamen) vaak of een transcript bruikbaar is.
• Bestaande benchmarks missen gestandaardiseerde protocollen om systemen te testen op deze "custom vocabulary" in realistische scenario's, waarbij zowel de precisie van de termen als de weerstand tegen afleiders (distractors) wordt gemeten.

Methodologie: Contextual Earnings-22

Het paper introduceert Contextual Earnings-22, een open dataset gebaseerd op het bestaande Earnings-22 corpus, specifiek ontworpen om contextuele spraakherkenning te evalueren.

1. Dataverzameling en Pipeline:

• Bron: Audio en transcripties van ongeveer 1 uur per earnings call.
• Sleutelwoorden: Een LLM (GPT-5) extrahert kandidaat-sleutelwoorden (personen, bedrijven, producten) uit de transcriptie.
• Segmentatie: Er worden 15-seconden audio-clips gegenereerd rondom elke vermelding van een sleutelwoord.
• Forced Alignment: De clips worden uitgelijnd met de tekst via een wav2vec-gebaseerde aligner.
• Manuele Correctie: Een kritieke stap is de handmatige review en correctie van transcripties om artefacten (zoals <unk> tags, verkeerde spelling van namen, en timingfouten) te verwijderen. Dit resulteert in een dataset met een zeer hoge kwaliteit (98,7% van de samples is vrij van onhoorbare tags).

2. Context Regimes:
De dataset ondersteunt twee evaluatiescenario's die productomgevingen nabootsen:

• Lokale Context: Bevat alleen de sleutelwoorden die in de specifieke clip voorkomen. Dit test de precisie van het systeem wanneer de context exact is.
• Globale Context: Bevat de volledige inventaris van sleutelwoorden uit de hele call (inclusief termen die niet in de clip worden gesproken). Dit introduceert realistische "distractors" en test de robuustheid tegen valse positieven.

3. Evaluatiemetrics:
Naast de standaard Word Error Rate (WER), worden sleutelwoord-specifieke metrics gebruikt (Precision, Recall, F-score). Dit is cruciaal omdat een lage WER niet garandeert dat de cruciale, contextuele termen correct zijn herkend.

Belangrijkste Bijdragen

1. Standaardisatie: De eerste open, gestandaardiseerde benchmark die korte clips koppelt aan realistische, context-dichte vocabulaire in een publiek domein (financiële calls).
2. Dual-Regime Evaluatie: Het introduceren van een vergelijkingskader tussen een "ideale" lokale context en een "realistische" globale context met afleiders.
3. Reproduceerbare Baselines: Het bieden van zes sterke baselines voor de twee dominante benaderingen:
   • Keyword Prompting: Via commerciële API's (Deepgram, OpenAI/Whisper, AssemblyAI) en open-source implementaties.
   • Keyword Boosting: Via een schaalbare CTC-WS (Connectionist Temporal Classification - Word Scoring) pipeline (Argmax/Parakeet).
4. Open Source Tooling: Publicatie van de audio-clips, gecorrigeerde transcripties, context lijsten en een evaluatie-harness.

Resultaten

De experimenten met zes STT-systemen tonen de volgende inzichten:

• Verbeterde Herkenning: Het toevoegen van context leidt tot een significante stijging in de Keyword F-score voor alle systemen. Systemen herkennen de specifieke termen veel beter dan zonder context.
• WER vs. Keyword Accuracy: Er is geen lineair verband. Sommige systemen verbeteren hun keyword-herkenning aanzienlijk zonder dat de algehele WER daalt, of zelfs met een lichte stijging in WER. Dit suggereert dat context soms artefacten introduceert (zoals hallucinaties) die de algehele tekstkwaliteit beïnvloeden, zelfs als de doeltermen correct zijn.
• Lokaal vs. Globaal:
  • Lokale context is systematisch makkelijker en leidt tot hogere F-scores (hoge precisie en recall).
  • Globale context stresst de precisie. Systemen neigen meer valse positieven te genereren door termen uit de contextlijst in te voegen die niet in de audio staan.
• Systematische Verschillen: Verschillende systemen reageren anders op context. Sommige profiteren enorm van lokale context (precisie-gewinst), terwijl anderen gevoeliger zijn voor de formatteerwijze van de lijst of de mechanismen voor boosting.

Significantie en Conclusie

Het paper concludeert dat de huidige focus op algemene WER als enige metriek ontoereikend is voor de evaluatie van STT in professionele domeinen. Contextual Earnings-22 biedt een noodzakelijk kader om de bruikbaarheid van transcripties in de echte wereld te meten.

De belangrijkste bevinding is dat hoewel zowel prompting als boosting de herkenning van custom vocabulaire verbeteren, de robuustheid tegen distractors (in globale context) een sleuteldifferentiator blijft tussen systemen. De dataset en de bevindingen motiveren een verschuiving in de onderzoeksgemeenschap naar metrics die specifiek kijken naar contextuele termen, naast de traditionele WER, om de daadwerkelijke inzetbaarheid van STT-systemen in high-stakes omgevingen te waarborgen.