When Multiple Scripts Matter: Evaluating ASR in Clinical Settings

Dit artikel introduceert MultiClin, een klinische ASR-benchmark die de onderschatting van prestaties in niet-Engelse omgevingen veroorzaakt door multiscript-variabiliteit aanpakt, waarbij wordt aangetoond dat een multiscript-bewuste evaluatie eerlijkere beoordelingen oplevert en dat het verenigen van scripts tijdens de training de modelconvergentie en herkenningsnauwkeurigheid aanzienlijk verbetert.

De kern

Stel je voor dat je een robot probeert te leren luisteren naar een arts die met een patiënt praat. In een Engelstalig ziekenhuis is dit relatief eenvoudig: de arts zegt "brace" en de robot schrijft "brace" op.

Maar in veel niet-Engelstalige landen, zoals Zuid-Korea, is de situatie een beetje als een tweelinguïstisch feestje waar iedereen dezelfde taal spreekt, maar met verschillende accenten of spellingen.

Hier is het verhaal van het onderzoek, uitgelegd aan de hand van eenvoudige concepten:

1. Het Probleem: De "Eén Juist Antwoord"-valstrik

In de echte wereld kan een Koreaanse arts het Engelse woord "brace" (voor een kniebrace) zeggen. Maar bij het opschrijven kunnen ze dit op twee geldige manieren doen:

• Manier A: De Engelse spelling: "brace"
• Manier B: De Koreaanse fonetische klank: "bureseu" (브레이스)

Beide betekenen exact hetzelfde en klinken hetzelfde. Echter, standaard computertests voor spraakherkenning zijn als een strenge leraar die slechts één specifiek antwoord accepteert. Als de robot "bureseu" schrijft maar de toets sleutel zegt "brace", dan markeert de computer dit als fout, ook al heeft de robot de arts perfect begrepen.

De auteurs noemen dit "Multiscript Variabiliteit." Het is alsof je een vriend vraagt om "Hello" op te schrijven, en hij schrijft "Hullo" of "Salut" (als hij Frans was), en jij zegt dat hij is gezakt voor de test, simpelweg omdat de spelling niet precies is zoals jij die in je hoofd had.

2. De Oplossing: De "MultiClin" Benchmark

De onderzoekers bouwten een nieuwe testomgeving genaamd MultiClin. Zie dit als een gespecialiseerd examen voor spraakrobots dat de "tweelinguïstische feestjes"-regel begrijpt.

• De Dataset: Ze creëerden een bibliotheek van fictieve (maar realistische) gesprekken tussen artsen en patiënten. Omdat echte medische opnames privé zijn (zoals een geheim dagboek), hebben ze AI gebruikt om deze gesprekken te genereren, waarbij ze zorgvuldig medische termen hebben toegevoegd die in zowel het Engels als het Koreaans geschreven kunnen worden.
• De Nieuwe Regel: In plaats van te controleren of het antwoord van de robot overeenkomt met één specifiek script, controleert de nieuwe test of het antwoord van de robot overeenkomt met ofwel de Engelse versie ofwel de Koreaanse versie. Het is alsof een leraar zegt: "Als je 'brace' OF 'bureseu' hebt geschreven, krijg je volledige punten."

3. De Resultaten: Robots Lijken Veel Slimmer

Wanneer de onderzoekers populaire spraakrobots (zo zoals Whisper, Qwen en Gemini) testten met de oude "strenge leraar"-regels, zagen ze er slecht uit. De foutmarges waren hoog omdat de robots werden gestraft voor het gebruik van de lokale spelling.

Maar toen ze de nieuwe MultiClin-regels gebruikten:

• Daalden de foutmarges aanzienlijk.
• De robots waren niet echt dommer; de test was gewoon te streng.
• De beste robot (Gemini 2.5 Pro) liet zien dat hij deze lastige medische gesprekken veel beter kon aanpakken dan we dachten, zodra we stopten met het straffen voor het gebruik van het lokale script.

4. De Trainingsles: Kies een Zijde!

De onderzoekers probeerden de robots ook zelf te trainen met deze nieuwe data. Ze ontdekten een zeer belangrijke les over hoe je ze traint: Consistentie is essentieel.

Stel je voor dat je een kind leert het woord "cat" te schrijven.

• Scenario A: Je laat ze 100% van de tijd "cat" zien. Ze leren het perfect.
• Scenario B: Je laat ze 50% van de tijd "cat" zien en de andere 50% "kæt" (fonetisch). Het kind raakt in de war. Ze weten niet welk het "echte" woord is, en ze beginnen fouten te maken.

Het paper vond dat als de trainingsdata willekeurig Engelse en Koreaanse spellingen mengde (een 50/50 verdeling), de robot erg in de war raakte en slecht presteerde. Het was alsof het brein van de robot in cirkels draaide terwijl hij probeerde te beslissen welke spelling juist was.

De Winnaar: De robots presteerden het best wanneer de trainingsdata 100% verenigd was. Als het doel was om in het Koreaans te schrijven, werd alles in het Koreaans geschreven. Als het doel Engels was, was alles Engels. Dit elimineerde de verwarring en liet de robot de medische termen snel en accuraat leren.

Samenvatting

• Het Probleat: Huidige tests straffen spraakrobots onterecht voor het gebruik van lokale spellingen van medische woorden, zelfs als deze correct zijn.
• De Oplossing: De auteurs creëerden MultiClin, een nieuwe test die meerdere geldige spellingen (Engels of lokaal script) als correcte antwoorden accepteert.
• De Ontdekking: Robots zijn eigenlijk veel beter in het begrijpen van medische spraak dan we dachten, maar we moeten stoppen met ze te beoordelen met een "one-size-fits-all" liniaal.
• De Trainings-tip: Om deze robots goed te trainen, mag je niet willekeurig verschillende spellingstijlen mengen. Kies één stijl en houd je eraan, anders raakt de robot in de war.

Technische samenvatting

Technische Samenvatting: Evaluatie van ASR in Klinische Settings met Multiscript Variabiliteit

Probleemstelling
Automatische Spraakherkenning (ASR) in niet-Engelse klinische omgevingen staat voor een specifieke uitdaging die bekend staat als multiscript variabiliteit. In tegenstelling tot standaard code-switching, waarbij sprake is van akoestische afwisseling tussen talen, treedt multiscript variabiliteit op wanneer een enkele gesproken medische term overeenkomt met meerdere geldige orthografische vormen (bijv. een Engelse medische term geschreven in het Romeinse alfabet versus de fonetische weergave ervan in een lokaal schrift zoals Koreaans Hangul).

Conventionele ASR-evaluatiemetrieken, zoals de Word Error Rate (WER), vertrouwen op een aanname van een enkele referentie-transcriptie. In klinische settings faalt deze aanname omdat Engelse medische termen vaak geen gestandaardiseerde lokalisatierichtlijnen hebben, wat leidt tot meerdere geldige transcripties. Strikte string-matching metrieken behandelen deze geldige orthografische varianten als fouten, waardoor de ASR-prestaties systematisch worden onderschat. Bovendien hebben bestaande benchmarks en metrieken (zoals Transliterated WER) zich primair gericht op algemene domeinen zoals code-switching of dialectale variatie, waardoor klinische multiscript settings grotendeels onontgonnen zijn gebleven.

Methodologie
Om deze hiaten aan te pakken, introduceren de auteurs MultiClin, een klinische ASR-benchmark die is ontworpen om de robuustheid tegenover multiscript variabiliteit te evalueren.

• Dataset Constructie: De dataset is opgebouwd uit publiekelijk beschikbare arts-patiënt dialogen (ACIBench, Primock57, MTS-Dialog). Het proces omvatte:

  1. Tagging: Het gebruik van een LLM om instanties van script-switching te identificeren en te labelen in drie categorieën: MEDICAL (Engelse termen), UNIT (meeteenheden) en NUMBER.
  2. Vertaling & Transliteratie: Dialogen werden vertaald naar het Koreaans. Cruciaal was dat getagde entiteiten in hun oorspronkelijke vorm werden behouden, maar werden aangevuld met een fonetische weergave in het lokale schrift (bijv. "injection, 인젝션"), gescheiden door komma's. Dit creëert een "veel-op-één" mapping tussen spraak en geldige orthografie.
  3. Menselijke Annotatie: Verpleegkundig professionals hebben de data beoordeeld op orthografische correctheid en natuurlijkheid.
  4. Spraaksynthese: Om te voldoen aan HIPAA en privacyrestricties, werd audio gesynthetiseerd met TTS-modellen met specifieke spreekstijlen (professionele artsen, lethargische patiënten) en gesimuleerde klinische ruis (reverb, HVAC).
  5. Statistieken: De uiteindelijke dataset bevat 316 dialogen die meer dan 20+ klinische specialismen dekken, met een gemiddelde van 34 beurten per dialoog.

• Evaluatieprotocol (Dynamic Multiscript Reference Resolution): De auteurs stellen een gelokaliseerde evaluatiemetriek voor (Algoritme 1) die verder gaat dan single-reference matching.

  • Voor elke getagde entiteit in de referentie extraheert het systeem dynamisch een venster van 50 tekens uit de ASR-voorspelling.
  • Het berekent de Character Error Rate (CER) voor zowel de originele Engelse vorm als de lokale schriftvorm tegenover dit venster.
  • Het systeem selecteert de referentievariant (origineel of getranslitereerd) die de minimale lokale fout oplevert, waardoor beide orthografische vormen effectief als geldige grondwaarheid worden behandeld.

• Experimentele Opzet:

  • Modellen: Zero-shot inferentie werd getest op Whisper (v3, v3-turbo), Qwen3 ASR (0.6B, 1.7B) en Gemini (2.5 Flash, 2.5 Pro).
  • Fine-tuning: Whisper-modellen werden gefinetuned met behulp van LoRA. De studie onderzocht specifiek de impact van labeling consistentie door de "transliteratie ratio" (de proportie getagde entiteiten die in het lokale schrift versus het originele schrift worden weergegeven) tijdens de training te variëren.

Belangrijkste Resultaten

1. Evaluatiebias: Het overstappen van strikte single-label matching ("origineel" alleen) naar multiscript-bewuste evaluatie ("beide") verminderde de foutpercentages bij alle modellen aanzienlijk. Bijvoorbeeld, de WER van Gemini 2.5 Pro daalde van 28,28% naar 15,78% wanneer medische termen werden geëvalueerd met multiscript flexibiliteit. Dit bevestigt dat conventionele metrieken correcte, fonetisch accurate outputs systematisch bestraffen die orthografisch verschillen van een enkele referentie.
2. Modelprestaties: Onder de multiscript-bewuste setting bereikte Gemini 2.5 Pro de beste Character Error Rate (CER) van 4,86%. Onder de open-source modellen vertoonde Whisper v3 Turbo de sterkste robuustheid (23,00% WER).
3. Winst door Fine-tuning: Het finetunen van Whisper-modellen op de MultiClin-dataset met een 100% transliteratie ratio (het verenigen van alle getagde entiteiten in het lokale schrift) leverde substantiële verbeteringen op. Whisper-Large v3 Turbo behaalde een best-in-class CER van 6,16% (een absolute reductie van 3,83% ten opzichte van de pre-trained baseline).
4. Impact van Labeling Consistentie: De studie vond een niet-monotone relatie tussen de transliteratie ratio en prestaties.
   • 0% Ratio (Gemengd/Alleen Romeins): Hoogste foutpercentages (69,17% CER).
   • 50% Ratio: Een secundaire foutpiek (57,47% CER). De auteurs schrijven dit toe aan orthografische onzekerheid, waarbij inconsistente script-mappings de conditionele entropie $H(Y|X)$ maximaliseren, wat de capaciteit van het model om stabiele beslissingsgrenzen te vormen verstoort.
   • 100% Ratio (Vereenigd): Leverde consequent de beste prestaties (7,66% CER), wat valideert dat script-unificatie een deterministisch leersignaal biedt.

Betekenis en Claims
Het artikel beweert dat MultiClin een eerlijker en informatiever evaluatiekader biedt voor niet-Engelse klinische ASR door rekening te houden met geldige orthografische variaties die traditionele metrieken missen. De auteurs benadrukken dat:

• Multiscript-bewuste evaluatie de werkelijke capaciteiten van ASR-modellen onthult, die vaak worden onderschat door strikte string-matching.
• Script unificatie (trainen met consistente orthografie) een essentiële strategie is om orthografische ambiguïteit te mitigeren en de modelconvergentie in klinische settings te verbeteren.
• De dataset en code publiekelijk beschikbaar zijn om verder onderzoek naar multiscript variabiliteit en klinische ASR robuustheid te faciliteren.

Het werk concludeert door op te merken dat toekomstig onderzoek moet onderzoeken hoe deze ASR-verbeteringen invloed hebben op downstream klinische taken, zoals entiteitsextractie en SOAP-notatie generatie.