💬 NLP

Subtitle-Aligned Fine-Tuning of Whisper for Swiss German ASR: Benchmark Contamination, Convention Mismatch, and an Honest Baseline at 25.6% WER (13.8% cWER)

Dit artikel presenteert een systematische studie naar het fine-tunen van Whisper voor Zwitserduits ASR die ernstige benchmark-contaminatie in eerdere state-of-the-art resultaten blootlegt, een rigoureus geëvalueerde eerlijke baseline van 25,6% WER (13,8% cWER) vaststelt met behulp van broadcast-data met ondertiteling in het Standaardduits, en reproduceerbare modellen vrijgeeft om aan te tonen dat huidige benchmarks primair conventie-overeenkomst meten in plaats van werkelijke dialectbegrip.

Oorspronkelijke auteurs: Felix Akeret

Gepubliceerd 2026-06-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Felix Akeret

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een "Eerlijke" Test voor Zweitserduits AI

Stel je voor dat je een robot probeert te leren om Zwitserduits te begrijpen, een taal die heel anders klinkt dan het "Standaardduits" dat in boeken wordt geschreven en op scholen wordt gebruikt. De robot begint met een generiek brein (OpenAI's Whisper) dat veel talen kent, maar moeite heeft met dit specifieke dialect.

De onderzoekers in dit artikel hebben drie belangrijke dingen gedaan:

Ze hebben de robot onderwezen met 1.367 uur aan echte Zwitserse tv- en radioprogramma's, gekoppeld aan officiële ondertiteling.
Ze hebben een massale "eerlijke" test uitgevoerd om te zien hoe goed de robot echt heeft geleerd, waarbij ze ervoor zorgden dat de robot de testvragen nog nooit eerder had gezien.
Ze ontdekten dat veel andere onderzoekers die beweerden "superieure" robots te hebben, eigenlijk vals speelden door de robot de testantwoorden van tevoren te laten onthouden.

De Hoofdrolspelers en Hulpmiddelen

De Robot (Whisper): Zie dit als een zeer slimme student die miljoenen boeken heeft gelezen, maar nog nooit in Zwitserland is geweest. Wanneer de robot gevraagd wordt naar een Zwitsers accent te luisteren, raadt hij vaak de "Standaardduitse" versie van wat hij hoort, of verzint hij soms woorden (hallucinaties).
De Leraar (Fine-Tuning): De onderzoekers traden op als bijlesdocenten door de robot duizenden uren aan Zwitserse spraak en de "correcte" Standaardduitse ondertiteling te laten zien. Dit is alsof je de student een specifiek tekstboek geeft om te bestuderen.
De Test (ASGDTS): Dit is een gestandaardiseerd examen dat wordt gebruikt om de robot te beoordelen. De onderzoekers hebben ervoor gezorgd dat de robot deze specifieke examenvragen niet zag tijdens zijn studiedagen.

De Grote Ontdekking: Het "Valsspelen"-probleem

De meest schokkende bevinding van het artikel gaat over Benchmark Contaminatie.

Stel je een student voor die zich voorbereidt op een wiskundetoets.

De Eerlijke Student (Dit Artikel): Bestudeert het tekstboek, doet de toets en haalt een score van 25,6%. Dit is een "echte" score omdat ze de specifieke vragen niet uit het hoofd hebben geleerd.
De Valsspelende Studenten (Vorig Onderzoek): Andere onderzoekers beweerden dat hun robots scores van 12% tot 17% haalden (wat veel beter is). De auteurs ontdekten echter dat deze robots waarschijnlijk de testvragen hadden gezien terwijl ze aan het studeren waren.
- Eén robot werd getraind op exact de testset.
- Een andere robot werd getraind op data die precies klonk als de test, waardoor de robot simpelweg de "stijl" van de antwoorden leerde in plaats van de taal zelf.

Het "Zelf-trainen" Bewijs:
Om dit te bewijzen, namen de onderzoekers een robot die nul Zwitserduits kende en leerden hem alleen de testvragen. Verrassend genoeg haalde deze robot een score van 13,8%. Dit bewijst dat als je alleen het testformaat uit je hoofd leert, je een "geweldige" score kunt halen zonder de taal daadwerkelijk te begrijpen. De vorige "beste" scores waren waarschijnlijk gewoon goed in het onthouden van zaken, niet in het begrijpen.

Het Probleem van "Stijl" versus "Waarheid"

De onderzoekers realiseerden zich ook dat de standaard manier van beoordelen (Word Error Rate of WER) onrechtvaardig is voor dialecten.

De Analogie:
Stel dat een Zwitser zegt: "I have done the homework."
Het officiële antwoordmodel (de referentie) zegt: "I did the homework."

Standaard Beoordeling: De beoordelaar markeert dit als fout omdat "have done" anders is dan "did".
De Realiteit: De betekenis is 100% correct. Het verschil is slechts een stijlkeuze (tijdsvorm).

De onderzoekers creëerden een nieuwe manier van beoordelen genaamd cWER (Content Word Error Rate). Ze filterden de "stijl"-fouten eruit en telden alleen de "waarheid"-fouten.

Oude Score: 25,6% (Lijkt slecht).
Nieuwe "Eerlijke" Score: 13,8% (Veel beter).
De "Ware" Score: Wanneer ze de score aanpasten omdat de beoordelaar te streng was, is de werkelijke foutmarge zelfs zo laag als 8,5%.

Dit betekent dat voor elke 100 woorden die de robot volgens de standaardregels "fout" heeft, er ongeveer 60 correct zijn in betekenis, maar net anders geschreven zijn.

De Technische Haperingen (De "Alpha"-fout)

De onderzoekers probeerden twee manieren om de robot te onderwijzen:

Full Fine-Tuning: Het volledige brein van de robot herschrijven.
LoRA: Kleine "plaknotities" (adapters) toevoegen aan het brein van de robot om hem nieuwe dingen te leren zonder alles te herschrijven.

Ze ontdekten een cruciale fout in hoe ze de "plaknotities" gebruikten.

De Fout: Ze gebruikten een vuistregel (een veelvoorkomende wiskundige formule) die wel werkte voor andere AI-typen, maar 25 keer te sterk was voor deze robot.
Het Resultaat: De robot werd krankzinnig. Hij begon zinnen als "Ik heb..." of "Het is..." steeds opnieuw te herhalen, waarbij hij de audio negeerde. Het was alsof een student zo enthousiast was dat hij willekeurige woorden begon te schreeuwen.
De Fix: Ze draaiden het "volume" van de plaknotities zachter. Plotseling stopte de robot met schreeuwen en begon hij weer te luisteren.

De Hardware: Een Desktop Supercomputer

Normaal gesproken vereist het trainen van deze enorme AI-breinen een kamer vol dure servers.

De Opstelling van het Papier: De onderzoekers deden al dit werk op één desktopcomputer (een NVIDIA DGX Spark) die op een bureau past.
De Afweging: Het duurde ongeveer 5 keer langer om te draaien dan op een supercomputer, maar het kostte een fractie van de prijs en vereiste geen datacenter. Dit bewijst dat gewone onderzoekers dit soort werk kunnen doen zonder miljoenen dollars aan financiering nodig te hebben.

Samenvatting van de Resultaten

De Beste Eerlijke Score: Het beste model van de onderzoekers behaalde een foutmarge van 25,6% op de strenge test.
De "Echte" Score: Wanneer je stijlverschillen negeert en alleen echte fouten telt, daalt de foutmarge naar 13,8%.
De Les: Eerdere "wereldrecords" waren opgeblazen omdat de robots de test uit hun hoofd leerden. De onderzoekers hebben hun modellen en data gratis vrijgegeven zodat iedereen deze resultaten kan verifiëren.
De Toekomst: Ze suggeren dat we voor dialecten zoals het Zwitserduits nieuwe manieren nodig hebben om AI te beoordelen die geven om betekenis in plaats van alleen exacte woordovereenkomst.

Kortom: de onderzoekers bouwden een Zwitserduits robot, bewezen dat vorige "kampioenen" vals speelden, herstelden een grote bug in hun training, en lieten zien dat je dit onderzoek op een desktopcomputer kunt doen. Ze toonden ook aan dat we moeten stoppen met dialecten te beoordelen alsover spellingtests en ze moeten gaan beoordelen als vertalingstests.

Technische Samenvatting: Subtitel-gealigneerde Fine-tuning van Whisper voor Zwitserduits ASR

Probleemstelling

Automatische spraakherkenning (ASR) voor het Zwitserduits (Schweizerdeutsch) staat voor een fundamentele uitdaging: de taal is een continuüm van dialecten zonder gestandaardiseerde orthografie, en vertoont significante fonologische, morfologische en syntactische divergentie van het Standaardduits (Hochdeutsch). Bestaande ASR-systemen, inclusom Whisper van OpenAI, worstelen met dit dialect vanwege de onderrepresentatie in trainings corpora, wat vaak leidt tot benaderingen in het Standaardduits, Engelse interpolaties of gehallucineerde outputs.

Een kritisch probleem in het vakgebied is de evaluatie van deze systemen. Gepubliceerde state-of-the-art resultaten (variërend van 12,1% tot 17,5% Word Error Rate) vertrouwen op propriëtaire data, missen de beschikbaarheid van modelgewichten, of lijden aan benchmark contaminatie, waarbij evaluatiedata onbedoeld in de training is opgenomen of dezelfde transcriptieconventies deelt. Bovendien is de standaard Word Error Rate (WER) ongeschikt voor dialect-naar-standaard vertalingstaken, omdat het geldige stilistische variaties (bijv. tijdsvormverschuivingen, woordvolgordewijzigingen) als fouten bestraft, waardoor vertaalambiguïteit wordt verward met herkenningsfalen.

Methodologie

Datacollectie en Pipeline

De studie maakt gebruik van 1.367 uur aan broadcast-spraak gekoppeld aan professioneel geschreven Standaardduitse ondertiteling als zwakke supervisie. De data is afkomstig van vier publiek toegankelijke repositories:

SRF Mediathek: 675,6 uur aan diverse Zwitserse publieke tv-content.
Zwitserse Parlement (SPC v2): 202,4 uur aan Bernese dialectdebatten.
YouTube: 132,8 uur van institutionele en publieke kanalen.
PlaySuisse: 179,9 uur bestaande uit gescripte series en films met een hoge dialectdichtheid.

Een rigoureuze pipeline verwerkt de data:

Kwaliteitsfiltering: Audio-tekstparen worden gefilterd op basis van stilte duur, signaal-ruisverhouding (SNR), lengte en de aanwezigheid van meta-tekst (credits, geluidsomschrijvingen).
Subtitel Alignment: Een pipeline aligneert WebVTT-ondertiteling met audio, hoewel experimenten lieten zien dat het heralignen van tijdstempels verwaarloosbare winst opleverde ten opzichte van de originele tijdstempels, wat suggereert dat de 30-seconden attention window van Whisper kleine verschuivingen compenseert.
Curriculum Design: Trainingsruns maakten gebruik van sequentiële en gemengde strategieën, waarbij de impact van specifieke databronnen werd geïsoleerd (bijv. het onderscheid tussen ruisende gescripte series en schone dialectfilms).

Modelarchitectuur en Training

Het basismodel is Whisper large-v3 (1,55 miljard parameters). De studie vergelijkt twee fine-tuning strategieën over 16 iteratieve runs op een NVIDIA DGX Spark (128 GB unified memory):

LoRA (Low-Rank Adaptation): Toegepast op alle attention en feed-forward projecties. De studie varieerde systematisch de rank ( $r$ ) en de schaleringsfactor ( $\alpha$ ). Een kritieke bevinding was dat de gebruikelijke LLM-heuristiek $\alpha = 2r$ zorgt voor catastrofale decoder-instabiliteit (hallucinaties) in Whisper. De optimale configuratie gebruikte een conservatieve schaling van $\alpha/r = 0,2$ .
Full Fine-Tuning: Alle 1,55 miljard parameters werden getraind met een driefasig curriculum (Foundation, Diversification, Specialization) gevolgd door een gemengde epoch.

Evaluatiestrategie

Modellen werden geëvalueerd op de All Swiss German Dialects Test Set (ASGDTS), een publieke benchmark die strikt gescheiden is van de trainingsdata.

Metrieken: De standaard WER werd berekend, maar de auteurs introduceerden een Harmonized WER Analysis om fouten te deconstrueren:
- cWER (Content WER): Telt alleen echte transcriptiefouten (partiële of totale uitval).
- sWER (Style WER): Telt semantisch correcte outputs die worden bestraft voor stilistische verschillen (tijdsvorm, woordvolgorde, Zwitserse orthografie).
- bWER (Bias-Corrected WER): Corrigeert voor systematische overclassificatie van stijl als fout.
Self-Training Control: Om te testen op benchmark contaminatie, werd een "vanilla" Whisper-model uitsluitend gefinetuned op de ASGDTS-testset (nul Zwitserduits trainingsdata) om het baseline "memorization" effect te meten.

Belangrijkste Resultaten

1. Eerlijke Baseline Prestaties

De beste eerlijke modellen (getraind en geëvalueerd op strikt gescheiden data) behaalden:

LoRA Adapter: 25,32% WER (13,9% cWER).
Full Fine-Tuned Model: 25,60% WER (13,8% cWER).
Verbetering: Full fine-tuning bood een bescheiden verbetering ten opzichte van de zero-shot baseline (28,56% $\to$ 25,60%), waarbij het LoRA overtrof in stabiliteit en robuustheid, hoewel beide een plateau bereikten rond 25,6% WER.

2. Deconstructie van Foutpercentages

De studie laat zien dat de standaard WER de fout in dialect-naar-standaard taken aanzienlijk overschat:

11,3–11,9% van de gemeten WER-straf komt voort uit geldige stilistische variaties (sWER), niet uit herkenningsfouten.
De cWER (echte fouten) is 13,8%.
De bWER (bias-gecorrigeerde WER) is 8,5%, wat suggereert dat de werkelijke foutmarge ongeveer één derde is van de gemeten WER.

3. Benchmark Contaminatie en Memorisatie

Een gecontroleerd experiment toonde aan dat benchmark contaminatie de gepubliceerde "state-of-the-art" resultaten drijft:

Een vanilla Whisper-model dat enkel zelf-getraind is op de ASGDTS testset (zonder enige Zwitserduits trainingsdata) behaalde een 13,88% WER.
Dit overtreft triviaal gepubliceerde resultaten (bijv. 17,1% en 17,5%) en nadert de "eerlijke" cWER van het full fine-tuned model.
Conclusie: Gepubliceerde lage WER-cijfers weerspiegelen primair conventie-matching (het memoriseren van de specifieke transcriptiestijl van de benchmark) in plaats van echt dialectbegrip. Eerdere training op Zwitserduits leed de self-training prestaties zelfs, wat aangeeft dat robuuste modellen weerstand bieden aan overfitting op benchmark-conventies.

4. LoRA Schaling en Hallucinatie

De studie identificeerde dat excessieve LoRA-schaling ( $\alpha/r = 2,0$ ) de Whisper-decoder destabiliseert, waardoor het de end-of-sequence gedraging vergeet en gaat hallucineren. Het verlagen van de schaling naar $\alpha/r = 0,2$ elimineerde hallucinaties en verbeterde de prestaties, waarmee een veelvoorkomende mis toepassing van de heuristiek in ASR werd gecorrigeerd.

5. Datakwaliteit vs. Kwantiteit

Datakwaliteit bleek belangrijker dan volume.

Subtitel Provider Maakt Uit: Data van specifieke providers (bijv. PlaySuisse gescripte series met ingebedde credits) veroorzaakte prestatieverslechtering (+2,92 pp WER), terwijl hoog-dialectische films met schone ondertiteling van hetzelfde platform de prestaties verbeterden (-2,28 pp WER).
Curriculum Limieten: Sequentiële training op diverse databronnen leidde vaak tot catastrofale vergetelheid (catastrophic forgetting), terwijl gemengde training op hoogwaardige subsets (785u) de prestaties van de volledige 1.367u dataset evenaarde.

Betekenis en Claims

Het artikel claimt de eerste open gelicentieerde, rigoureus geëvalueerde en reproduceerbare baseline te bieden voor Zwitserduits ASR met behulp van Whisper. De belangrijkste bijdragen zijn:

Blootleggen van Benchmark Contaminatie: Het demonstreert dat huidige state-of-the-art resultaten opgeblazen zijn door training op of het matchen van de conventies van de evaluatieset. Een model met nul dialecttraining kan "SOTA" WERs bereiken door simpelweg de transcriptiestijl van de testset te memoriseren.
Herdefiniëren van Evaluatie: Het betoogt dat ruwe WER onvoldoende is voor dialect-naar-standaard vertaling. De voorgestelde cWER en bWER metrieken bieden een eerlijkere beoordeling door herkenningsfouten te scheiden van geldige stilistische vertaal keuzes.
Technische Correctie: Het corrigeert de toepassing van LoRA-schaleringsheuristieken voor encoder-decoder ASR-modellen, wat decoder-instabiliteit voorkomt.
Reproduceerbaarheid: In tegen tegenstelling tot eerdere werken die steunen op propriëtaire data of restrictieve licenties, geeft deze studie modelgewichten vrij (Apache 2.0) en gebruikt het uitsluitend publiek toegankelijke data, wat onafhankelijke verificatie mogelijk maakt.
Hardware Toegankelijkheid: Het demonstreert dat fine-tuning van miljarden parameters voor ASR haalbaar is op een enkele desktop workstation (NVIDIA DGX Spark), wat de toegang tot onderzoek naar high-resource modellen democratiseert.

De auteurs concluderen dat de "style floor" (de minimale WER die bereikbaar is door vertaalambiguïteit) inherent is aan de taak en niet enkel door hyperparameter tuning verlaagd kan worden. Toekomstige vooruitgang vereist semantische evaluatiemetrieken en conventie-bewuste trainingsstrategieën in plaats van simpelweg het najagen van lagere ruwe WER-cijfers.