SloPal: A 60-Million-Word Slovak Parliamentary Corpus with Aligned Speech and Fine-Tuned ASR Models

Deze paper introduceert SloPal, een uitgebreid corpus van 66 miljoen woorden uit de Slowaakse parlementaire debatten, en SloPalSpeech, een uitgelijnd spraakdataset van 2.806 uur dat de prestaties van Whisper-ASR-modellen voor het Slowaaks aanzienlijk verbetert.

De kern

🇸🇰 SloPal: De Grote Boekhouder van de Slowaakse Parlementsvergaderingen

Stel je voor dat je een reusachtige bibliotheek hebt, maar de boeken staan in een taal die maar weinig computers begrijpen. In dit geval is die taal Slowaaks. Computers zijn heel slim in het begrijpen van Engels of Duits (zoals een ervaren tolk), maar voor Slowaaks hebben ze vaak te weinig "oefenmateriaal". Het is alsof je iemand wilt leren zwemmen, maar je hebt maar één klein badje water in plaats van een zwembad.

Dit paper introduceert SloPal, een nieuw project dat dit probleem oplost door de Slowaakse parlementsvergaderingen te gebruiken als dat enorme zwembad.

1. Het Probleem: De "Taalhonger" van de Computer

Computers die spraak herkennen (zoals Siri of Alexa) hebben duizenden uren aan gesprekken nodig om te leren hoe een taal klinkt. Voor talen als Slowaaks was er echter maar heel weinig data beschikbaar (minder dan 100 uur). Het was alsof je een chef-kok wilde leren koken, maar je gaf hem alleen maar een zakje suiker in plaats van een volledige supermarkt aan ingrediënten.

2. De Oplossing: SloPal (De Grote Verzameling)

De onderzoekers zijn gaan graven in de openbare archieven van het Slowaakse parlement. Ze hebben een drie-delige schat gevonden:

• De Tekst (SloPal): Ze hebben 330.000 transcripties verzameld. Dit is alsof ze alle speechen van de afgelopen 23 jaar (van 2001 tot 2024) hebben uitgetypt. Het is een berg van 66 miljoen woorden.
  • Vergelijking: Stel je voor dat je een telefoonboek hebt van heel Europa, maar dan met de volledige tekst van elke vergadering, inclusief wie er sprak en wat hun rol was.
• De Audio (SloPalSpeech): Ze hebben de bijbehorende opnames van de vergaderingen gevonden. Maar hier was een probleem: de opnames waren soms urenlang en de teksten waren niet perfect op de geluidsgolven afgestemd.
  • De oplossing: Ze hebben de lange opnames in stukjes van 30 seconden gesneden en perfect op elkaar afgestemd. Het is alsof je een lange film in korte, perfecte clips hebt gesneden die precies bij de ondertiteling passen.
• De "Slimme" Computers (De Modellen): Ze hebben deze nieuwe data gebruikt om een bestaande, slimme AI (genaamd Whisper) te trainen.
  • Vergelijking: Stel je voor dat Whisper een student is die al Engels en Frans spreekt. De onderzoekers hebben deze student een intensieve cursus Slowaaks gegeven met al die parlementaire vergaderingen. Na de cursus kon de student Slowaaks bijna net zo goed als een native spreker.

3. Hoe hebben ze het gedaan? (De Magische Schaar)

Een van de grootste uitdagingen was het koppelen van de audio aan de tekst. De parlementaire opnames waren vaak lang en de tekst zat vol met foutjes of ontbrekende delen.

• De Anker-methode: In plaats van alles handmatig te doen, gebruikten ze een slimme truc. Ze lieten de computer eerst een ruwe transcriptie maken van de audio. Vervolgens zochten ze naar woorden die in beide versies (de ruwe versie en de officiële tekst) voorkwamen. Deze woorden noemden ze "ankers".
  • Vergelijking: Stel je voor dat je twee lange touwen hebt die je aan elkaar wilt knopen. Je zoekt naar knopen die in beide touwen zitten (de ankers) en gebruikt die om de touwen stap voor stap aan elkaar te rijgen. Zo ontstond een perfect afgestemd stukje audio en tekst.

4. Het Resultaat: Een Reusachtige Sprong Voorwaarts

Na het trainen met deze nieuwe data gebeurde er iets wonderlijks:

• De fouten verdwenen: De computer maakte tot 70% minder fouten bij het herkennen van Slowaakse woorden.
• Klein is mooi: Ze ontdekten dat een kleinere versie van de AI (met minder "hersencellen" of parameters) na deze training net zo goed presteerde als een gigantische, dure versie van de AI.
  • Vergelijking: Het is alsof je een kleine, wendbare racefiets hebt getraind tot hij even snel is als een zware vrachtwagen, maar dan veel zuiniger en makkelijker te gebruiken.

5. Waarom is dit belangrijk?

Voorheen was Slowaaks een "arme taal" voor computers. Nu, dankzij SloPal, hebben onderzoekers en ontwikkelaars:

1. Een volledige bibliotheek aan teksten om politieke discussies te bestuderen.
2. Een perfect afgestemd geluidsbestand om spraaksoftware te verbeteren.
3. Gratis, openbare modellen die iedereen kan gebruiken om Slowaakse spraak te verwerken.

Kortom: De onderzoekers hebben een leeg zwembad (Slowaakse spraakdata) gevuld met water uit de parlementaire vergaderingen, een zwemles gegeven aan een computer, en nu kan die computer Slowaaks niet alleen zwemmen, maar zelfs meedoen aan de Olympische spelen. En het beste van alles? Ze hebben de blauwdrukken en het water gratis beschikbaar gesteld voor iedereen.

Technische samenvatting

Probleemstelling

Slaaks (Slovak) is een taal met weinig beschikbare bronnen (low-resource language) voor Automatische Spraakherkenning (ASR). Er zijn minder dan 100 uur publiek beschikbare trainingsdata, wat leidt tot slechte prestaties van bestaande modellen. Hoewel grote meertalige modellen zoals Whisper van OpenAI indrukwekkend zijn voor talen als Engels, presteren ze aanzienlijk slechter op Slowaaks (met een Woordfoutpercentage of WER van vaak boven de 10-30% in vergelijking met <5% voor talen met veel data). Er ontbreekt een omvangrijk, uitgelijnd dataset van spraak en transcriptie specifiek voor het Slowaaks, en bestaande resources zijn vaak niet openbaar, niet uitgelijnd, of ontbreken de nodige metadata voor diepgaand onderzoek.

Methodologie

1. Dataverzameling (SloPal Corpus)
De auteurs hebben een uitgebreid corpus gebouwd op basis van openbare parlementsverslagen van de Slowaakse Nationale Raad (NRSR), gedateerd van 2001 tot 2024.

• Bronnen: Audio-opnames werden gedownload via de MediaPortál (NRSR) en transcripties werden verkregen via de Gezamenlijke Tsjechische en Slowaakse Digitale Parlementsbibliotheek.
• Verwerking: De transcripties (in DOCX-formaat) werden verwerkt met Apache Tika. Een heuristische benadering werd ontwikkeld om sprekers te identificeren op basis van vetgedrukte tekst, namen (1-3 namen) en een woordlimiet (max. 15 woorden), terwijl niet-verbale notities tussen haakjes werden verwijderd.
• Resultaat: Een tekstcorpus van 330.000 spreker-gesegmenteerde transcripties (66 miljoen woorden, 220 miljoen tokens) met rijke metadata (naam, rol, sessie-informatie).

2. Uitlijning en Segmentatie (SloPalSpeech)
Omdat de originele audio-segmenten onnauwkeurig waren en de transcripties vaak langer waren dan de audio (de audio bevatte alleen de ochtendzittingen), werd een nieuwe uitlijningspipeline ontwikkeld:

• Referentie-transcriptie: WhisperX werd gebruikt om een ruwe transcriptie met woord-tijdstempels te genereren.
• Anker-gebaseerde uitlijning: Een taal-onafhankelijke methode werd toegepast om de Whisper-transcriptie uit te lijnen met de grond-waarheid (de officiële transcriptie). Woorden die in beide versies voorkomen ("anchors") werden gematchd op basis van Levenshtein-afstand en context (4 woorden voor en na).
• Segmentatie: De data werd opgesplitst in segmenten van maximaal 30 seconden, geoptimaliseerd voor Whisper-architecturen.
• Kwaliteitscontrole: Segmenten met een WER boven de 40% (gebaseerd op een tweede Whisper-pass) werden verwijderd om de dataset schoon te houden.
• Resultaat: SloPalSpeech, een dataset van 2.806 uur uitgelijnde audio-transcriptieparen.

3. Fine-tuning van ASR-modellen
Verschillende varianten van Whisper (Small, Medium, Turbo, Large-v3) werden gefine-tuned op SloPalSpeech.

• Training: Gebruik van Hugging Face Transformers en NVIDIA A10 GPU's. Voor het Large-v3 model werd Fully Sharded Data Parallel (FSDP) gebruikt om geheugenproblemen op te lossen.
• Hyperparameters: Er werd gebruikgemaakt van een lagere leerfrequentie (40x kleiner dan de pre-training) en gewichtsdecay (0.01) om overfitting te voorkomen, vooral bij het Large-v3 model.
• Validatie: Prestaties werden gemonitord op een apart parlementsdataset en subsets van Common Voice en FLEURS om generalisatie te garanderen.

Belangrijkste Bijdragen

1. SloPal Text Corpus: Het meest complete openbare Slowaakse parlementaire tekstcorpus tot nu toe, met 66 miljoen woorden en volledige spreker-metadatering. Dit maakt onderzoek naar politieke discours, sprekerspecifiek taalgebruik en diachronische linguïstiek mogelijk.
2. SloPalSpeech Audio Dataset: De eerste dedicated Slowaakse parlements-spraakdataset van 2.806 uur, specifiek geoptimaliseerd voor ASR-training met 30-seconde segmenten.
3. Fine-tuned Whisper Modellen: Vier openbaar gemaakte modellen (van 244M tot 1,5B parameters) die specifiek zijn getraind op Slowaakse parlementsdata.
4. Openbare Beschikbaarheid: Alle resources (tekst, audio en modellen) zijn vrijgegeven onder de CC BY 4.0 licentie (voor data) en MIT licentie (voor modellen) via Hugging Face.

Resultaten

De fine-tuning resulteerde in aanzienlijke verbeteringen in het Woordfoutpercentage (WER) op standaard benchmarks (Common Voice 21 en FLEURS):

• Significante WER-reductie: De fine-tuned modellen lieten een verbetering zien van 32% tot 70% ten opzichte van de basismodellen.
• Efficiëntie: Het fine-tuned Whisper Small-model (244M parameters) bereikte prestaties die dicht in de buurt kwamen van het basis Whisper Large-v3-model (1,5B parameters), maar met 6 keer minder parameters.
  • Voorbeeld: Whisper Small-Tuned haalde een WER van 10,6% op FLEURS, terwijl het basis Large-v3 9,2% haalde.
• Vergelijking met concurrenten: Het fine-tuned Large-v3 model (WER 5,5% op FLEURS) presteerde beter dan NVIDIA's Canary-1B-v2 (6,82%) en Parakeet-0.6B-v3 (10,07%) op de Slowaakse benchmarks, ondanks dat de NVIDIA-modellen waarschijnlijk ook op deze datasets waren getraind.
• Generalisatie: De modellen presteerden goed niet alleen op parlementaire data, maar ook op algemene Slowaakse spraak (Common Voice en FLEURS), wat aantoont dat er geen "catastrophic forgetting" optreedt.

Betekenis en Impact

Dit werk vult een kritieke lacune in de ASR-landschap voor Slowaaks en andere Slavische talen.

• Low-Resource Oplossing: Het demonstreert dat domeinspecifieke data (parlementsverslagen) zeer effectief kan zijn om de prestaties van ASR-modellen voor low-resource talen drastisch te verbeteren, zelfs met beperkte trainingsuren vergeleken met high-resource talen.
• Kostenefficiëntie: Het feit dat een klein model (Small) na fine-tuning bijna net zo goed presteert als een enorm model (Large-v3) maakt de technologie veel toegankelijker voor praktische implementaties en deployement in omgevingen met beperkte rekenkracht.
• Onderzoeksmogelijkheden: Door de combinatie van tekst, audio en rijke metadata biedt SloPal een unieke basis voor multidisciplinair onderzoek, variërend van computationele sociolinguïstiek tot politieke analyse en spraaktechnologie.
• Reproduceerbaarheid: De auteurs bieden een "anchor-based" uitlijningspipeline die taal-onafhankelijk is, wat andere onderzoekers in staat stelt vergelijkbare corpora te bouwen voor andere talen waar parlementaire transcripties beschikbaar zijn maar geen uitgelijnde audio.

Kortom, SloPal zet een nieuwe standaard voor openbare Slowaakse taalbronnen en bewijst dat gerichte fine-tuning op hoogwaardige domeindata de kloof tussen low- en high-resource talen in ASR aanzienlijk kan verkleinen.