English to Central Kurdish Speech Translation: Corpus Creation, Evaluation, and Orthographic Standardization

Probleemstelling

Het paper adresseert twee fundamentele uitdagingen op het gebied van spraakvertaling (Speech-to-Text Translation, S2TT) voor het Centraal-Koerdisch (CKB):

1. Data-schaarste: Er is een gebrek aan grote, gepaarde datasets (audio en tekst) voor Centraal-Koerdisch, wat de ontwikkeling van state-of-the-art vertaalmodellen belemmert. Bestaande bronnen zijn vaak klein of niet specifiek gericht op spraak.
2. Orthografische variabiliteit: Centraal-Koerdisch kent geen volledig gestandaardiseerd schrijfsysteem. Dit leidt tot aanzienlijke variatie in spelling (bijvoorbeeld samengevoegde versus gescheiden woorden, verschillende vormen van leenwoorden en affixen). Deze variabiliteit verhoogt de data-sparseheid en degradeert vertaalkwaliteit, omdat modellen moeite hebben om niet-standaard vormen te generaliseren.

Methodologie

1. Corpuscreatie: KUTED
De auteurs introduceerden KUTED (Kurdish TED), een nieuw dataset voor spraak-vertaling afgeleid van TED en TEDx-lezingen.

• Omvang: Het corpus bevat ongeveer 170 uur Engels spraak, uitgesplitst in 91.000 zinparen (1,65 miljoen Engelse tokens en 1,40 miljoen CKB-tokens).
• Datacollectie: De data is verzameld via de "Kurdish TED Translator Community" (voornamelijk studenten van de Koya University). Het proces omvatte training, vertaling en redactie door professionele vertalers.
• Alignatie en Kwaliteitscontrole: Er werd een strikt proces toegepast voor het aligneren van audio en tekst, inclusief het verwijderen van introducties en het corrigeren van sub-zin-tijdstippen. Een menselijke evaluatie bevestigde een hoge kwaliteit (gemiddelde score >4/5 op nauwkeurigheid en vloeiendheid).
• Automatische filtering: Een ASR-model (Seamless v2) werd gebruikt om misaligneerde audiofragmenten te detecteren en te filteren op basis van de Levenshtein-afstand tussen de transcriptie en de ASR-hypothese.

2. Orthografische Standaardisatie
Om het probleem van spellingvariatie aan te pakken, ontwikkelden de auteurs een systematische drie-staps standaardisatieaanpak:

• N1 (Normalisatie): Toepassing van de AsoSoft normalisator voor Unicode-correctie, leestekens en getallen.
• N2 (Algemene correctielijst): Toepassing van een lijst met 19.700 veelvoorkomende spelfouten en correcties, afgeleid van bestaande Koerdische corpora.
• N3 (Corpus-specifieke correctielijst): Extractie van unieke tokens uit het KUTED-corpus en het creëren van een nieuwe correctielijst (11.860 paren) gebaseerd op de specifieke variaties in de dataset.
• Resultaat: Deze stappen reduceerden het aantal unieke tokens met ongeveer 50%, wat de data-sparseheid aanzienlijk verlaagde.

3. Experimentele Opzet
De auteurs evalueerden het corpus in drie scenario's:

• End-to-End (E2E) S2TT: Fine-tuning van het Seamless-model (een groot meertalig spraak-vertaalmodel) op KUTED.
• Cascaded S2TT: Een pipeline waarbij een fine-tuned Seamless-model de spraak omzet naar tekst (ASR), gevolgd door een NLLB (No Language Left Behind) model voor tekst-naar-tekst vertaling (MT).
• Vanaf nul trainen: Training van een Fairseq Transformer-model (76M parameters) puur op KUTED, zonder gebruik van voorgeïmplementeerde S2TT-componenten, om de kwaliteit van het corpus zelf te testen.

Belangrijkste Resultaten

• Impact van Standaardisatie: Orthografische standaardisatie had een dramatisch effect op de prestaties. Voor het fine-tuned Seamless-model steeg de BLEU-score op de KUTED-testset van 11,34 (zonder standaardisatie) naar 15,18 (met volledige standaardisatie, N3). Dit bevestigt dat orthografische variatie een grote bottleneck is voor Koerdische vertaling.
• Prestaties van KUTED:
  • Het fine-tuned Seamless-model bereikte 13,51 BLEU op de KUTED-testset (tegenover een baseline van 5,04).
  • Er was een significante verbetering op het FLEURS-benchmark (out-of-domain), waar de score steeg van 9,36 naar 12,50 BLEU.
• Cascaded vs. E2E: Het cascaded systeem (Seamless ASR + NLLB MT) bereikte 15,57 BLEU, wat vergelijkbaar is met de E2E resultaten, wat suggereert dat een sterke ASR gevolgd door een sterke MT zeer effectief is voor deze taak.
• Vanaf nul trainen: Het Fairseq-model, getraind zonder vooringenomenheid, behaalde 7,90 BLEU. Dit is lager dan de fine-tuned modellen, wat aangeeft dat KUTED alleen nog niet groot genoeg is om een model vanaf nul te trainen tot state-of-the-art niveau, maar wel een waardevolle aanvulling is.

Bijdragen en Significantie

1. KUTED Dataset: Het paper levert een van de grootste en hoogst gekwalificeerde openbare bronnen voor spraak-vertaling naar Centraal-Koerdisch, afgeleid van authentiek publiek materiaal (TED).
2. Standaardisatie Framework: De auteurs bieden een bewezen methode om orthografische variabiliteit in laag-resourced talen aan te pakken. Dit is van cruciaal belang voor het verbeteren van NLP-taken voor talen met niet-gestandaardiseerde schrijfsystemen.
3. Validatie van Bestaande Modellen: Het onderzoek toont aan dat grote, vooringeschoolde modellen (zoals Seamless en NLLB) significant kunnen worden verbeterd voor laag-resourced talen door middel van zorgvuldig gealigneerde en gestandaardiseerde data.
4. Community-Engagement: Het paper benadrukt het succes van een community-gedreven aanpak (studenten en vrijwilligers) voor het creëren van linguïstische resources, wat een model biedt voor andere ondervertegenwoordigde talen.

Conclusie:
Het paper demonstreert dat de combinatie van een hoogwaardig, menselijk gecontroleerd corpus (KUTED) en een systematische aanpak voor orthografische standaardisatie de prestaties van spraakvertaling voor Centraal-Koerdisch aanzienlijk kan verbeteren. Hoewel de dataset op zichzelf niet volstaat om een model vanaf nul te trainen, fungeert het als een krachtige resource om bestaande state-of-the-art modellen te fine-tunen en te verbeteren, zowel binnen het domein als daarbuiten.