No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data

Technische Samenvatting: Geen 'One-Size-Fits-All': Systemen Bouwen voor Vertaling naar het Bashkirs, Kazachs, Kirgizs, Tartaars en Tsjoevasj

Probleemstelling
Het artikel behandelt de uitdaging van machinevertaling (MT) voor taalkundig schaarse Turkse talen, met een specifieke focus op vijf taalparen: Russisch-Bashkirs, Russisch-Kazachs, Russisch-Kirgizs, Engels-Tartaars en Engels-Tsjoevasj. De auteurs merken op dat hoogwaardige parallelle data schaars is voor deze talen, wat onderzoek naar meerdere benaderingen noodzakelijk maakt om de vertaalkwaliteit onder condities van datatekort te verbeteren.

Methodologie
De auteurs hanteerden een hybride strategie die dataugmentatie, parameter-efficiënte fine-tuning en retrieval-augmented prompting combineert.

• Data Constructie en Augmentatie:

  • Originele Data: De studie aggregeerde bestaande parallelle corpora uit diverse bronnen (bijv. NLLB Team, Plotnikov en Antonov, Zhang et al.) voor de vijf taalparen.
  • Synthetische Data: Om datatekort aan te pakken, hebben de auteurs de trainingssets uitgebreid met behulp van Yandex.Translate. Ze vertaalden Engelse zinnen naar het Russisch (waar nodig) en vervolgens naar de doel-Turkse talen. Dit proces maakte gebruik van "document translation"-functies op grote blokken (50k–200k samples).
  • Filtering: Synthetische data werd zorgvuldig gefilterd om zinnen te verwijderen die in de testsets voorkomen.
  • Pseudolabeling: De auteurs maakten gebruik van data-pseudolabeling; zij vonden dat meertalige training zonder dit proces in voorlopige experimenten inferieure resultaten opleverde.
  • Finale Dataset: Na augmentatie bereikte de omvang van de trainingsdata ongeveer 2,46 miljoen samples per taalpaar. Een specifieke subset, YaTURK-7lang, werd uitgebracht, bevattende data vertaald naar zes talen.

• Benadering 1: Fine-tuning met LoRA (Kazachs en Bashkirs)

  • Base Model: De auteurs kozen facebook/nllb-200-distilled-600M als het basismodel.
  • Tokenization: Aangepaste taalpaar-prefixes (bijv. <prefix_rus_bash>) werden toegevoegd aan de tokenizer om het model te sturen.
  • Trainingsstrategie: Twee modi werden verkend:
    1. Multi-task fine-tuning op alle talen voor één epoch, gevolgd door LoRA-adapter training voor specifieke talen.
    2. Single-task fine-tuning.
  • LoRA Configuratie: De auteurs gebruikten DORA (Weight-Decomposed Low-Rank Adaptation), een uitbreiding van LoRA. Belangrijke hyperparameters waren $r=64$, $\alpha=64$, LoRA dropout van 0,2, en PiSSA gewichtsinitialisatie. De doelmodules omvatten projectielagen ($q, v, k, out$) en feed-forward lagen ($fc1, fc2$).
  • Optimalisatie: De training maakte gebruik van de paged AdamW-8bit optimizer met een lineaire learning rate scheduler (start rate $5e^{-4}$) voor LoRA en cosine scheduling voor volledige fine-tuning.

• Benadering 2: Retrieval-Augmented Prompting (Tsjoevasj, Tartaars, Kirgizs)

  • Rationale: Het fine-tunen van NLLB op het Tsjoevasj presteerde slecht, waarschijnlijk omdat het basismodel niet was voorgetraind op het Tsjoevasj. Ook de zero-shot prestaties voor Engels-Tsjoevasj waren zwak.
  • Retrieval Systeem: Een ANNOY index werd gebouwd met bron-taal zinnen uit de dataset. Voor nieuwe queries haalde het systeem de meest vergelijkbare bronzinnen en hun vertalingen op om als in-context voorbeelden te dienen.
  • Embeddings: thenlper/gte-small werd gebruikt voor Engels-Tsjoevasj, terwijl sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 werd gebruikt voor andere paren.
  • LLM Prompting: Verschillende modellen werden getest via API (DeepSeek-R1, DeepSeek-N1, MiMoV2, Gemma3, DeepSeek-V3.2). De prompt instrueerde het model om een zin te vertalen op basis van opgehaalde vergelijkbare voorbeelden, met strikte beperkingen om alleen de vertaling terug te geven.
  • Configuratie: Voor Engels-Tsjoevasj werd een grote context window (TOP_N=7000) gebruikt. Voor Engels-Tartaars bleek zero-shot prompting met DeepSeek-V3.2 superieur aan retrieval-gebaseerde methoden.

• Ensembling (Stacking):

  • De auteurs probeerden de beste vertaling te selecteren uit meerdere inzendingen met behulp van semantische gelijkenis (LaBSE encoder) en perplexity-gebaseerde filtratie. Deze methoden leidden echter over het algemeen tot lichte verslechteringen in validatiescores vergeleken met de beste enkele inzending.

Belangrijkste Resultaten
De auteurs rapporteren chrF++ scores van de competitie leaderboard:

• Kazachs: De LoRA-gebaseerde benadering behaalde de hoogste score van 49,71.
• Bashkirs: De LoRA-gebaseerde benadering behaalde 46,94.
• Tsjoevasj: Het prompten van DeepSeek-V3.2 met opgehaalde voorbeelden behaalde 39,47, wat aanzienlijk beter is dan het gefinetunede NLLB-model (11,70) en zero-shot baselines.
• Tartaars: Een zero-shot of retrieval-gebaseerde benadering behaalde 41,6. Opvallend genoeg was het zero-shot resultaat van DeepSeek-V3.2 (43,66) onverslaanbaar door retrieval-methoden.
• Kirgizs: De zero-shot benadering bereikte 45,6, waarmee het retrieval-gebaseerde prompting versloeg, wat prestatiedalingen veroorzaakte wanneer de context windows werden uitgebreid.

Bijdragen en Betekenis
De primaire bijdrage van het artikel is de demonstratie dat een "one-size-fits-all" strategie ineffectief is voor taalkundig schaarse Turkse talen; in plaats daarvan hangt de optimale aanpak af van de specifieke beschikbaarheid van middelen en de kenmerken van de doeltaal.

• Resource-Afhankelijke Strategieën: Voor relatief rijkere talen (Bashkirs, Kazachs) bleek het fine-tunen van voorgetrainde modellen (NLLB) op synthetische data met LoRA/DORA het meest effectief.
• Aanpassing bij Schaarste: Voor extreem schaarse talen zoals het Tsjoevasj, waarbij het basismodel geen pretraining had, leverde retrieval-augmented prompting met Large Language Models significante kwaliteitsverbeteringen op.
• Zero-Shot Limieten: Voor talen met redelijke zero-shot prestaties (Kirgizs, Tartaars) waren complexe retrieval-mechanismen niet beter dan eenvoudige zero-shot prompting met geavanceerde modellen zoals DeepSeek-V3.2.
• Open Release: De auteurs hebben de YaTURK-7lang dataset en de modelgewichten voor Kazachs en Bashkirs (inclusief het multi-task gefinetunede model en de LoRA adapters) vrijgegeven om verder onderzoek te faciliteren.

Conclusie
De studie concludeert dat hoewel fine-tuning op synthetische data de meest veelbelovende weg is voor talen met enige bestaande middelen, prompting met opgehaalde voorbeelden een levensvatbaar alternatief is voor talen met extreme datatekort. De auteurs erkennen dat toekomstig onderzoek specifiek voorgetrainde modellen op laag-resource talen zou kunnen verkennen, maar hun huidige werk stelt een baseline vast voor het afhandelen van deze specifieke Turkse taalparen met de beschikbare tools en data.