No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data

Sintesi Tecnica: Non esiste una soluzione universale: Costruire sistemi per la traduzione in Bashkir, Kazako, Kirghiso, Tataro e Chuvash

Problematica
Il documento affronta la sfida della traduzione automatica (MT) per le lingue turche a basse risorse, concentrandosi specificamente su cinque coppie linguistiche: Russo-Bashkir, Russo-Kazako, Russo-Kirghiso, Inglese-Tataro ed Inglese-Chuvash. Gli autori rilevano che i dati paralleli di alta qualità sono scarsi per queste lingue, rendendo necessaria l'investigazione di molteplici approcci per migliorare la qualità della traduzione in condizioni di scarsità di dati.

Metodologia
Gli autori hanno impiegato una strategia ibrida combinando l'aumento dei dati (data augmentation), il fine-tuning efficiente nei parametri (parameter-efficient fine-tuning) e il prompting aumentato dal recupero (retrieval-augmented prompting).

• Costruzione e aumento dei dati:

  • Dati Originali: Lo studio ha aggregato corpora paralleli esistenti da varie fonti (ad es. NLLB Team, Plotnikov e Antonov, Zhang et al.) per le cinque coppie linguistiche.
  • Dati Sintetici: Per affrontare la scarsità di dati, gli autori hanno aumentato i set di addestramento utilizzando Yandex.Translate. Hanno tradotto frasi dall'inglese al russo (ove necessario) e poi alle lingue turche target. Questo processo ha utilizzato le funzionalità di "traduzione di documenti" su grandi blocchi (50k–200k campioni).
  • Filtraggio: I dati sintetici sono stati meticolosamente filtrati per rimuovere qualsiasi frase presente nei set di test.
  • Pseudolabeling: Gli autori hanno utilizzato lo pseudolabeling dei dati, riscontrando che l'addestramento multilingue senza di esso produceva risultati inferiori negli esperimenti preliminari.
  • Dataset Finale: Dopo l'aumento, la dimensione dei dati di addestramento ha raggiunto circa 2,46 milioni di campioni per coppia linguistica. Un sottoinsieme specifico, YaTURK-7lang, è stato rilasciato, contenente dati tradotti in sei lingue.

• Approccio 1: Fine-tuning con LoRA (Kazako e Bashkir)

  • Modello Base: Gli autori hanno selezionato facebook/nllb-200-distilled-600M come modello base.
  • Tokenizzazione: Prefissi personalizzati per la coppia linguistica (ad es. <prefix_rus_bash>) sono stati aggiunti al tokenizer per guidare il modello.
  • Strategia di Addestramento: Sono stati esplorati due modi:
    1. Fine-tuning multi-task su tutte le lingue per un'epoca, seguito dall'addestramento dell'adattatore LoRA per le singole lingue.
    2. Fine-tuning single-task.
  • Configurazione LoRA: Gli autori hanno utilizzato DORA (Weight-Decomposed Low-Rank Adaptation), un'estensione di LoRA. Gli iperparametri chiave includevano $r=64$, $\alpha=64$, LoRA dropout di 0,2 e inizializzazione dei pesi PiSSA. I moduli target includevano i livelli di proiezione ($q, v, k, out$) e i livelli feed-forward ($fc1, fc2$).
  • Ottimizzazione: L'addestramento ha utilizzato l'ottimizzatore paged AdamW-8bit con uno scheduler del tasso di apprendimento lineare (tasso iniziale $5e^{-4}$) per LoRA e uno scheduler coseno per il fine-tuning completo.

• Approccio 2: Prompting aumentato dal recupero (Chuvash, Tataro, Kirghiso)

  • Razionale: Il fine-tuning di NLLB su Chuvash ha dato risultati scarsi, probabilmente perché il modello base non era preaddestrato su Chuvash. Allo stesso modo, le prestazioni zero-shot per Inglese-Chuvash erano deboli.
  • Sistema di Recupero: È stato costruito un indice ANNOY utilizzando le frasi della lingua sorgente dal dataset. Per nuove query, il sistema recupera le frasi sorgente più simili e le loro traduzioni per servire come esempi in contesto.
  • Embedding: thenlper/gte-small è stato usato per l'Inglese-Chuvash, mentre sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 è stato usato per le altre coppie.
  • Prompting LLM: Diversi modelli sono stati testati tramite API (DeepSeek-R1, DeepSeek-N1, MiMoV2, Gemma3, DeepSeek-V3.2). Il prompt istruiva il modello a tradurre una frase basandosi su esempi simili recuperati, con vincoli rigorosi per restituire solo la traduzione.
  • Configurazione: Per l'Inglese-Chuvash, è stata utilizzata una finestra di contesto ampia (TOP_N=7000). Per l'Inglese-Tataro, il prompting zero-shot con DeepSeek-V3.2 si è dimostrato superiore ai metodi basati sul recupero.

• Ensembling (Stacking):

  • Gli autori hanno tentato di selezionare la migliore traduzione da più sottomissioni utilizzando la similarità semantica (encoder LaBSE) e il filtraggio basato sulla perplessità. Tuttavia, questi metodi hanno generalmente portato a lievi deterioramenti dei punteggi di validazione rispetto alla migliore singola sottomissione.

Risultati Chiave
Gli autori riportano i punteggi chrF++ dalla classifica della competizione:

• Kazako: L'approccio basato su LoRA ha raggiunto il punteggio più alto di 49,71.
• Bashkir: L'approccio basato su LoRA ha raggiunto 46,94.
• Chuvash: Il prompting di DeepSeek-V3.2 con esempi recuperati ha raggiunto 39,47, superando significativamente il modello NLLB sottoposto a fine-tuning (11,70) e i baseline zero-shot.
• Tataro: Un approccio zero-shot o basato sul recupero ha raggiunto 41,6. Notevolmente, il risultato zero-shot di DeepSeek-V3.2 (43,66) era imbattibile dai metodi basati sul recupero.
• Kirghiso: L'approccio zero-shot ha raggiunto 45,6, superando il prompting basato sul recupero che causava cali di prestazioni quando le finestre di contesto venivano espanse.

Contributi e Significato
Il contributo primario del documento è la dimostrazione che una strategia "one-size-fits-all" è inefficace per le lingue turche a basse risorse; al contrario, l'approccio ottimale dipende dalle specifiche disponibilità di risorse e dalle caratteristiche della lingua target.

• Strategie dipendenti dalle risorse: Per le lingue relativamente ben dotate di risorse (Bashkir, Kazako), il fine-tuning di modelli preaddestrati (NLLB) su dati sintetici utilizzando LoRA/DORA si è rivelato il più efficace.
• Adattamento alla scarsità: Per le lingue estremamente scarse di dati come il Chuvash, dove il modello base mancava di preaddestramento, il prompting aumentato dal recupero con grandi modelli linguistici ha prodotto miglioramenti significativi della qualità.
• Limiti dello Zero-Shot: Per le lingue con buone prestazioni zero-shot (Kirghiso, Tataro), meccanismi di recupero complessi non hanno superato il semplice prompting zero-shot con modelli avanzati come DeepSeek-V3.2.
• Rilascio Open: Gli autori hanno rilasciato il dataset YaTURK-7lang e i pesi dei modelli per Kazako e Bashkir (inclusi il modello multi-task fine-tuned e gli adattatori LoRA) per facilitare ulteriori ricerche.

Conclusione
Lo studio conclude che, sebbene il fine-tuning su dati sintetici sia la via più promettente per le lingue con alcune risorse esistenti, il prompting con esempi recuperati è un'alternativa valida per le lingue con estrema scarsità di dati. Gli autori riconoscono che la ricerca futura potrebbe esplorare il fine-tuning di modelli preaddestrati specificamente su lingue a basse risorse, ma il loro lavoro attuale stabilisce un baseline per gestire queste specifiche coppie linguistiche turche utilizzando gli strumenti e i dati disponibili.