💬 NLP

No One-Size-Fits-All: Building Systems For Translation to Bashkir, Kazakh, Kyrgyz, Tatar and Chuvash Using Synthetic And Original Data

Dieses Paper präsentiert einen maßgeschneiderten Ansatz für die maschinelle Übersetzung für fünf turkische Sprachen (Baschkirisch, Kasachisch, Kirgisisch, Tatarisch und Tschuwaschisch), indem es zeigt, dass die Kombination aus synthetischem Daten-Fine-Tuning, Retrieval-Augmented Prompting und Zero-Shot-Strategien über verschiedene Sprachpaare hinweg variierende optimale Ergebnisse liefert, wobei die Autoren sowohl die Datensätze als auch die Modellgewichte veröffentlichen.

Ursprüngliche Autoren: Dmitry Karpov

Veröffentlicht 2026-02-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dmitry Karpov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einer Gruppe von Studenten beizubringen, Geschichten aus dem Englischen und Russischen in fünf verschiedene Turkic-Sprachen zu übersetzen: Baschkirisch, Kasachisch, Kirgisisch, Tatarisch und Tschuwaschisch. Das Problem? Es gibt nur sehr wenige Lehrbücher (Daten) für diese Sprachen. Es ist, als würde man versuchen, jemandem das Klavierspielen beizubringen, wenn man nur drei Notenseiten statt einer ganzen Bibliothek zur Verfügung hat.

Die Autoren dieser Arbeit, Dmitry Karpel und sein Team, haben verschiedene Lehrmethoden getestet, um zu sehen, welche für jeden Studenten am besten funktioniert. Sie haben keinen „Einheitsansatz“ verwendet; stattdessen haben sie ihre Strategie basierend darauf angepasst, wie viel „Lehrbuchmaterial“ für die jeweilige Sprache vorhanden war.

Hier ist die Erklärung ihrer Vorgehensweise, unterteilt in einfache Konzepte:

1. Die Strategie des „Synthetischen Lehrbuchs“ (Für Kasachisch und Baschkirisch)

Für Sprachen wie Kasachisch und Baschkirisch gab es einige vorhandene Daten, aber nicht genug.

Die Analogie: Stellen Sie sich vor, Sie haben ein paar echte Geschichtsbücher, aber Sie brauchen mehr. Also stellen Sie einen sehr schnellen, intelligenten Roboter (Yandex.Translate) ein, der tausende von gefälschten Geschichtsbüchern basierend auf den echten Büchern schreibt. Diese gefälschten Bücher nutzen Sie dann, um Ihre Studenten zu trainieren.
Die Methode: Sie nahmen bestehende Daten und nutzten ein Übersetzungswerkzeug, um eine massive Menge an „synthetischen“ (erfundenen, aber realistischen) Übersetzungspaaren zu erstellen. Dann nahmen sie ein intelligentes KI-Modell (NLLB) und gaben ihm einen „spezialisierten Tutor“ (LoRA), um diese synthetischen Bücher zu studieren.
Das Ergebnis: Dies funktionierte unglaublich gut. Die Studenten lernten, Kasachisch und Baschkirisch sehr präzise zu übersetzen. Es war, als würde man ihnen eine riesige Bibliothek voller Übungsaufgaben geben, die sie auswendig lernen und verstehen konnten.

2. Die „Spickzettel“-Strategie (Für Tschuwaschisch)

Tschuwaschisch war der schwierigste Fall. Es gab so gut wie gar keine Daten, und der „Roboterlehrer“ (das Standard-KI-Modell) wusste nicht einmal, dass die Sprache existierte.

Die Analogie: Stellen Sie sich einen Studenten vor, der eine Prüfung in einer Sprache ablegt, die er nie gelernt hat. Anstatt zu versuchen, Regeln auswendig zu lernen, geben Sie ihm kurz vor der Prüfung einen „Spickzettel“. Sie sagen: „Hey, schau dir diesen Satz an, den ich vorhin geschrieben habe, der so ähnlich klingt wie deiner, und hier ist, wie er übersetzt wurde. Versuche nun, diesen Stil zu kopieren.“
Die Methode: Sie bauten ein riesiges Index (einen digitalen Aktenschrank) von jedem Satz auf, den sie finden konnten. Wenn sie einen neuen Satz übersetzen mussten, nutzten sie ein Suchwerkzeug (ANNOY), um die ähnlichsten Sätze zu finden, die bereits im Schrank waren. Sie fütterten diese Beispiele in eine superintelligente KI (DeepSeek-V3.2) und sagten: „Hier sind ähnliche Beispiele; übersetze nun diesen neuen Satz.“
Das Ergebnis: Diese „Retrieval“-Methode (Abrufmethode) bewirkte bei Tschuwaschisch Wunder. Dies war der einzige Weg, um gute Ergebnisse zu erzielen, da die standardmäßige „Lehrbuch“-Methode völlig versagte.

3. Die „Frag einfach“-Strategie (Für Tatarisch und Kirgisisch)

Für Tatarisch und Kirgisisch waren die Ergebnisse etwas gemischt.

Tatarisch: Das Standard-KI-Modell konnte Tatarisch eigentlich schon recht gut von sich aus. Das Hinzufügen eines „Spickzettels“ half nicht viel; tatsächlich verwirrte es die KI manchmal sogar. Das beste Ergebnis kam zustande, indem man die KI einfach nur fragte, die Übersetzung zu übernehmen (Zero-shot).
Kirgisisch: Ähnlich wie bei Tatarisch verbesserte der „Spickzettel“ die Sache nicht. Der beste Ansatz war, eine sehr intelligente KI (MiMoV2) einfach die Übersetzung machen zu lassen, ohne zusätzliches Training oder Beispiele.

4. Der Versuch des „Gruppenprojekts“ (Stacking)

Das Team versuchte einen letzten Trick: „Stacking“.

Die Analogie: Stellen Sie sich vor, Sie haben fünf verschiedene Studenten, die denselben Satz übersetzt haben. Sie lassen sie dann darüber abstimmen, welche Übersetzung die beste ist.
Das Ergebnis: Überraschenderweise half das nicht. Manchmal machte die Gruppenabstimmung die Übersetzung sogar schlechter als die eines einzelnen besten Studenten. Es stellt sich heraus, dass für diese schwierigen Sprachen die „beste“ Übersetzung nicht immer diejenige ist, die den anderen am ähnlichsten sieht.

Das Wichtigste in Kürze

Die Hauptlektion dieser Arbeit ist, dass es keinen einzelnen magischen Schlüssel für alle Sprachen gibt.

Wenn eine Sprache einige Daten hat, funktioniert synthetisches Training (das Erstellen von mehr Daten) am besten.
Wenn eine Sprache fast keine Daten hat, funktioniert das Finden ähnlicher Beispiele (der Spickzettel) am besten.
Wenn eine Sprache von großen KI-Modellen bereits gut beherrscht wird, funktioniert es am besten, sie einfach nur zu fragen.

Die Autoren haben alle ihre „Lehrbücher“ (Datensätze) und „intelligenten Tutoren“ (Modellgewichte) geteilt, die sie erstellt haben, damit andere von ihren Experimenten lernen können. Sie haben bewiesen, dass man beim Lehren von KI-Modellen für ressourcenarme Sprachen flexibel sein und das richtige Werkzeug für die spezifische Aufgabe verwenden muss.

Technische Zusammenfassung: Kein Einheitsmodell für alle: Entwicklung von Systemen zur Übersetzung für Baschkirisch, Kasachisch, Kirgisisch, Tatarisch und Tschuwaschisch

Problemstellung
Die Arbeit befasst sich mit der Herausforderung der maschinellen Übersetzung (MT) für ressourcenarme turkische Sprachen, wobei der Schwerpunkt auf fünf Sprachpaaren liegt: Russisch-Baschkirisch, Russisch-Kasachisch, Russisch-Kirgisisch, Englisch-Tatarisch und Englisch-Tschuwaschisch. Die Autoren stellen fest, dass qualitativ hochwertige parallele Daten für diese Sprachen knapp sind, was die Untersuchung mehrerer Ansätze zur Verbesserung der Übersetzungsqualität unter datenarmen Bedingungen erforderlich macht.

Methodik
Die Autoren verwendeten eine hybride Strategie, die Datenausweitung (Data Augmentation), parametereffiziente Feinabstimmung (Fine-tuning) und retrieval-gestütztes Prompting kombiniert.

Datenerstellung und Datenausweitung:
- Originaldaten: Die Studie aggregierte bestehende parallele Korpora aus verschiedenen Quellen (z. B. NLLB Team, Plotnikov und Antonov, Zhang et al.) für die fünf Sprachpaare.
- Synthetische Daten: Um den Datenmangel zu beheben, erweiterten die Autoren die Trainingssätze mithilfe von Yandex.Translate. Sie übersetzten englische Phrasen ins Russische (falls erforderlich) und anschließend in die Zielsprachen (türkische Sprachen). Dieser Prozess nutzte die Funktionen zur „Dokumentübersetzung“ auf großen Textblöcken (50k–200k Samples).
- Filterung: Die synthetischen Daten wurden akribisch gefiltert, um Phrasen zu entfernen, die in den Testsets vorkommen.
- Pseudolabeling: Die Autoren nutzten Pseudolabeling für Daten und stellten fest, dass ein multilinguales Training ohne dieses in vorläufigen Experimenten zu schlechteren Ergebnissen führte.
- Finaler Datensatz: Nach der Erweiterung erreichte die Größe des Trainingsdatensatzes etwa 2,46 Millionen Samples pro Sprachpaar. Ein spezifischer Teilsubset, YaTURK-7lang, wurde veröffentlicht, der in sechs Sprachen übersetzte Daten enthält.
Ansatz 1: Fine-tuning mit LoRA (Kasachisch und Baschkirisch)
- Basismodell: Die Autoren wählten facebook/nllb-200-distilled-600M als Basismodell aus.
- Tokenisierung: Eigene Sprachpaar-Präfixe (z. B. <prefix_rus_bash>) wurden dem Tokenizer hinzugefügt, um das Modell zu steuern.
- Trainingsstrategie: Zwei Modi wurden untersucht:
  1. Multi-Task-Fine-tuning auf allen Sprachen für eine Epoche, gefolgt von einem LoRA-Adapter-Training für spezifische Sprachen.
  2. Single-Task-Fine-tuning.
- LoRA-Konfiguration: Die Autoren verwendeten DORA (Weight-Decomposed Low-Rank Adaptation), eine Erweiterung von LoRA. Zu den wichtigsten Hyperparametern gehörten $r=64$ , $\alpha=64$ , ein LoRA-Dropout von 0,2 und eine PiSSA-Gewichtinitialisierung. Die Zielmodule umfassten Projektionsschichten ($q, v, k, out$) und Feed-Forward-Schichten ($fc1, fc2$).
- Optimierung: Das Training erfolgte mit dem paged AdamW-8bit Optimizer und einem linearen Learning Rate Scheduler (Startrate $5e^{-4}$ ) für LoRA sowie einem Cosine-Scheduling für das Full Fine-tuning.
Ansatz 2: Retrieval-Augmented Prompting (Tschuwaschisch, Tatarisch, Kirgisisch)
- Begründung: Das Fine-tuning von NLLB auf Tschuwaschisch schnitt schlecht ab, wahrscheinlich weil das Basismodell nicht auf Tschuwaschisch vortrainiert wurde. Ähnlich war die Zero-Shot-Leistung für Englisch-Tschuwaschisch schwach.
- Retrieval-System: Ein ANNOY-Index wurde unter Verwendung von Quellsprachen-Phrasen aus dem Datensatz erstellt. Für neue Abfragen suchte das System die ähnlichsten Quellphrasen und deren Übersetzungen heraus, um sie als In-Context-Beispiele zu verwenden.
- Embeddings: thenlper/gte-small wurde für Englisch-Tschuwaschisch verwendet, während sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 für andere Paare zum Einsatz kam.
- LLM-Prompting: Mehrere Modelle wurden via API getestet (DeepSeek-R1, DeepSeek-N1, MiMoV2, Gemma3, DeepSeek-V3.2). Der Prompt wies das Modell an, eine Phrase basierend auf den abgerufenen ähnlichen Beispielen zu übersetzen, mit strikten Einschränkungen, nur die Übersetzung zurückzuge geben.
- Konfiguration: Für Englisch-Tschuwaschisch wurde ein großes Kontextfenster (TOP_N=7000) verwendet. Für Englisch-Tatarisch erwies sich Zero-Shot-Prompting mit DeepSeek-V3.2 als überlegen gegenüber retrieval-basierten Methoden.
Ensembling (Stacking):
- Die Autoren versuchten, die beste Übersetzung aus mehreren Einreichungen mittels semantischer Ähnlichkeit (LaBSE-Encoder) und Perplexity-basierter Filterung auszuwählen. Diese Methoden führten jedoch im Allgemeinen zu geringfügigen Verschlechterungen der Validierungswerte im Vergleich zur besten Einzel-Einreichung.

Wichtigste Ergebnisse
Die Autoren berichten chrF++ Scores aus dem Wettbewerbs-Leaderboard:

Kasachisch: Der LoRA-basierte Ansatz erreichte den höchsten Wert von 49,71.
Baschkirisch: Der LoRA-basierte Ansatz erreichte 46,94.
Tschuwaschisch: Das Prompting von DeepSeek-V3.2 mit abgerufenen Beispielen erreichte 39,47, was das feinabgestimmte NLLB-Modell (11,70) und die Zero-Shot-Baselines signifikant übertraf.
Tatarisch: Ein Zero-Shot- oder Retrieval-basierter Ansatz erreichte 41,6. Bemerkenswerterweise war das Zero-Shot-Ergebnis von DeepSeek-V3.2 (43,66) durch Retrieval-Methoden nicht zu schlagen.
Kirgisisch: Der Zero-Shot-Ansatz erreichte 45,6 und übertraf damit das Retrieval-basierte Prompting, welches die Leistung beim Erweitern der Kontextfenster verschlechterte.

Beiträge und Bedeutung
Der primäre Beitrag der Arbeit ist der Nachweis, dass eine „Einheitsstrategie“ für ressourcenarme türkische Sprachen ineffektiv ist; stattdessen hängt der optimale Ansatz von der Verfügbarkeit der Ressourcen und den Eigenschaften der jeweiligen Zielsprache ab.

Ressourcenabhängige Strategien: Für vergleichsweise besser ausgestattete Sprachen (Baschkirisch, Kasachisch) erwies sich das Fine-tuning vortrainierter Modelle (NLLB) auf synthetischen Daten mittels LoRA/DORA als am effektivsten.
Anpassung an extreme Knappheit: Für extrem datenarme Sprachen wie Tschuwaschisch, bei denen das Basismodell über kein Pretraining verfügte, lieferte das Retrieval-Augmented Prompting mit Large Language Models signifikante Qualitätsverbesserungen.
Grenzen von Zero-Shot: Für Sprachen mit ordentlicher Zero-Shot-Leistung (Kirgisisch, Tatarisch) führten komplexe Retrieval-Mechanismen nicht zu besseren Ergebnissen als einfaches Zero-Shot-Prompting mit fortgeschrittenen Modellen wie DeepSeek-V3.2.
Open Release: Die Autoren haben den YaTURK-7lang Datensatz sowie die Modellgewichte für Kasachisch und Baschkirisch (einschließlich des Multi-Task-feinabgestimmten Modells und der LoRA-Adapter) veröffentlicht, um die weitere Forschung zu erleichtern.

Fazit
Die Studie kommt zu dem Schluss, dass, während das Fine-tuning auf synthetischen Daten der vielversprechendste Weg für Sprachen mit vorhandenen Ressourcen ist, das Prompting mit abgerufenen Beispielen eine praktikable Alternative für Sprachen mit extremer Datenknappheit darstellt. Die Autoren räumen ein, dass zukünftige Forschung Modelle untersuchen könnte, die speziell auf ressourcenarmen Sprachen vortrainiert wurden, aber ihre aktuelle Arbeit etabliert einen Baseline-Standard für den Umgang mit diesen spezifischen türkischen Sprachpaaren unter Verwendung der verfügbaren Werkzeuge und Daten.