WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

Technische Zusammenfassung: WARDEN – Transkription und Übersetzung bedrohter indigener Sprachen mit 6 Stunden Trainingsdaten

Problemstellung
Die Dokumentation bedrohter Sprachen, wie Wardaman (eine australische indigene Sprache, die 2025 nur noch zwei vollständige Muttersprachler hatte), ist ein arbeitsintensiver Prozess, der Linguisten zwingt, manuell zeitabgestimmte Transkriptionen und Übersetzungen zu erstellen. Obwohl automatische Spracherkennung (ASR) und maschinelle Übersetzung (MT) potenzielle Beschleunigung bieten, sind Standard-Ansätze des Deep Learning für solche Low-Resource-Szenarien nicht durchführbar. Bestehende Modelle benötigen typischerweise zehn bis hundert Stunden annotierter Daten, um akzeptable Leistungen zu erzielen, wohingegen der verfügbare Wardaman-Datensatz nur aus 6 Stunden zeitabgestimmten Audio-Transkriptions-Übersetzungs-Paaren besteht. Darüber hinaus scheitern vereinheitlichte Modelle, die versuchen, Transkription und Übersetzung gleichzeitig durchzuführen, in extremen Low-Data-Regimes oft aufgrund fehlender ausreichender Trainingssignale.

Methodik
Die Autoren schlagen WARDEN (Wardaman Decoding ENgine) vor, ein zweistufiges Framework, das Transkription und Übersetzung entkoppelt, um effektives Lernen mit minimalen Daten zu ermöglichen.

1. Transkriptionsstufe (ASR):

   • Modell: Das System feinabstimmt das Whisper-large-v3-Modell.
   • Sprachübergreifende Initialisierung: Um die Knappheit an Wardaman-Daten zu adressieren, identifizieren die Autoren eine phonetisch ähnliche „Proxy"-Sprache, um die Sprach-Token des Modells zu initialisieren. Unter Verwendung der PHOIBLE-Datenbank berechneten sie Hamming-Abstände zwischen dem Phoneminventar von Wardaman und sechs Kandidatensprachen (Sundanesisch, Usbekisch, Hausa, Kroatisch, Okzitanisch, Englisch).
   • Auswahl: Sundanesisch wurde als die Sprache mit dem geringsten Phonem-Abstand identifiziert. Das Modell wird unter Verwendung des sundanesischen Sprach-Tokens (<su>) initialisiert, bevor es auf den 6 Stunden Wardaman-Daten feinabgestimmt wird. Diese Strategie zielt darauf ab, phonologisches Wissen zu übertragen und die Konvergenz zu beschleunigen.

2. Übersetzungsstufe (MT):

   • Herausforderung: Das direkte Feinabstimmen großer Sprachmodelle (LLMs) oder ASR-basierter Übersetzer auf 6 Stunden Daten führt aufgrund von Overfitting und mangelndem domänenspezifischem Wissen zu schlechten Ergebnissen.
   • Lexikon-ergänzter Workflow: Die Autoren stellen ein Wardaman-Englisch-Wörterbuch (ca. 2.300 Einträge) aus Expertenannotationen zusammen.
   • Lexikon-Matcher: Vor der Übersetzung ruft ein regelbasierter Matcher relevante Wörterbucheinträge für Wörter im ASR-Transkript ab. Die Zuordnung erfolgt über:
     • Character Error Rate (CER): Zuordnung von Transkriptionswörtern zu Wörterbucheinträgen mit einem CER-Schwellenwert ($\tau = 0.2$).
     • Affix-Matching: Positionales Matching von Präfixen und Suffixen zur Behandlung abgeleiteter Formen.
   • LLM-Integration: Die abgerufenen Lexikoneinträge (formatiert als Wort, CER, Wortart und Gloss) werden mit dem ASR-Transkript verkettet und in ein LLM eingespeist (speziell Qwen3-8B).
   • Training: Das LLM wird mittels Low-Rank Adaptation (LoRA) feinabgestimmt. Die Eingabe umfasst das Transkript und die abgeglichenen Lexikon-Hinweise, wodurch das LLM zu einem wissensbasierten Interpreter transformiert wird, anstatt ein rein datengesteuerter Übersetzer zu sein.
   • Daten-Augmentierung: Die Trainingsdaten werden durch Verkettung kurzer Äußerungen zu längeren Sequenzen augmentiert sowie durch die Verwendung der eigenen verrauschten Transkriptionsausgaben von Whisper als Eingabe, um reale ASR-Fehler zu simulieren.

Hauptbeiträge

• Zweistufige Architektur: Die Arbeit zeigt, dass die Trennung von Transkription und Übersetzung in extremen Low-Resource-Umgebungen (6 Stunden Daten) überlegener ist als vereinheitlichte Ansätze.
• Phonetische Proxy-Initialisierung: Die Einführung der Initialisierung von ASR-Modellen mit Token einer phonetisch ähnlichen Sprache (Sundanesisch), um die Datenknappheit zu überwinden.
• Lexikon-basierte Übersetzung: Eine neuartige Pipeline, die von Experten erstellte Wörterbücher direkt in den LLM-Inferenz- und Feinabstimmungsprozess integriert, sodass das Modell externes Wissen nutzen kann, anstatt sich ausschließlich auf interne Parameter zu verlassen.
• Etablierung einer Baseline: Die Schaffung einer starken Baseline für die Wardaman-Verarbeitung unter Verwendung von nur 6 Stunden annotierten Daten, die größere Open-Source- und proprietäre Modelle übertrifft.

Experimentelle Ergebnisse

• Transkription: Das WARDEN-System (Whisper mit sundanesischer Initialisierung feinabgestimmt) erreichte eine Word Error Rate (WER) von 0,52. Dies übertraf die Standard-Whisper-Feinabstimmung (0,64) und Zero-Shot-Baselines (1,62). Die Verwendung des sundanesischen Tokens reduzierte die WER um 0,12 im Vergleich zur Standard-Feinabstimmung.
• Übersetzung: Unter Verwendung des Qwen3-8B-Modells mit Lexikon-Konditionierung und Feinabstimmung erreichte WARDEN einen BLEU-4-Score von 12,40.
  • Dies übertraf signifikant das beste GPT-5-Ergebnis (7,54) und andere feinabgestimmte Baselines.
  • Ablationsstudien zeigten, dass das Entfernen entweder des Lexikons oder der Feinabstimmung den BLEU-Score um 6,28 bzw. 9,57 reduzierte.
  • Das System zeigte zudem Robustheit und behielt die Leistung bei, selbst wenn es mit verrauschten ASR-Ausgaben gefüttert wurde.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass WARDEN erfolgreich den „Fluch begrenzter Daten" umgeht, der bestehende Systeme behindert. Durch die Nutzung linguistischer Erkenntnisse (phonetische Ähnlichkeit) und Expertenwissen (Wörterbücher) erreicht das System hohe Leistung mit einem Bruchteil der typischerweise benötigten Daten. Die Autoren positionieren WARDEN nicht als Ersatz für Linguisten, sondern als Werkzeug zur Beschleunigung des Dokumentationsprozesses, wodurch der Zeitaufwand für die Verarbeitung von Audioaufnahmen von Tagen auf Stunden reduziert wird. Die Arbeit betont, dass solche Tools die von der Gemeinschaft geleitete Sprachrevitalisierung unterstützen können, sofern sie unter Respektierung des Datenbesitzes und der Präferenzen der Sprechergemeinschaft entwickelt werden. Die Autoren stellen ausdrücklich fest, dass die Wirksamkeit des Designs durch seine Fähigkeit verifiziert wird, in diesem spezifischen Low-Resource-Kontext größere, datenhungrige Modelle zu übertreffen.