WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

Technische Samenvatting: WARDEN – Transcriptie en Vertaling van Bedreigde Inheemse Talen met 6 Uur Trainingsdata

Probleemstelling
De documentatie van bedreigde talen, zoals Wardaman (een Australische inheemse taal met slechts twee volledige sprekers in 2025), is een arbeidsintensief proces waarbij taalkundigen handmatig tijd-gealigneerde transcripties en vertalingen moeten produceren. Hoewel automatische spraakherkenning (ASR) en machinevertaling (MT) potentieel versnelling bieden, zijn standaard deep learning-benaderingen niet haalbaar voor dergelijke scenario's met weinig bronnen. Bestaande modellen vereisen doorgaans tientallen tot honderden uren geannoteerde data om aanvaardbare prestaties te bereiken, terwijl de beschikbare Wardaman-dataset slechts bestaat uit 6 uur tijd-gealigneerde audio-transcriptie-vertalingparen. Bovendien falen geünificeerde modellen die proberen transcriptie en vertaling gelijktijdig uit te voeren vaak in regimes met extreem weinig data, vanwege het ontbreken van voldoende trainingsignalen.

Methodologie
De auteurs stellen WARDEN (Wardaman Decoding ENgine) voor, een tweestapskader dat is ontworpen om transcriptie en vertaling te ontkoppelen, waardoor effectief leren met minimale data mogelijk wordt.

1. Transcriptiestap (ASR):

   • Model: Het systeem fine-tunt het Whisper-large-v3-model.
   • Cross-linguale Initialisatie: Om de schaarste aan Wardaman-data aan te pakken, identificeren de auteurs een fonetisch vergelijkbare "proxy"-taal om de taaltokens van het model te initialiseren. Met behulp van de PHOIBLE-database berekenden ze Hamming-afstanden tussen de fonemenvoorraad van Wardaman en zes kandidattalen (Soendanees, Oezbeeks, Hausa, Kroatisch, Occitaans, Engels).
   • Selectie: Soendanees werd geïdentificeerd als de taal met de kleinste fonemische afstand. Het model wordt geïitialiseerd met het Soendaneese taaltoken (<su>) voordat het wordt gefine-tunt op de 6 uur Wardaman-data. Deze strategie beoogt fonologisch kennis over te dragen en convergentie te versnellen.

2. Vertaalfase (MT):

   • Uitdaging: Het direct fine-tunen van grote taalmodellen (LLM's) of ASR-gebaseerde vertalers op 6 uur data levert slechte resultaten op vanwege overfitting en gebrek aan domeinspecifieke kennis.
   • Lexicon-verrijkte Werkstroom: De auteurs stellen een Wardaman-Engels woordenlijst samen (ongeveer 2.300 entries) op basis van expertannotaties.
   • Lexicon-matcher: Voordat wordt vertaald, haalt een op regels gebaseerde matcher relevante woordenlijstentries op voor woorden in de ASR-transcriptie. Matching gebeurt via:
     • Character Error Rate (CER): Het matchen van transcriptiewoorden met woordenlijstentries met een CER-drempel ($\tau = 0,2$).
     • Affix-matching: Positiematching van voorvoegsels en achtervoegsels om afgeleide vormen te verwerken.
   • LLM-integratie: De opgehaalde lexiconentries (geformatteerd als woord, CER, woordsoort en gloss) worden samengevoegd met de ASR-transcriptie en ingevoerd in een LLM (specifiek Qwen3-8B).
   • Training: De LLM wordt gefine-tunt met behulp van Low-Rank Adaptation (LoRA). De invoer omvat de transcriptie en de gematchte lexiconhints, waardoor de LLM wordt getransformeerd tot een kennisgebaseerde tolk in plaats van een puur datagedreven vertaler.
   • Data-augmentatie: De trainingsdata wordt verrijkt door korte uitingen te concateneren tot langere sequenties en door Whisper's eigen ruisige transcriptie-outputs als invoer te gebruiken om ASR-fouten uit de echte wereld te simuleren.

Belangrijkste Bijdragen

• Tweestapsarchitectuur: Het artikel toont aan dat het scheiden van transcriptie en vertaling superieur is aan geünificeerde benaderingen in uiterst low-resource settings (6 uur data).
• Fonetische Proxy-initialisatie: De introductie van het initialiseren van ASR-modellen met tokens van een fonetisch vergelijkbare taal (Soendanees) om dataschaarste te overwinnen.
• Lexicon-gebaseerde Vertaling: Een innovatieve pijplijn die door experts samengestelde woordenlijsten direct integreert in het LLM-inferentie- en fine-tuningproces, waardoor het model externe kennis kan benutten in plaats van uitsluitend te vertrouwen op interne parameters.
• Basislijnvestiging: Het creëren van een sterke basislijn voor Wardaman-verwerking met slechts 6 uur geannoteerde data, die betere prestaties levert dan grotere open-source en propriëtaire modellen.

Experimentele Resultaten

• Transcriptie: Het WARDEN-systeem (Whisper gefine-tunt met Soendaneese initialisatie) behaalde een Word Error Rate (WER) van 0,52. Dit presteerde beter dan standaard Whisper-finetuning (0,64) en zero-shot-basislijnen (1,62). Het gebruik van het Soendaneese token verlaagde de WER met 0,12 ten opzichte van standaard fine-tuning.
• Vertaling: Met het Qwen3-8B-model, gebruikmakend van lexiconconditionering en fine-tuning, behaalde WARDEN een BLEU-4-score van 12,40.
  • Dit presteerde aanzienlijk beter dan het beste GPT-5-resultaat (7,54) en andere gefine-tunte basislijnen.
  • Ablatiestudies toonden aan dat het verwijderen van het lexicon of de fine-tuning de BLEU-score respectievelijk met 6,28 en 9,57 verlaagde.
  • Het systeem toonde ook robuustheid, waarbij het prestatieniveau behouden bleef zelfs bij invoer van ruisige ASR-outputs.

Betekenis en Aanspraken
Het artikel stelt dat WARDEN succesvol de "vloek van beperkte data" ontwijkt die bestaande systemen belemmert. Door gebruik te maken van taalkundige inzichten (fonetische gelijkenis) en expertkennis (woordenlijsten), bereikt het systeem hoge prestaties met een fractie van de data die doorgaans vereist is. De auteurs positioneren WARDEN niet als vervanging voor taalkundigen, maar als een hulpmiddel om het documentatieproces te versnellen, waardoor de tijdsinvestering voor het verwerken van audio-opnames wordt gereduceerd van dagen naar uren. Het werk benadrukt dat dergelijke hulpmiddelen gemeenschapsgeleide taalherleving kunnen ondersteunen, mits ze worden ontwikkeld met respect voor de eigendom van de data en de voorkeuren van de sprekende gemeenschap. De auteurs stellen expliciet dat de effectiviteit van het ontwerp wordt geverifieerd door het vermogen om in deze specifieke low-resource context betere prestaties te leveren dan grotere, data-hongerige modellen.