Oral to Web: Digitizing 'Zero Resource'Languages of Bangladesh

Dit artikel introduceert het Multilingual Cloud Corpus, het eerste landelijke, parallelle en multimodale linguïstische dataset van Bangladesh dat 42 inheemse en etnische talen omvat, inclusief 107 uur opgenomen audio en gestructureerde tekst, om de digitale documentatie en NLP-ondersteuning van deze voornamelijk mondelinge en bedreigde talen mogelijk te maken.

De kern

Van Mond naar Web: Het Redden van Vergeten Talen in Bangladesh

Stel je voor dat Bangladesh een enorme bibliotheek is. De meeste mensen denken dat deze bibliotheek slechts één groot, uniform boek bevat: het boek van het Bengaals. Dit is de taal van bijna 98% van de bevolking en het symbool van hun onafhankelijkheid. Maar als je door de rijen loopt, ontdek je dat er in de kelder, op de zolder en in de achterkamers nog tientallen andere, heel oude en kwetsbare boeken liggen. Dit zijn de talen van de etnische minderheden.

Het probleem? Veel van deze "boeken" bestaan alleen maar in de hoofden van de mensen die ze spreken. Ze hebben geen schrift, geen website en geen digitale versie. Als de laatste spreker overlijdt, verdwijnt het boek voorgoed uit de wereld. Dit project, genaamd "Oral to Web", is een reddingsoperatie om deze mondelinge verhalen en woorden te vangen en ze veilig te stellen in de digitale cloud.

Hier is hoe ze dat deden, vertaald naar alledaags taalgebruik:

1. Het Grote Verzamelspel (De Methode)

De onderzoekers wilden niet zomaar een paar woorden opschrijven. Ze wilden een spiegelbeeld maken van deze talen.

• De Sjabloon: Ze bedachten een gigantisch vragenlijstje (een sjabloon) dat voor elke taal hetzelfde was. Stel je voor dat je 40 verschillende mensen vraagt om hetzelfde recept te koken. Je krijgt dan 40 verschillende versies van hetzelfde gerecht, en dat maakt het makkelijk om te zien wat er anders is.
  • Ze vroegen om woorden (zoals "mama", "stier", "regen").
  • Ze vroegen om zinnen (zoals "Ik heb honger", "Ga naar de markt").
  • Ze vroegen om verhalen (zoals "Vertel me over je kindertijd" of "Hoe kook je rijst?").
• De Reis: Een team van 16 mensen trok er 90 dagen opuit naar de afgelegen hoeken van Bangladesh (de heuvels, de theetuinen, de dorpen). Ze spraken met 77 moedertaalsprekers. Het was als een grote, mobiele opnamestudio die van dorp tot dorp reisde.

2. De Digitale Schatkist (Het Resultaat)

Het resultaat is een enorme digitale schatkist, de Multilingual Cloud Corpus.

• De Inhoud: Het bevat bijna 86.000 ingevulde vakjes. In elk vakje staat:
  1. De zin in het Bengaals (de "vraag").
  2. De vertaling in het Engels (voor de wereld).
  3. De klankopname van de spreker (hoe het echt klinkt).
  4. De fonetische transcriptie (een wetenschappelijke schrijfwijze die precies aangeeft hoe je de mond moet bewegen om het geluid te maken).
• De Omvang: Ze hebben geluid opgenomen van ongeveer 107 uur praten. Dat is als een ononderbroken podcast van bijna 5 dagen lang, vol met zeldzame geluiden uit 42 verschillende talen.

3. Waarom is dit zo belangrijk? (De Analogie)

Stel je voor dat computers (zoals Google Translate of Siri) een grote, hongerige machine zijn. Deze machine eet data om te leren praten en vertalen.

• Voor talen zoals Engels of Spaans is deze machine overstroomd met eten (data).
• Voor de talen uit dit project is de machine hongrig tot op het bot. Er is bijna niets te eten. Zonder dit project zouden deze talen voor computers onzichtbaar blijven.

Door deze data te verzamelen, geven ze de computers een "startpakket". Nu kunnen wetenschappers in de toekomst misschien een app bouwen die een kind in een afgelegen dorp helpt om zijn eigen taal te leren, of een vertaler die helpt bij medische hulp of onderwijs.

4. Een Speciale Opmerking: Het "Leven" van een Taal

Het project ontdekte iets verrassends. Sommige talen hebben wel een eigen schrift (een manier om te schrijven), maar ze sterven toch uit. Waarom? Omdat niemand ze meer aan zijn kinderen leert.

• Vergelijking: Het is alsof je een prachtige, oude viool hebt (het schrift), maar niemand meer weet hoe je erop moet spelen (de mondelinge traditie). Als de laatste musicus sterft, is de viool slechts een stuk hout.
• Dit project vangt de "muziek" voordat de laatste musicus stopt. Zelfs voor talen die bijna uitgestorven zijn (soms met maar 6 sprekers), hebben ze genoeg data kunnen verzamelen om een complete "digitale ziel" van de taal te maken.

5. De Toekomst: Een Open Huis

Alles wat ze hebben verzameld, ligt nu op een website: multiling.cloud.

• Het is een publiek park voor talen. Iedereen mag binnenlopen, luisteren en leren.
• Ze hebben ook speciale digitale toetsenborden gemaakt, zodat mensen deze talen eindelijk op hun telefoon of computer kunnen typen. Dit is een enorme stap: van "niemand kan dit schrijven" naar "iedereen kan dit delen".

Kortom:
Dit project is als het bouwen van een tijdbom-ontschakelaar voor taalverlies. Ze hebben de "vergeten" talen van Bangladesh uit de duisternis gehaald, ze in een digitale kluis gelegd en de sleutel aan de hele wereld gegeven. Zo zorgen ze ervoor dat deze talen, zelfs als ze in de toekomst niet meer gesproken worden, nooit volledig zullen verdwijnen uit het collectieve geheugen van de mensheid.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Oral to Web: Digitizing 'Zero Resource' Languages of Bangladesh" in het Nederlands.

Titel: Oral to Web: Digitalisering van 'Zero Resource'-talen van Bangladesh

1. Het Probleem

Bangladesh wordt vaak gezien als een taalkundig homogene natie met Bangla als dominante taal (gesproken door ca. 98% van de bevolking). Echter, er bestaat een onderliggende laag van linguïstische diversiteit met ongeveer 40 etnische minderheidstalen, waarvan er 14 door het International Mother Language Institute (IMLI) als bedreigd zijn bestempeld.

• Tekort aan documentatie: Bestaande documentatie is voornamelijk beschrijvend en beperkt tot individuele talen of kleine groepen. Er ontbreekt een systematisch, parallel corpus op nationale schaal dat alle vier de taalfamilies in Bangladesh omvat.
• Digitale uitsluiting: De meeste van deze talen vallen in de categorie "Class 0" of "Class 1" van de Joshi-et al. (2020) taxonomie voor NLP-bronnen. Ze hebben geen gestandaardiseerde orthografie, geen digitale voetafdruk en geen bestaande datasets voor computationele linguïstiek.
• Gevolg: Het ontbreken van gestructureerde bronnen belemmert zowel computationeel linguïstisch onderzoek als gemeenschapsgestuurde taalrevitalisatie.

2. Methodologie

Het project, uitgevoerd onder de EBLICT-projectvlag van de Bangladesh Computer Council, volgde een strikte drie-fasen methode om mondelinge talen om te zetten in gestructureerde webbronnen ("Oral to Web").

Fase 1: Voorbereiding op het veld

• Ontwerp van een gestandaardiseerd template: Er werd een predefined dataset-template ontwikkeld om cross-linguïstische vergelijkbaarheid te garanderen. Deze bevatte drie niveaus:
  • Woorden: 475 unieke lexicale items verdeeld over 22 semantische domeinen (bijv. dieren, lichaamsdelen, tijdswoorden).
  • Zinnen: 887 unieke zinnen, inclusief systematische vervoegingsparadigma's voor werkwoorden (persoon, getal, tijd, aspect) en 16 zinssoorten (bijv. interrogatief, imperatief, negatief).
  • Gestuurde spraak: 46 actieve conversatiescenario's (bijv. huishoudelijk leven, landbouw, gezondheid) om natuurlijk discours en domeinspecifiek vocabulaire te eliciteren.
• Technische infrastructuur: Er werd een aangepast veldwerkbeheerplatform ontwikkeld met annotatie-instrumenten en audio-splitfunctionaliteit.
• Pilot: Een pilot met de Hajong-gemeenschap testte de pijplijn en leidde tot verfijning van de protocollen.

Fase 2: Veldwerk (Data Collectie)

• Scope: 90 dagen veldwerk in 9 districten over 7 zones van Bangladesh.
• Deelnemers: 16 data-collectors werkten met 77 sprekers en 43 validators (native speakers) voor 41 taalfamilies (42 variëteiten).
• Proces: Per taal werden sessies gehouden voor woorden, zinnen en gestuurde spraak.
• Validatie: Onafhankelijke validators verifieerden de nauwkeurigheid, natuurlijkheid en representativiteit van de data om code-switching en individuele afwijkingen te minimaliseren.

Fase 3: Post-Veld Labwerk

• Transcriptie: 10 taalkundigen transcribeerden alle audio naar het Internationaal Fonetisch Alfabet (IPA) over een periode van 4 maanden.
• Adjudicatie: 6 adjudicators voerden onafhankelijke kwaliteitscontroles uit om consistentie in de IPA-transcripties te waarborgen.
• Community Review: De datasets werden teruggebracht naar de gemeenschappen voor feedback en validatie van culturele geschiktheid.
• Publicatie: Publicatie via het Multilingual Cloud platform (multiling.cloud).

3. Belangrijkste Resultaten en Dataset Kenmerken

Het resultaat is het Multilingual Cloud Corpus, het eerste nationale, parallelle, multimodale linguïstische dataset van Bangladesh.

• Omvang:
  • 85.792 gestructureerde tekstuele entries.
  • 107 uur getranscribeerde audio-opnames.
  • 42 taalfamilies/variëteiten uit vier taalfamilies: Tibeto-Burman (21 variëteiten), Indo-Europees (9), Austro-Aziatisch (8) en Dravidisch (5), plus 2 ongeclassificeerde talen.
• Data Structuur: Elke entry bevat:
  • Stimulus in het Bangla.
  • Parallelle vertaling in het Engels.
  • IPA-transcriptie.
  • Gesegmenteerde audio.
• Dekking:
  • Woordniveau: 69% van de talen bereikte volledige dekking (22/22 domeinen).
  • Zinsniveau: Variabele dekking; 6 talen bereikten volledige dekking (21/21).
  • Audio: De duur varieert per taal (van 64 minuten voor Gurkhali tot 352 minuten voor Telugu/Madrasi), wat voldoende is voor transfer learning.
• Kwaliteit: 100% dekking van Bangla-text, 99,76% Engels-vertaling, en >95% IPA-transcriptie voor de meeste talen (behalve Mundari met enkele lacunes).

4. Bijdragen aan het Veld

• Eerste Systematische Digitalisering: Dit is de eerste poging om etnische talen van Bangladesh op nationale schaal en over alle vier de taalfamilies heen systematisch te digitaliseren.
• Brug tussen Mondeling en Digitaal: Het project transformeert "zero-resource" mondelinge talen in gestructureerde, web-toegankelijke bronnen met IPA en parallelle vertalingen.
• Computationele Basis: Het corpus biedt de benodigde "seed data" (10+ uur per taal voor veel variëteiten) voor ASR (Automatic Speech Recognition) en NMT (Neural Machine Translation) modellen, die normaal gesproken falen bij minder dan 10 uur data.
• Infrastructuur: Het platform biedt digitale lettertypes en toetsenborden voor talen zonder standaard orthografie, wat digitale participatie mogelijk maakt.

5. Betekenis en Toekomstperspectief

• Bevordering van Taalbehoud: Het project demonstreert dat gestructureerde elicitering zelfs voor kritiek bedreigde talen (zoals Rengmitcha met slechts ~6 sprekers) waardevolle documentatie kan opleveren.
• NLP voor Low-Resource Talen: Het corpus vult een cruciale gat in de NLP-landschap van Zuid-Azië, waar de focus tot nu toe lag op grote nationale talen. Het stelt onderzoekers in staat om cross-family transfer learning en few-shot learning technieken toe te passen.
• Model voor Ontwikkelingslanden: Het project biedt een replicabel model voor andere taalkundig diverse landen in Zuid- en Zuidoost-Azië om hun immateriële culturele erfgoed digitaal te behouden.
• Toekomstig Werk: De focus ligt nu op het uitbreiden van het corpus met meer sprekers, het ontwikkelen van geautomatiseerde tools (ASR, TTS, vertaling) en het bouwen van leerapplicaties voor taalrevitalisatie.

Conclusie:
Het paper beschrijft een succesvol, grootschalig initiatief om de digitale kloof voor bedreigde talen in Bangladesh te dichten. Door een combinatie van strikte veldmethodologie, linguïstische expertise en open-source technologie, is een waardevol corpus gecreëerd dat zowel wetenschappelijk onderzoek ondersteunt als directe bijdrage levert aan het behoud van culturele diversiteit.