Tangut Word Segmentation under Extreme Resource Scarcity: Integrating Traditional Lexicons and Unlabeled Text

Taal wordt vaak beschouwd als een stroom van geluid, maar voor veel geschreven systemen begint het als een stroom van symbolen. In de meeste moderne schriftvormen geven spaties of leestekens aan de lezer aan waar het ene woord eindigt en het volgende begint. Sommige oude schriften gebruiken echter deze visuele aanwijzingen niet. In plaats daarvan presenteren ze een continue lijn van tekens, waardoor de lezer moet uitzoeken waar de betekenisvolle eenheden liggen. Dit is de uitdaging waar wetenschappers die het Tangut bestuderen voor staan, een taal die ooit het officiële schrift was van de Xixia-dynastie in China, maar die al eeuwenlang uitgestorven is. De overgebleven teksten zijn kostbare vensters naar een verloren wereld van geschiedenis en cultuur, maar ze blijven moeilijk te lezen omdat de woorden niet van elkaar gescheiden zijn. Zonder een manier om deze woordgrenzen automatisch te identificeren, kunnen computers deze historische documenten niet effectief doorzoeken, vertalen of analyseren.

Decennialang hebben onderzoekers zich gericht op het simpelweg herkennen van de individuele tekens in Tangut-manuscripten, waarbij afbeeldingen van inkt op papier worden omgezet in digitale tekst. Maar het herkennen van een teken is slechts de eerste stap; het begrijpen van de taal vereist weten welke tekens bij elkaar horen om een woord te vormen. Deze taak is uitzonderlijk moeilijk omdat er geen moedertaalsprekers meer zijn om te raadplegen, en de weinige experts die Tangut kunnen lezen, moeten vertrouwen op een combinatie van context, gereconstrueerde uitspraak en oude woordenboeken om te raden waar woorden beginnen en eindigen. Het gebrek aan deskundige kennis en het ontbreken van grote digitale bibliotheken maken dit een probleem van extreme schaarste aan middelen, waarbij de gebruikelijke instrumenten van moderne kunstmatige intelligentie vaak falen omdat ze enorme hoeveelheden gelabelde gegevens nodig hebben om te leren.

Een team van onderzoekers heeft nu de eerste systematische stap gezet om dit puzzelstukje op te lossen door een computer te leren hoe hij Tangut-woorden kan segmenteren met zeer beperkte menselijke begeleiding. Ze begonnen met een kleine, zorgvuldig samengestelde collectie van 2.750 tekstsegmenten, die in totaal bijna 32.000 woorden bevatten, die handmatig door specialisten waren verdeeld. Deze dataset, afkomstig uit een boeddhistische heilige schrift en een seculiere encyclopedie, diende als het fundament voor hun training. Het vertrouwen op alleen deze kleine hoeveelheid gelabelde gegevens zou echter niet voldoende zijn om een robuust systeem te boulen. Om dit te overwinnen, combineerden de onderzoekers drie verschillende bronnen van kennis: de door experts gelabelde voorbeelden, een traditioneel woordenboek van Tangut-woorden en een enorme collectie ongelabelde Tangut-tekst die nooit in woorden was verdeeld.

De onderzoekers ontwierpen een systeem dat het woordenboek niet behandelt als een rigide regelboek, maar als een bron van hints. In veel gevallen kan een enkel teken deel uitmaken van verschillende verschillende woordenboekvermeldingen, wat een web van overlappende mogelijkheden creëert. In plaats van de computer te dwingen om onmiddellijk één pad te kiezen, behoudt het systeem al deze potentiële kandidaten. Vervolgens gebruikt het een methode van "betrouwbaarheidskalibratie" om deze hints te wegen. Door te kijken naar hoe vaak een woordenboekvermelding in de tekst voorkomt en hoe vaak deze overeenkomt met de grenzen van de expert, leert het systeem sommige woordenboekvermeldingen meer te vertrouwen dan andere. Dit voorkomt dat de computer blindelings een woordenboekvermelding volgt die mogelijk onjuist is voor de specifieke context van het manuscript.

Om zijn begrip verder te verbeteren, leerde het systeem ook van de ongelabelde tekst, die honderdduizenden tekens bevatte maar geen woordverdelingen. Door te analyseren hoe vaak tekens naast elkaar verschenen en hoe gevarieerd hun buren waren, bouwde het systeem een statistische kaart van de taal. Het leerde dat bepaalde tekencombinaties vaak samen voorkomen, wat suggereert dat ze een enkel woord vormen, terwijl andere meer willekeurig verschijnen, wat wijst op een grens tussen hen. Deze statistische intuïtie werd gecombineerd met een modern neuraal netwerk, een type computerprogramma ontworpen om patronen te herkennen, dat was voorgetraind op de ongelabelde tekst om de context van tekens te begrijpen voordat het ooit de gelabelde voorbeelden zag.

De resultaten van deze aanpak waren significant. Wanneer getest op onbekende delen van de tekst, bereikte het systeem een hoog niveau van nauwkeurigheid, waarbij het woordgrenzen in meer dan 91 procent van de gevallen correct identificeerde. Deze prestatie was aanzienlijk beter dan systemen die alleen vertrouwden op de kleine hoeveelheid gelabelde gegevens of alleen op het woordenboek. De studie vond dat de combinatie van deskundige kennis, woordenboekhints en statistische patronen uit ongelabelde tekst essentieel was; het verwijderen van een van deze componenten zorgde ervoor dat de prestaties van het systeem daalden. Het systeem bleek ook bijzonder goed in het herkennen van woorden die niet in de trainingsvoorbeelden voorkwamen, een veelvoorkomende uitdaging in talen met weinig middelen, door de statistische patronen en de woordenboekkennis te gebruiken om beredeneerde gissingen te doen.

Een van de belangrijkste bevindingen was dat het vermogen van het systeem om te generaliseren sterk afhankelijk was van het type tekst dat het las. Terwijl het uitzonderlijk goed presteerde op de seculiere encyclopedie, die het grootste deel van de data uitmaakte, was het iets minder nauwkeurig op de religieuze schrift. Dit suggereert dat het systeem nog steeds leert om zich aan te passen aan verschillende stijlen en vocabulaire binnen de taal. De onderzoekers merkten ook op dat hoewel het systeem woordgrenzen met hoge precisie kon identificeren, de taak van het toewijzen van grammaticale labels aan die woorden een voorlopige stap blijft, aangezien de inventaris van woordtypen nog steeds door experts wordt verfijnd.

Dit werk vormt een cruciale basis voor de toekomst van de Tangut-studies. Door traditionele taalkundige bronnen succesvol te integreren met moderne machine learning-technieken, hebben de onderzoekers een instrument gecreëerd dat wetenschappers kan helpen deze oude teksten efficiënter te verwerken en te analyseren. Het systeem vervangt de noodzaak voor menselijke experts niet, maar biedt een krachtige hulp die de repetitieve taak van segmentatie kan afhandelen, waardoor onderzoekers zich kunnen concentreren op diepere historische en taalkundige vragen. Terwijl het team hun geannoteerde gegevens uitbreidt en hun modellen verfijnt, hopen zij uiteindelijk deze methoden toe te passen op een breder scala aan documenten, om de verloren taal van de Xixia-dynastie dichter bij een modern begrip te brengen.