Qaamuuska-NLP: A Structured 46K-Entry Somali Lexicon Extracted from a Print Dictionary

Taal is meer dan alleen een stroom van woorden; het is een gestructureerd systeem waarin elk woord een specifieke taak heeft, een geschiedenis van hoe het van vorm verandert, en een netwerk van relaties met andere woorden. Voor computers om een taal te begrijpen, hebben ze een kaart van deze structuur nodig. Deze kaart wordt een lexicon genoemd, een digitale woordenboek dat niet alleen woorden en hun betekenissen opsomt, maar ook grammaticale details vastlegt, zoals of een zelfstandig naamwoord mannelijk of vrouwelijk is, of hoe een werkwoord verandert wanneer het een handeling beschrijft die aan iemand wordt gedaan versus een handeling die alleen wordt uitgevoerd. Voor veel van de talen ter wereld zijn deze kaarten al uitgebreid en gedetailleerd, waardoor computers tekst met grote nauwkeurigheid kunnen vertalen, doorzoeken en analyseren. Echter, voor het Somalisch, een taal die door miljoenen mensen in de Hoorn van Afrika en de diaspora wordt gesproken, zijn deze digitale kaarten incompleet geweest. Hoewel het Somalisch een rijke traditie van gedrukte woordenboeken heeft, is de informatie daarin gevangen gebleven in een formaat dat ontwor Eng voor menselijke ogen, wat het voor machines moeilijk maakt om dit systematisch te gebruiken.

Een team van onderzoekers bij Ogaal Labs heeft die vergrendeling nu geopend. Ze hebben een nieuwe digitale bron gecreëerd genaamd Qaamuuska-NLP, een gestructureerde collectie van 46.314 vermeldingen die rechtstreeks zijn geëxtraheerd uit een belangrijk gedrukt Somalisch woordenboek dat in 2012 werd gepubliceerd. De onderzoekers hebben de pagina's niet simpelweg gescand en de afbeeldingen in tekst omgezet, een proces dat vaak fouten introduceert. In plaats daarvan werkten ze met de digitale tekstlaag die al in het PDF-bestand van het woordenboek aanwezig was. Ze bouwden een reeks precieze, regelgebaseerde instructies om de lay-out van het boek te lezen, te identificeren waar de ene woordvermelding eindigde en de volgende begon, en de specifieke grammaticale aanwijzingen naar voren te halen die verborgen zaten in de opmaak. Het resultaat is een schone, machineleesbare database die de oorspronkelijke organisatie van het woordenboek behoudt terwijl er een laag van structuur aan wordt toegevoegd die computers direct kunnen bevragen. Dit werk vervangt het originele boek niet, maar vertaalt de diepe linguïstische kennis ervan naar een nieuwe taal die software kan spreken.

De bron van deze nieuwe bron is Qaamuuska Af-Soomaaliga, een uitgebreid monolinguaal woordenboek geredigeerd door Annarita Puglielli en Cabdalla Cumar Mansuur. In tegenstelling tot eenvoudige woordlijsten bevat dit boek een overvloed aan grammaticale informatie die essentieel is voor het begrijpen van hoe het Somalisch werkt. Het vertelt de lezer het geslacht van zelfstandige naamwoorden, de klasse van werkwoorden, en of een werkwoord een direct object vereist. Het bevat ook synoniemen, kruisverwijzingen naar andere woorden, en labels die aangeven of een woord tot een specifief vakgebied behoort zoals geneeskunde of recht. De uitdaging voor de onderzoekers was dat deze informatie niet was opgeslagen in nette kolommen met gegevens; het was ingebed in het visuele ontwerp van de gedrukte pagina. Het woordenboek gebruikt twee kolommen tekst, specifieke afkortingen en kleine superscriptnummers om woorden te onderscheiden die hetzelfde lijken maar verschillende betekenissen hebben. Om hun digitale versie te bouwen, schreven de onderzoekers een computerprogramma dat de lay-out kon navigeren zonder te hoeven raden of te leren van voorbeelden. Het programma leest de linker kolom van een pagina, dan de rechter kolom, en scant naar de herhalende patronen die het begin van een nieuwe woordvermelding signaleren.

Zodra het programma een woordvermelding identificeerde, brak het de tekst af in de componenten waaruit deze bestaat. Het scheidde het hoofdwoord van de definitie, de grammaticale tags en de verwijzingen naar andere woorden. Het team ontdekte dat het woordenboek 46.314 afzonderlijke records bevatte. Van deze waren er ongeveer 25.000 die daadwerkelijke definities boden, terwijl de resterende 21.000 kruisverwijzingen waren die de lezer naar een andere vermelding leidden. Het extractieproces was zeer succesvol in het vastleggen van de grammaticale details die het woordenboek nuttig maken. Voor de 34.726 zelfstandige naamwoorden slaagde het systeem erin het geslacht voor bijna al deze woorden te identificeren, door ze als mannelijk, vrouwelijk of beide te markeren. Voor de 11.445 werkwoorden legde het systeem de conjunctieklasse en of het werkwoord transitief of intransitief was voor bijna elk enkel exemplaar vast. De onderzoekers hebben ook de originele tekst van elke vermelding bewaard naast de nieuwe gestructureerde data. Dit zorgt ervoor dat iedereen die de database gebruikt, altijd de originele bron kan controleren om de informatie te verifiëren, waardoor de verbinding tussen de digitale kaart en het fysieke boek intact blijft.

De onderzoekers testten de kwaliteit van hun werk door te kijken naar hoe goed de grammaticale labels in het woordenboek overeenkwamen met de werkelijke vorm van de woorden. Ze stelden een eenvoudige vraag: als je alleen naar het einde van een Somalisch woord kijkt, kun je dan de grammaticale categorie voorspellen? Ze gebruikten een eenvoudige methode die naar de laatste paar letters van de woorden keek om hun geslacht of werkwoordklasse te raden. De resultaten lieten zien dat de labels in het woordenboek niet willekeurig waren. Voor werkwoordklassen was de methode in 93,5 procent van de gevallen correct, wat veel beter is dan simpelweg de meest voorkomende klasse raden. Voor het geslacht van zelfstandige naamwoorden was de methie in 86,4 procent van de gevallen correct. Deze cijfers suggereren dat de grammaticale informatie in het woordenboek diep geworteld is in de fysieke vorm van de woorden, wat bevestigt dat de geëxtraheerde data werkelijke linguïstische patronen weerspiegelt in plaats van willekeurige keuzes. De onderzoekers merkten echter op dat deze test een diagnostisch instrument was om de interne consistentie van de bron te controleren, en geen volledige test van het vermogen van een computer om Somalische tekst in de echte wereld te analyseren.

De nieuwe bron vult een specifieke leemte in het landschap van de Somalische taaltechnologie. Terwijl andere projecten meerdere woordenboeken hebben gecombineerd of zich hebben gericht op het genereren van lijsten van woordvormen, richt dit werk zich op het behouden van de structuur van een enkele, gezaghebbende bron. Het legt de redactionele beslissingen en de specifieje manier vast waarop de oorspronkelijke auteurs de taal organiseerden. De database bevat 11.415 synoniemlinks en 21.032 kruisverwijzingen, wat een netwerk creëert dat laat zien hoe woorden zich tot elkaar verhouden binnen de eigen logica van het woordenboek. Het identificeert ook 1.945 vermeldingen die tot gespecialiseerde gebieden behoren zoals geneeskunde, natuurkunde en recht, wat een startpunt biedt voor het opbouwen van technische woordenschat in het Somalisch. De onderzoekers zijn voorzichtig om te vermelden dat deze bron een representatie is van dat specifieke woordenboek uit 2012, en geen volledige telling van elk vandaag gebruikte woord in het Somalisch. De dekking en de specifieke definities weerspiegelen de keuzes die de oorspronkelijke redacteuren hebben gemaakt.

Er zijn beperkingen aan deze aanpak, die de auteurs openlijk erkennen. Omdat de extractieregels specifiek zijn ontworpen voor de lay-out van dit ene boek, kunnen ze niet zonder aanpassingen direct worden toegepast op een ander woordenboek. Het team merkte ook op dat het originele PDF enkele inconsistenties bevatte in de manier waarop apostrofjes werden getypt, wat de exacte overeenkomsten tussen woorden zou kunnen beïnvloeden, hoewel ze de originele tekst hebben behouden om toekomstige correcties mogelijk te maken. Bovendien, hoewel de extractiecode en de statistische samenvattingen van de gegevens worden voorbereid voor publieke release, kan de volledige lijst van 46.314 woorden en hun definities nog niet vrij worden gedeeld. Dit komt omdat het originele woordenboek auteursrechtelijk beschermd is en de onderzoekers nog werken aan het verkrijgen van de nodige toestemmingen om de volledige inhoud te herdistribueren. Totdat die toestemming is verleend, blijft de volledige dataset een privaat onderzoeksartefact, hoewel de gebruikte methoden beschikbaar zijn voor anderen om te bestuderen en aan te passen.

De waarde van dit werk ligt in het vermogen om een statisch boek om te zetten in een dynamisch instrument. Door het woordenboek om te zetten in een gestructureerd formaat, hebben de onderzoekers het mogelijk gemaakt voor computers om woorden te zoeken op basis van hun grammaticale eigenschappen, om het netwerk van synoniemen en kruisverwijzingen te traceren, en om de distributie van gespecialiseerde termen te analyseren. Dit lost niet elk probleem op van de verwerking van de Somalische taal, maar het biedt een solide fundament van hoogwaardige, gecureerde gegevens. Het demonstreert dat waardevolle linguïstische kennis vaak sluimert in gedrukte boeken, wachtend op een methode om het te ontsluiten. Het Qaamuuska-NLP project laat zien dat het met een zorgvuldige, regelgebaseerde aanpak mogelijk is om deze kennis te herstellen zonder de nuance en structuur van de originele bron te verliezen, waarmee een nieuwe bron wordt geboden voor onderzoekers, onderwijzers en ontwikkelaars die werken aan het brengen van het Somalisch in het digitale tijdperk.