Automatically Detecting Code-Switching Between Nigerian Pidgin English and English

In de bruisende, meertalige landschappen van Nigeria is taal zelden een enkele, statische stroom. In plaats daarvan is het een dynamische stroom waarbij twee talen vaak samen in dezelfde zin stromen. Deze praktijk, bekend als code-switching, vindt plaats wanneer een spreker vloeiend beweegt tussen het Standaard Engels en het Nigeriaans Pidgin Engels, een levendige creoolse taal die door miljoenen mensen wordt gebruikt als een brug tussen diverse etnische groepen. Voor computers, die vertrouwen op rigide regels en duidelijke categorieën om tekst te begrijpen, vormt deze vloeibaarheid een aanzienlijke puzzel. Traditionele hulpmiddelen hebben vaak moeite om te bepalen waar de ene taal eindigt en de andere begint, vooral wanneer de tweede taal, Pidgin, niet beschikt over één gestandaardiseerde spelling en sterk varieert per regio. Zonder een manier om deze wisselingen nauwkeurig te identificeren, kunnen computers de rijke, gemengde taalgesprekken die het dagelijsjes leven van miljoenen mensen definiëren, niet effectief verwerken, waardoor een groot deel van de menselijke communicatie onzichtbaar blijft voor digitale technologie.

Om dit probleem op te lossen, zetten onderzoekers aan de Bangor University zich in om een nieuw soort kaart te maken voor deze gemengde teksten. Ze begonnen met het verzamelen van een enorme collectie werkelijke teksten, waarbij ze verhalen uit dertig verschillende boeken, duizenden reacties van een online forum en honderden nieuwsartikelen samenbrachten. Deze diverse mix zorgde ervoor dat ze het volledige bereik vastlegden van hoe mensen daadwerkelijk spreken en schrijven, van de formele structuur van nieuwsberichten tot de informele, snelle uitwisselingen van internetgebruikers. Het team creëerde vervolgens een "ground truth"-dataset, een zorgvuldig geverifieerde referentiegids waarin menselijke experts handmatig elk punt markeerden waar de taal versprong van Engels naar Pidgin of terug naar Engels. Deze door mensen geverifieerde kaart diende als de gouden standaard waartegen alle computermodellen zouden worden getest.

De onderzoekers trainden vervolgens verschillende soorten computerprogramma's om te leren hoe ze deze wisselingen zelfstandig kunnen herkennen. Ze probeerden de gebruikelijke verdachten in het vakgebied van kunstmatige intelligentie, zoals deep learning-modellen die proberen de manier waarop menselijke hersenen woordsequenties verwerken na te bootsen. Ze testten ook traditionele statistische classificatiesystemen die zoeken naar patronen in groepen letters. De meest verrassende en effectieve tool bleek echter iets heel anders te zijn: een compressiegebaseerd model. In eenvoudige termen werkt dit type programma door de statistische patronen te leren van hoe letters elkaar in een specifieke taal opvolgen, vergelijkbaar met een persoon die een boek zo vaak heeft gelezen dat hij het volgende woord kan voorspellen zonder erbij na te denken. De onderzoekers gebruikten een specifieke methode genaamd Prediction by Partial Matching, die de computer in staat stelt om tekst karakter voor karakter te analyseren en een waarschijnlijkheidskaart op te bouwen van wat er volgt op basis van de directe context.

Toen het team deze verschillende programma's testte tegenover hun door mensen geverifieerde kaart, waren de resultaten veelzeggend. De deep learning-modellen, die vaak enorme hoeveelheden data nodig hebben om goed te functioneren, hadden moeite om het bij te houden en behaalden lagere nauwkeurigheidsscores dan verwacht. De traditionele statistische modellen presteerden beter, waarbij een specif kind type random forest-classifier een nauwkeurigheid van 89 procent bereikte. Toch presteerden de compressiegebaseerde modellen, die geen massale datasets nodig hebben om te leren, net zo goed als de beste traditionele modellen, met eveneens een nauwkeurigheid van 89 procent. Wat deze compressiemodellen bijzonder indrukwekkend maakte, was hun snelheid en efficiëntie. Terwijl andere modellen langer nodig hadden voor training en verwerking, konden de compressiemodellen de patronen van de taal leren en nieuwe tekst in slechts enkele seconden analyseren, met zeer weinig rekenkracht.

De studie bracht ook interessante details over de talen aan het licht. Door de tekst te analyseren, ontdekten de onderzoekers dat Nigeriaans Pidgin de neiging heeft om een meer gecomprimeerde woordenschat te gebruiken, waarbij het zwaar leunt op een kleinere set woorden met een hoge frequentie vergeleken met de bredere, meer diverse woordenschat van het Standaard Engels. Dit verschil in structuur hielp de computermodellen om onderscheid te maken tussen de twee, aangezien de statistische patronen van lettersequenties in Pidgin duidelijk genoeg waren om herkend te worden, zelfs zonder een massaal woordenboek. De confusion matrices, die precies laten zien waar de modellen fouten maakten, onthulden dat de compressiemodellen bijzonder goed waren in het identificeren van Pidgin; ze markeerden bijna 93 procent van de Pidgin-segmenten correct, hoewel ze af en toe wat Engels voor Pidgin aanzagen.

Uiteindelijk toont dit onderzoek aan dat je niet altijd de meest complexe, data-hongerige kunstmatige intelligentie nodig hebt om moeilijke taalproblemen op te lossen. Voor talen met weinig middelen (low-resource languages) zoals het Nigeriaans Pidgin, die niet beschikken over de enorme digitale archieven die beschikbaar zijn voor grote wereldtalen, kunnen eenvoudigere, statistische benaderingen net zo effectief zijn als de meest geavanceerde neurale netwerken. De compressiegebaseerde modellen bleken een krachtig, snel en efficiënt alternatief, in staat om gemengde teksten met hoge precisie te segmenteren. Door een nieuwe, handmatig geverifieerde dataset te bieden en het levensvatbaarheid van deze lichte modellen te bewijzen, hebben de onderzoekers een deur geopend voor toekomstige hulpmiddelen die eindelijk de rijke, code-switchende gesprekken van miljoenen mensen kunnen begrijpen en verwerken, waardoor digitale technologie inclusiever wordt voor sprekers van diverse en evoluerende talen.