Multilingual Artificial Intelligence for Classifying Ethiopian FinTech User Reviews

In de bruisende digitale markten van Ethiopië vindt een stille revolutie plaats. Miljoenen mensen gebruiken mobiele telefoons om geld te versturen, rekeningen te betalen en hun spaargeld te beheren via applicaties die bekend staan als FinTech. Deze hulpmiddelen hebben bankieren naar plaatsen gebracht waar traditionele bankfilialen nooit kwamen, maar met deze snelle groei komt ook een vloedgolf aan feedback. Elke dag typen gebruikers recensies op hun telefoons, waarbij ze verhalen over succes delen of klagen over storingen. Deze berichten zijn niet altijd geschreven in één enkele, formele taal. In plaats daarvan zijn ze een levendige mix van Engels, Amhaars (de meest gesproken taal in Ethiopië) en een unieke versmelting van beide, waarbij een zin in de ene taal kan beginnen en in de andere kan einden. Deze linguïstische creativiteit maakt de tekst rijk en menselijk, maar het maakt het ook ongelooflijk moeilijk voor computers om te begrijpen. Jarenlang was de uitdaging om machines te leren deze rommelige, meertalige notities te lezen en precies te begrijpen waar de gebruiker het over heeft. Is de persoon tevreden met het ontwerp van de app? Zijn ze boos omdat een betaling is mislukt? Hebben ze hulp nodig bij het inloggen? Zonder een duidelijk antwoord op deze vragen blijven banken en app-ontwikkelaars gissen, onbekwaam om de specifieता problemen op te lossen die hun klanten frustreren.

Een team van onderzoekers zette zich scharpe om dit puzzelstukje op te lossen door een systeem te bouwen dat deze recensies automatisch kon sorteren in vijf verschillende categorieën van service. Ze verzamelden duizenden echte gebruikersreacties van tweeentwintig verschillende Ethiopische financiële applicaties. De collectie was enorm, beginnend met meer dan acht duizend inzendingen, maar de onderzoekers moesten voorzichtig zijn. Ze reinigden de data door duplicaten, spam en lege berichten te verwijderen, totdat ze over een solide set van meer dan zeven duizend recensies beschikten. Deze recensies waren een ware reflectie van hoe mensen werkelijk spreken: sommige waren volledig in het Engels geschreven, sommige in het Amhaars, en velen waren een vloeiende mix van beide. De onderzoekers leerden vervolgens een groep computers deze teksten te lezen en te labelen. De categorieën waren specifief: algemene lof of suggesties, problemen met het ontwerp van de app of de gebruikerservaring, mislukkingen in transacties of betalingen, problemen met inloggen of het verifiëren van identiteit, en klachten over de klantenservice.

Om te zien welke aanpak het beste werkte, testte het team drie verschillende soorten computerintelligentie. Eerst probeerden ze oudere, simpelere methoden die zoeken naar specifieke woorden en zinnen. Vervolgens gebruikten ze diepere neurale netwerken, wat systemen zijn die patronen leren zoals een menselijk brein dat doet, maar zonder de complexe context van taal. Ten slotte testten ze geavanceerde "transformer"-modellen. Dit zijn krachtige systemen die getraind zijn op enorme hoeveelheden tekst van over de hele wereld, waardoor ze de context en de betekenis achter woorden kunnen begrijpen, zelfs wanneer die woorden tussen talen door gemengd zijn. De onderzoekers waren zeer strikt in hoe ze deze tests uitvoerden. Ze zorgden ervoor dat de computer de testantwoorden nooit zag terwijl hij leerde, om te voorkomen dat hij de data uit het hoofd leerde. Ze moesten ook een groot probleem aanpakken: de meeste recensies waren positieve lof, terwijl er zeer weinig waren over ernstige fouten zoals verloren geld of inlogproblemen. Om dit op te lossen, balanceerden ze de trainingsdata zorgvuldig zodat de computer evenveel aandacht besteedde aan de zeldzame problemen, zonder dat die balans doorsijpelde naar de uiteindelijke test.

De resultaten toonden een duidelijke winnaar. De meest geavanceerde modellen, specifiek de modellen die ontworpen zijn met Afrikaanse talen in gedachten, presteerden beter dan de rest. Eén model, getraind om de nuances van Afrikaanse spraakpatronen te begrijpen, behaalde de sterkste prestatie, met een nauwkeurigheid van 96,7% en een macro-F1 van 96,0%. Het werd nauw gevolgd door andere krachtige meertalige modellen. De oudere, simpelere methoden en de standaard neurale netwerken deden het goed, maar ze konden de precisie van de geavanceerde systemen niet evenaren, vooral wanneer het ging om de moeilijke, gemengde taalrecensies. De studie toonde aan dat hoewel de computers uitstekend waren in het lezen van puur Engels of puur Amhaars, ze nog steeds iets meer moeite hadden met de "code-switched" berichten waar talen door elkaar werden gebruikt. Dit is een natuurlijke hindernis, aangezien de mix van talen unieke patronen creëert die moeilijker te leren zijn. De onderzoekers ontdekten ook dat zeer korte recensies, die vaak een gebrek aan context hebben, het moeilijkst waren voor de computers om correct te categoriseren.

Dit werk classificeert meer dan alleen computermodellen; het biedt een duidelijke routekaart voor hoe men om moet gaan met het unieke linguïstische landschap van Ethiopië. De onderzoekers toonden aan dat deze bevindingen de waarde illustreren van contextuele meertalige representaties, terwijl ze ook laten zien dat data-imbalans, linguïstische variatie, korte recensies en beperkte middelen belangrijke beperkingen blijven. In plaats van simpelweg tools te gebruiken die voor Engelstaligen zijn gebouwd en te verwachten dat ze perfect werken op Ethiopische recensies, suggereert de studie dat systemen moeten worden afgestemd op de lokale talen en de manier waarop mensen ze mengen. De studie benadrukte ook dat hoewel technologie deze recensies met een hoge nauwkeurigheid kan sorteren, het geen perfecte oplossing is. Het systeem werkt het best wanneer er een goede balans is in de data en wanneer de recensies lang genoeg zijn om context te bieden. Voor de banken en app-ontwikkelaars in Ethiopië betekent dit dat ze nu een betrouwbare manier hebben om automatisch door duizenden klantklachten en suggesties te sorteren, waarbij ze precies identificeren welke gebruikers problemen hebben met betalingen of inloggen, zodat ze dit snel kunnen oplossen. De studie concludeert dat hoewel kunstmatige intelligentie een enorme sprong voorwaarts heeft gemaakt in het begrijpen van deze complexe, meertalige gesprekken, de reis nog niet voorbij is. De technologie is klaar om te helpen, maar het heeft nog steeds meer data nodig, vooral voor de gemengde taalrecensies, om werkelijk foutloos te worden.