A Multi-Model Approach to English-Bangla Sentiment Classification of Government Mobile Banking App Reviews

Dit onderzoek analyseert Engelse en Bangla-reviews van vier overheidsbankapps in Bangladesh en toont aan dat traditionele modellen zoals Random Forest en SVM beter presteren dan transformer-modellen voor sentimentanalyse, terwijl het onderzoek ook wijst op een aanzienlijke prestatiekloof tussen de talen en specifieke verbeterpunten voor de apps.

De kern

Stel je voor dat vier grote overheidsbanken in Bangladesh (Sonali, Agrani, Janata en Rupali) elk een mobiele app hebben. Miljoenen mensen gebruiken deze apps om hun geld te beheren, net zoals wij onze bankieren doen via een app. Maar hoe weten de banken of de mensen blij zijn of boos?

Deze mensen schrijven vaak reviews op de Google Play Store. Soms in het Engels, maar heel vaak in het Bengaals (de taal van Bangladesh).

De onderzoekers van dit artikel hebben een "digitale detective" opgezet om al die duizenden reviews te lezen en te begrijpen wat de mensen echt vinden. Hier is hoe ze dat deden, vertaald in een simpel verhaal:

1. Het Grote Schermpje (De Data)

De onderzoekers hebben alle reviews van de afgelopen jaren opgehaald. Het was een enorme berg papierwerk: eerst 11.414 reviews, maar na het weggooien van dubbele of onzin-berichten, hielden ze 5.652 echte, bruikbare reviews over.

• Het probleem: De mensen schreven in twee talen door elkaar. Het is alsof je een gesprek probeert te volgen waarbij mensen soms Engels spreken en soms Bengaals, en soms zelfs een mix van beide.

2. De Twee Detectives (De Modellen)

Om te bepalen of een review positief (blij) of negatief (boos) is, gebruikten ze twee soorten "detectives":

• De Klassieke Detectives: Dit zijn slimme, maar wat oudere methoden (zoals Random Forest en SVM). Ze kijken naar de woorden en tellen ze op.
• De Moderne Super-Detective: Dit is een geavanceerde AI genaamd XLM-RoBERTa. Deze is getraind op duizenden talen en zou eigenlijk alles moeten begrijpen.

Het verrassende resultaat:
Je zou denken dat de moderne Super-Detective de beste is. Maar in dit geval waren de Klassieke Detecties net iets slimmer! Ze maakten minder fouten. Waarom? Omdat de Super-Detective te veel "schoolse" kennis heeft en de specifieke, informele manier waarop mensen in Bangladesh over bankzaken praten, net niet helemaal snapt. De klassieke methoden waren beter op maat gemaakt voor deze specifieke situatie.

3. De "Twee-Talen" Klap (Het Taalprobleem)

Hier komt het belangrijkste punt van het verhaal.

• Als de AI een review in het Engels las, was hij 71% zeker van zijn antwoord.
• Maar las hij een review in het Bengaals, dan zakte zijn zekerheid naar 55%.

De Analogie:
Stel je voor dat je een vertaler hebt die perfect Engels spreekt, maar Bengaals moet vertalen door te raden. Als een Bengaalse gebruiker schrijft: "De app is traag als een slak in modder," begrijpt de AI dat niet goed. Een Engelse zin als "The app is slow" begrijpt hij wel.
Dit betekent dat de banken, als ze alleen op deze AI vertrouwen, Bengaalse klanten systematisch slechter behandelen. Ze krijgen minder aandacht voor hun klachten, terwijl ze vaak juist de mensen zijn die het hardst nodig hebben (zoals mensen op het platteland).

4. Waar zijn de mensen boos over? (De Aspecten)

De onderzoekers keken niet alleen naar "blij" of "boos", maar ook naar waarom. Ze gebruikten een speciale bril (DeBERTa) om te zien waar de pijn zit.

• De grootste klacht: De snelheid. De apps werken te traag.
• De tweede klacht: Het ontwerp. De knoppen zijn verwarrend of de app ziet er lelijk uit.
• De grote verliezer: De app eJanata kreeg de slechtste cijfers. Het was alsof deze app een auto was met een lekke band en een kapotte motor, terwijl de andere apps alleen maar een beetje trager reden.

5. Wat moeten de banken nu doen? (De Adviezen)

Op basis van dit onderzoek geven de auteurs drie duidelijke adviezen aan de overheidsbanken:

1. Maak de app sneller en mooier: Stop met het toevoegen van nieuwe functies als de basis (snelheid en gebruiksgemak) nog niet werkt. Test de app eerst met echte mensen in het Bengaals voordat je hem lanceert.
2. Wees eerlijk bij updates: Elke keer als de bank een update uitbrengt, worden de mensen boos (want er gaat iets stuk). Ze moeten dit beter plannen en mensen waarschuwen, zodat het vertrouwen niet wegvalt.
3. Geef de Bengaalse taal de prioriteit: De banken moeten AI-tools gebruiken die specifiek zijn getraind op het Bengaals. Het is onrechtvaardig dat een klant in het Engels een snelle oplossing krijgt, terwijl een klant in het Bengaals door de computer wordt genegeerd.

Samenvatting

Deze studie is een wake-up call voor de banken in Bangladesh. Ze hebben een geweldige kans om hun diensten te verbeteren door naar de reviews te kijken, maar ze moeten oppassen dat ze niet alleen naar de Engelse reviews luisteren. Als ze de "Bengaalse stem" niet goed begrijpen, laten ze een groot deel van hun klanten in de steek. De boodschap is simpel: Maak de app sneller, maak hem begrijpelijker, en zorg dat de technologie voor iedereen werkt, niet alleen voor de Engelse sprekers.

Technische samenvatting

Titel: Een Multi-Model Benadering voor Engels-Bengaalse Sentimentclassificatie van Reviews van Overheids-Mobiele Banking-apps

1. Probleemstelling

In ontwikkelingslanden zoals Bangladesh is mobiele banking de primaire toegangspoort tot financiële diensten voor miljoenen gebruikers. De kwaliteit van deze apps beïnvloedt direct de financiële inclusiviteit. Hoewel gebruikersreviews op de Google Play Store een waardevolle bron van feedback zijn, vormen ze een uitdaging voor geautomatiseerde analyse vanwege:

• Meertaligheid: Reviews bevatten een mix van Engels, Bengaals (in eigen script) en Romanized Bengaals.
• Gebrek aan vergelijkend onderzoek: Er was tot nu toe geen studie die alle vier de overheidsbank-apps (Sonali, Agrani, Janata, Rupali) analyseerde met een unificerend tweetalig corpus en de prestaties vergelijkt tussen klassieke machine learning-modellen en moderne transformer-modellen.
• Labelruis: Er is vaak een discrepantie tussen de sterrenscore (1-5) en de tekstuele inhoud van de review.

2. Methodologie

De onderzoekers hanteerden een gestructureerde pipeline om 5.652 geselecteerde reviews (uit een ruwe dataset van 11.414) te analyseren.

• Dataverzameling en -verwerking:

  • Data is verzameld via google-play-scraper voor de periode januari 2021 tot december 2025.
  • Na filtering (duplicaten, ruis, en niet-Engels/Bengaalse teksten) bleven 5.652 reviews over (80,1% Engels, 19,9% Bengaals).
  • De dataset is opgesplitst in 80% trainingsdata en 20% testdata.

• Hybride Labeling (Consensus Filtering):

  • Om labelruis te minimaliseren, werd een hybride benadering gebruikt. De sterrenscore diende als proxy (1-2 = negatief, 3 = neutraal, 4-5 = positief).
  • Een onafhankelijke XLM-RoBERTa-classificator beoordeelde de tekst.
  • Alleen reviews waarbij de sterrenscore en het modelovereenkwamen, werden behouden voor de trainingsset. Dit resulteerde in een "consensus-gelabelde" set van 2.957 instances. De overeenkomst tussen methoden was matig (Cohen's κ = 0,459).

• Modellen en Vergelijking:

  • Klassieke Modellen: Naive Bayes, Lineaire SVM, Logistische Regressie en Random Forest (gebaseerd op TF-IDF features).
  • Transformer-modellen:
    • Off-the-shelf (OTS): De voorgeprogrammeerde cardiffnlp/twitter-xlm-roberta-base-sentiment.
    • Fine-tuned: Dezelfde architectuur, maar getraind op de consensus-dataset (3 epochs).
  • Aspect-Based Sentiment Analysis (ABSA): Een aparte pipeline met DeBERTa-v3 om sentiment te analyseren op specifiek service-niveau (UI/UX, Veiligheid, Snelheid, Klantenservice, Functies, Transactieverwerking).

• Statistische Validatie:

  • Prestaties werden vergeleken met McNemar's test en 95% bootstrap betrouwbaarheidsintervallen.

3. Belangrijkste Bijdragen

1. Tweetalig Dataset: De creatie van een specifiek tweetalig (Engels-Bengaals) sentimentdataset voor overheidsbank-apps in Bangladesh, gelabeld via een hybride methode.
2. Systematische Vergelijking: Een grondige vergelijking van vier klassieke algoritmen tegenover OTS en fine-tuned transformer-modellen, inclusief statistische significantietests.
3. Aspect-Level Analyse: Toepassing van DeBERTa-v3 om specifieke pijnpunten per app te identificeren.
4. Taalprestatie-analyse: Een evaluatie van het prestatieverschil tussen Engels en Bengaals, wat een significant "equity"-probleem blootlegt.
5. Beleidshervormingen: Actiegerichte aanbevelingen voor overheidsbanken gebaseerd op data-gedreven inzichten.

4. Resultaten

• Modelprestaties:

  • Klassieke modellen presteerden beter: Random Forest behaalde de hoogste nauwkeurigheid (0,815) en Lineaire SVM de hoogste gewogen F1-score (0,804).
  • Transformer-prestaties: De fine-tuned XLM-RoBERTa behaalde een F1-score van 0,793, wat statistisch niet significant verschilde van de beste klassieke modellen, maar wel significant slechter was dan de OTS-versie (0,740).
  • Conclusie: De beperkte grootte van de trainingsset (n=2957) bleek onvoldoende voor de grote transformer-modellen om volledig te adapteren aan de domeinspecifieke vocabulaire.

• App-rangschikking:

  • Rupali e-Bank scoorde het beste (58,4% positief sentiment).
  • eJanata scoorde het slechtst (80,4% negatief sentiment, gemiddelde rating 2,20).

• Aspect-Based Sentiment:

  • De belangrijkste oorzaken van negatief sentiment waren Snelheid/Performance en UI/UX.
  • eJanata had extreem hoge percentages negatieve meldingen voor snelheid (61,3%) en interface (52,4%).
  • Veiligheidsklachten waren minder frequent maar kregen disproportioneel veel "thumbs up", wat wijst op een breed gedragen bezorgdheid.

• Taalverschil (Cruciaal Inzicht):

  • Er is een groot prestatiegat tussen Engels en Bengaals. De nauwkeurigheid voor Engels was 0,715, terwijl deze voor Bengaals daalde tot 0,554 (een verschil van 16,1 procentpunten).
  • Oorzaken: Voortrening voornamelijk op Engels, subword-tokenisatie die de semantische coherentie in het Bengaals verstoort, en variabiliteit in de spelling van het Bengaals.

• Temporele Trends:

  • Er is een stijgende trend in negatief sentiment (17% toename) tussen 2021 en 2025, vaak gekoppeld aan app-updates.

5. Betekenis en Aanbevelingen

De studie benadrukt dat data-gedreven verbetering van overheidsdiensten mogelijk is, maar waarschuwt voor taalbias in AI-systemen.

Drie beleidsaanbevelingen:

1. Kwaliteitsremediatie: Overheidsbanken moeten Service Level Agreements (SLA's) invoeren voor app-performance en snelheid, en bilingual usability-tests uitvoeren voordat grote releases plaatsvinden.
2. Vertrouwensgebaseerd Release Management: Implementatie van gefaseerde roll-outs met beta-testgroepen en proactieve communicatie over veiligheidsaudits om negatieve sentimentpieken na updates te mitigeren.
3. Bangla-first NLP: Om linguïstische gelijkheid te waarborgen, moeten overheidsbanken en toezichthouders verplichten dat domein-aangepaste Bengaalse modellen (zoals BanglaBERT) worden gebruikt in klantfeedbacksystemen. Het huidige gebruik van Engelstalige modellen leidt tot systematische onderbenutting van Bengaals sprekende gebruikers, vaak uit landelijke gebieden.

Beperkingen:
De studie sluit feature-phone gebruikers (USSD) uit, en de trainingsset is sterk Engels-georiënteerd (85,3%), wat de prestaties voor het Bengaals verder kan beïnvloeden. De vooringenomenheid van DeBERTa-v3 (Engels-gebaseerd) beperkt ook de nauwkeurigheid van aspect-extractie in het Bengaals.