A Multi-Model Approach to English-Bangla Sentiment Classification of Government Mobile Banking App Reviews

Cette étude propose une approche multi-modèle pour classifier les avis en anglais et en bangla concernant quatre applications bancaires gouvernementales au Bangladesh, révélant que les modèles classiques surpassent les transformers pré-entraînés et identifiant des lacunes critiques en matière de vitesse et de conception d'interface, tout en soulignant l'urgence de développer des modèles NLP pour les langues à ressources limitées.

L'essentiel

📱 L'Histoire : Quand les Banques Écoutent (ou pas) leurs Clients

Imaginez que quatre grandes banques publiques au Bangladesh (comme des géants bienveillants mais parfois un peu lourds) ont lancé des applications mobiles pour que tout le monde puisse gérer son argent. Des millions de gens les utilisent. Mais, comme dans toute relation, il y a des moments de bonheur et des moments de frustration.

Les chercheurs de l'Université de Rajshahi ont décidé de jouer le rôle de détectives du langage. Ils ont collecté plus de 11 000 avis laissés par les utilisateurs sur le Google Play Store. C'est comme si ils avaient ramassé des milliers de lettres de plainte et de compliments, écrites en deux langues : l'anglais et le bangla (la langue locale).

Après avoir nettoyé ce "tas de lettres" (en enlevant les doublons et les messages illisibles), ils en ont gardé 5 652 pour les analyser. Leur but ? Comprendre ce qui rend les gens heureux ou en colère, et voir si les ordinateurs peuvent le comprendre aussi bien que des humains.

🤖 Le Match : Les Anciens vs. Les Super-Héros

Pour analyser ces avis, les chercheurs ont organisé un petit tournoi de robots (algorithmes) :

1. Les "Vieux Sages" (Modèles classiques) : Ce sont des méthodes d'analyse de données plus anciennes, comme le Random Forest (une forêt d'arbres décisionnels) ou le SVM. Imaginez-les comme des artisans expérimentés qui connaissent très bien leur métier, même avec des outils simples.
2. Les "Super-Héros" (Transformers modernes) : Ce sont des intelligences artificielles très puissantes et récentes, comme XLM-RoBERTa. Imaginez-les comme des super-ordinateurs qui ont lu presque tout Internet pour apprendre à parler.

Le résultat surprenant ?
Dans ce match, les "Vieux Sages" ont gagné !

• Les modèles classiques ont obtenu une précision de 81,5 %.
• Le "Super-Héros" (la version fine-tunée) a obtenu 79,3 %.
• Et la version du Super-Héros qui n'avait pas été entraînée spécifiquement pour ce travail (la version "off-the-shelf") a fait encore pire (74 %).

La métaphore : C'est comme si vous demandiez à un expert local qui connaît parfaitement le quartier (le modèle classique) de vous donner le chemin, plutôt qu'à un touriste très intelligent qui a lu tous les guides du monde mais qui ne connaît pas les ruelles spécifiques (le modèle moderne). Ici, le contexte local (les applications bancaires bangladaises) était trop spécifique pour que le "Super-Héros" devance l'expert local sans un entraînement massif.

🔍 Le Détail : Ce qui fâche vraiment les gens

En creusant plus profondément (grâce à un autre robot appelé DeBERTa), les chercheurs ont regardé pourquoi les gens étaient en colère. Ils ont divisé les plaintes en six catégories, comme les rayons d'une roue :

1. La Vitesse (Speed) : C'est le gros problème. Les transactions sont lentes. C'est comme attendre un bus qui ne vient jamais.
2. Le Design (UI/UX) : L'application est mal dessinée, difficile à utiliser. C'est comme essayer d'ouvrir une porte avec une clé qui ne tourne pas.
3. La Sécurité : Moins souvent mentionnée, mais quand quelqu'un parle de sécurité, tout le monde écoute (beaucoup de "J'aime" sur les avis). C'est le sujet qui fait peur.

Le grand perdant : L'application eJanata. Elle a reçu les pires notes. Ses utilisateurs se plaignent surtout de la lenteur et d'un design confus. C'est comme si c'était la seule voiture du garage qui tombe en panne à chaque démarrage.

🌍 Le Problème de Langue : Un Décalage Injuste

C'est ici que l'histoire devient sérieuse. Les chercheurs ont remarqué un gros problème d'équité :

• Quand les avis étaient en anglais, le robot comprenait très bien (71,5 % de réussite).
• Quand les avis étaient en bangla, la performance du robot chutait drastiquement (55,4 % de réussite).

L'analogie : Imaginez un traducteur qui est un génie pour traduire du français vers l'anglais, mais qui bégaye et fait des erreurs quand il doit traduire du dialecte local.
C'est injuste car les utilisateurs qui parlent bangla (souvent ceux des zones rurales ou moins connectés) se retrouvent avec un service de qualité inférieure. Si une banque utilisait ce robot pour trier les plaintes, elle ignorerait ou maltraiterait les plaintes en bangla.

💡 Les Solutions Proposées (Les 3 Conseils)

Pour arranger les choses, les chercheurs donnent trois conseils aux banques :

1. Réparez la voiture avant de rouler : Les banques doivent fixer les problèmes de vitesse et de design avant de lancer de nouvelles versions. Il faut tester l'application avec de vrais utilisateurs locaux, pas juste avec des ingénieurs.
2. La confiance avant tout : Quand une mise à jour arrive, les gens paniquent. Les banques devraient faire des tests progressifs (comme un essai routier avant la vente) et être transparentes sur la sécurité. Si un bug arrive, il faut le réparer vite pour ne pas perdre la confiance des clients.
3. Parlez la langue de vos clients (Bangla d'abord) : Il faut créer des intelligences artificielles spécialisées dans le bangla. Ne pas le faire, c'est comme dire aux clients ruraux : "Votre voix compte moins que celle des citadins". C'est une question de justice.

En Résumé

Cette étude nous dit que pour les applications bancaires au Bangladesh, les outils simples et locaux fonctionnent souvent mieux que les géants de l'IA, surtout pour comprendre les nuances de la langue locale. Mais surtout, elle nous rappelle que la technologie ne doit pas laisser derrière ceux qui parlent la langue locale. Pour que le progrès financier profite à tous, il faut des outils qui comprennent le bangla aussi bien que l'anglais.

Résumé technique

Titre : Une approche multi-modèle pour la classification des sentiments en anglais et en bengali des avis sur les applications mobiles de banque gouvernementale

1. Problématique et Contexte

L'adoption du mobile banking en Banglades est en croissance rapide, en particulier pour les employés gouvernementaux, les retraités et les populations rurales dépendant de quatre banques publiques (Sonali, Agrani, Janata, Rupali). Cependant, la qualité des applications influence directement l'accès aux services financiers.
Les défis majeurs identifiés sont :

• La nature bilingue des données : Les avis contiennent un mélange d'anglais, de bengali (script) et de bengali romanisé, ce qui rend les pipelines monolingues inefficaces et sujettes au bruit lors de la traduction.
• Le manque d'études unifiées : Aucune recherche précédente n'avait analysé les avis des quatre banques publiques simultanément en utilisant un corpus bilingue et en comparant les modèles classiques aux modèles transformateurs (Transformers).
• Le déséquilibre linguistique : Les modèles pré-entraînés multilingues (comme XLM-RoBERTa) sont souvent biaisés en faveur de l'anglais, laissant les utilisateurs bengaliophones (souvent moins connectés) avec des analyses de sentiments de moindre qualité.

2. Méthodologie

L'étude propose un pipeline complet allant de la collecte des données à l'analyse des politiques :

• Collecte et Prétraitement des Données :
  • Extraction de 11 414 avis bruts sur Google Play pour les applications Sonali e-Wallet, Agrani Smart, eJanata et Rupali e-Bank (période 2021-2025).
  • Nettoyage rigoureux (suppression des doublons, détection de langue, filtrage des caractères non pertinents) aboutissant à un corpus bilingue de 5 652 avis (80,1 % anglais, 19,9 % bengali).
• Étiquetage Hybride (Hybrid Labeling) :
  • Pour réduire le bruit des étiquettes, une approche de consensus a été utilisée : les avis ont été étiquetés à la fois par la note étoile (1-2 = négatif, 3 = neutre, 4-5 = positif) et par un classificateur XLM-RoBERTa indépendant.
  • Seuls les échantillons où les deux méthodes s'accordaient ont été conservés pour l'entraînement (2 957 instances), avec un accord inter-méthodes modéré ($\kappa = 0,459$).
• Modélisation et Classification :
  • Modèles Classiques : Naïve Bayes, SVM Linéaire, Régression Logistique et Forêt Aléatoire (Random Forest) basés sur des caractéristiques TF-IDF.
  • Modèles Transformers : XLM-RoBERTa utilisé en deux configurations : "Off-the-Shelf" (OTS, sans fine-tuning) et "Fine-tuned" (ajusté sur le jeu de données consensus).
  • Analyse de Sentiment par Aspect (ABSA) : Utilisation de DeBERTa-v3 pour analyser les sentiments spécifiques à six dimensions : UI/UX, Sécurité, Vitesse/Performance, Service Client, Fonctionnalités et Traitement des transactions.
• Validation Statistique : Comparaison des performances via la précision, le rappel, le F1-score pondéré et des tests de McNemar pour déterminer la significativité statistique.

3. Contributions Clés

1. Création d'un jeu de données bilingue : Un corpus spécifique aux applications bancaires gouvernementales du Bangladesh, étiqueté via une méthode hybride robuste.
2. Comparaison systématique : Une évaluation rigoureuse des modèles classiques contre les modèles Transformers (OTS et Fine-tuned) avec validation statistique.
3. Analyse granulaire : Une analyse ABSA détaillée révélant les points de douleur spécifiques par application.
4. Équité linguistique : Mise en évidence de l'écart de performance significatif entre l'anglais et le bengali, soulignant la nécessité de modèles adaptés aux langues à ressources limitées.
5. Recommandations politiques : Proposition de mesures concrètes pour les banques publiques basées sur les données.

4. Résultats Principaux

• Performance des Modèles :
  • Contre-intuitivement, les modèles classiques ont surpassé les Transformers. La Forêt Aléatoire a obtenu la meilleure précision (0,815), et le SVM Linéaire le meilleur F1-score pondéré (0,804).
  • Le XLM-RoBERTa fine-tuned a obtenu un F1-score de 0,793, tandis que la version OTS a atteint seulement 0,740.
  • Les tests de McNemar confirment que les modèles classiques sont statistiquement supérieurs à la version OTS ($p < 0,05$), mais la différence avec la version fine-tuned n'est pas statistiquement significative (écart faible dû à la taille limitée du jeu d'entraînement consensus).
• Analyse par Aspect (ABSA) :
  • Les principales causes de mécontentement sont la vitesse/performance et la qualité de l'interface (UI/UX).
  • L'application eJanata est la moins bien notée, avec 61,3 % des mentions de vitesse jugées négatives et 52,4 % pour l'UI/UX.
  • Les plaintes liées à la sécurité, bien que moins fréquentes, génèrent un nombre disproportionné de "j'aime" (thumbs-up), indiquant une préoccupation majeure pour les utilisateurs.
• Écart Linguistique (English vs. Bangla) :
  • Un fossé de performance alarmant a été détecté : la précision du modèle fine-tuned sur les avis en anglais est de 0,715, contre 0,554 pour les avis en bengali (un écart de 16,1 points de pourcentage).
  • Cela suggère un risque d'iniquité où les utilisateurs bengaliophones recevraient des analyses de sentiments moins fiables dans un système automatisé.
• Tendances Temporelles :
  • Une augmentation de 17 points de pourcentage de la polarité négative a été observée entre 2021 et 2025, avec des pics de mécontentement systématiquement liés aux mises à jour des applications.

5. Signification et Recommandations

L'étude démontre que pour des corpus de taille modérée et spécifiques à un domaine, les modèles classiques peuvent être plus efficaces et robustes que les grands modèles de langage pré-entraînés, surtout dans un contexte bilingue avec des données déséquilibrées.

Les auteurs formulent trois recommandations politiques pour les banques publiques :

1. Remédiation de la qualité des applications : Établir des accords de niveau de service (SLA) stricts pour la vitesse et l'expérience utilisateur, avec des tests d'utilisabilité bilingues avant les lancements majeurs.
2. Gestion des versions axée sur la confiance : Adopter des stratégies de déploiement progressif (rollout par étapes) avec des cohortes de bêta-testeurs et publier proactivement les résultats des audits de sécurité pour maintenir la confiance.
3. Adoption d'une NLP "Bangla-first" : Pour garantir l'équité linguistique, les banques et les régulateurs doivent intégrer des modèles adaptés au domaine bengali (comme BanglaBERT) dans leurs pipelines de traitement des feedbacks, afin de ne pas défavoriser systématiquement les utilisateurs ruraux ou moins connectés.

En conclusion, cette recherche met en lumière la nécessité de développer des modèles de langue spécifiques aux domaines financiers et aux langues à ressources limitées pour améliorer la qualité des services bancaires numériques au Bangladesh.