A Multi-Model Approach to English-Bangla Sentiment Classification of Government Mobile Banking App Reviews

Este estudo analisa 5.652 avaliações em inglês e bengali de quatro aplicativos de banco móvel governamentais do Bangladesh, descobrindo que modelos tradicionais superaram os baseados em transformers na classificação de sentimentos, revelando insatisfação predominante com a velocidade e o design das interfaces, e propondo políticas para melhorar os serviços digitais e desenvolver modelos para línguas de baixos recursos.

O essencial

Imagine que os quatro grandes bancos estatais do Bangladesh (Sonali, Agrani, Janata e Rupali) são como quatro restaurantes gigantes que acabaram de abrir um "aplicativo de delivery" para o mundo inteiro. Milhões de pessoas usam esses apps para pagar contas, transferir dinheiro e fazer tudo o que faziam no banco físico.

Mas, assim como em qualquer restaurante, os clientes deixam críticas. Alguns dizem: "A comida chegou quente e rápido!" (5 estrelas). Outros gritam: "O prato veio frio e o garçom sumiu!" (1 estrela).

Este artigo é como um detetive de sentimentos que decidiu analisar mais de 5.000 dessas críticas (escritas em inglês e em bengali) para descobrir o que está realmente acontecendo nos bastidores desses bancos digitais.

Aqui está a história do que eles descobriram, explicada de forma simples:

1. O Grande Desafio: Traduzir o Caos

O primeiro problema foi que as pessoas escrevem de formas diferentes. Algumas usam inglês, outras usam bengali, e algumas misturam os dois (como se alguém falasse português e inglês na mesma frase).

• A Analogia: Imagine tentar organizar uma festa onde metade dos convidados fala português, a outra metade fala japonês, e alguns falam uma mistura dos dois. Se você tentar usar apenas um tradutor automático (um modelo de IA pronto, chamado XLM-RoBERTa), ele vai se confundir e cometer erros.
• A Solução: Os pesquisadores criaram um sistema "híbrido". Eles usaram a nota que o cliente deu (1 a 5 estrelas) como uma pista inicial, mas depois pediram para uma IA inteligente verificar se o texto combinava com a nota. Se a nota dizia "5 estrelas" mas o texto dizia "Isso é horrível", eles jogavam essa crítica fora para não confundir os dados.

2. A Corrida dos Modelos: O "Veterano" vs. O "Novato"

Os pesquisadores testaram dois tipos de "cérebros" para ler essas críticas:

• Os Veteranos (Modelos Clássicos): São como mecânicos experientes que conhecem cada parafuso do carro. Eles usam regras simples e diretas.
• O Novato (Modelo Transformer/XLM-RoBERTa): É como um jovem gênio que leu milhões de livros na internet, mas nunca mexeu num banco específico.

O Resultado Surpreendente:
Para surpresa de todos, os Veteranos (especialmente o "Random Forest" e o "SVM") ganharam a corrida. Eles acertaram mais do que o "jovem gênio" superinteligente.

• Por que? O "jovem gênio" é muito grande e precisa de muito mais treino para entender o jeito específico como os bancos do Bangladesh falam. Como o banco de dados era pequeno, ele não conseguiu aprender tão bem quanto os veteranos experientes.

3. O Veredito dos Clientes: Quem é o "Cozinheiro" e quem é o "Garçom"?

Usando uma ferramenta especial (DeBERTa), eles não apenas viram se a crítica era boa ou ruim, mas onde estava o problema. Foi como se eles dissessem: "O cliente não está bravo com a comida, está bravo com o garçom que demorou 20 minutos".

• Os Vilões: O maior problema não foi o dinheiro sumir, mas sim a velocidade (o app é lento como uma tartaruga) e o design (a interface é confusa e feia).
• O "Chão" da Lista: O app eJanata foi o pior de todos. É como se fosse o restaurante que sempre entrega a comida fria e com a mesa suja. Os clientes o amaldiçoaram mais do que os outros três.
• O "Herói": O Rupali e-Bank foi o que teve as melhores avaliações, embora ainda tenha espaço para melhorar.

4. A Grande Injustiça: A Barreira da Língua

Aqui está a parte mais triste e importante da história.

• Quando as críticas eram em inglês, a IA conseguia entender quase tudo corretamente.
• Quando as críticas eram em bengali (a língua local da maioria das pessoas), a IA ficou cega. A precisão caiu drasticamente.

A Metáfora: Imagine que você tem um sistema de atendimento ao cliente. Se você fala inglês, o atendente te entende perfeitamente. Se você fala bengali, o atendente apenas balança a cabeça e diz "não sei". Isso significa que as pessoas das áreas rurais e menos conectadas (que falam bengali) estão sendo ignoradas pelo sistema automático. É uma injustiça digital.

5. O Que os Bancos Devem Fazer? (As Recomendações)

Baseado nessa investigação, os autores dão três conselhos de ouro para os bancos:

1. Conserte a Máquina: Pare de lançar atualizações cheias de bugs. O app precisa ser rápido e fácil de usar. Se o "garçom" (o app) é lento, o cliente vai embora.
2. Confiança é Tudo: Antes de lançar uma nova versão, testem com um grupo pequeno (beta-testers). Se houver um problema de segurança, avisem os clientes antes que o pânico comece.
3. Respeite a Língua Local: Os bancos precisam criar ou usar modelos de inteligência artificial feitos especificamente para o bengali. Não podem tratar o bengali como uma língua de "segunda classe". Se o sistema não entende o que o cliente rural está dizendo, o banco está falhando com seu próprio povo.

Resumo Final

Este estudo nos ensina que, na corrida da tecnologia, ter o robô mais inteligente do mundo não adianta se ele não entende a língua e os costumes locais. Os bancos estatais do Bangladesh precisam ouvir seus clientes, consertar a lentidão dos apps e garantir que a inteligência artificial fale a língua de todos, não apenas dos que falam inglês.

Resumo técnico

1. Problema e Contexto

O uso de bancos móveis no Bangladesh está a crescer rapidamente, especialmente entre funcionários do governo, reformados e populações rurais que dependem de quatro bancos estatais principais (Sonali, Agrani, Janata e Rupali). Embora as avaliações no Google Play Store sejam uma fonte valiosa de feedback, a análise automática enfrenta desafios significativos:

• Multilinguismo: As avaliações misturam inglês, bengali (escrita nativa) e bengali romanizado.
• Ruído de Dados: Existe frequentemente uma discrepância entre a classificação por estrelas (1-5) e o texto escrito pelo utilizador.
• Lacuna de Pesquisa: Não existiam estudos anteriores que analisassem simultaneamente as quatro aplicações de bancos estatais usando um corpus bilíngue unificado e comparando modelos clássicos com transformadores modernos.
• Equidade Linguística: Há uma preocupação de que os utilizadores que escrevem em bengali (muitas vezes de comunidades menos conectadas digitalmente) possam receber um tratamento de análise de sentimentos inferior devido à falta de modelos otimizados para línguas de baixo recurso.

2. Metodologia

Os autores desenvolveram uma pipeline de processamento de linguagem natural (PLN) robusta:

• Coleta e Limpeza de Dados:
  • Extraíram 11.414 avaliações brutas de quatro apps (Sonali e-Wallet, Agrani Smart, eJanata, Rupali e-Bank) entre janeiro de 2021 e dezembro de 2025.
  • Após filtragem de duplicatas, ruído e detecção de idioma, o corpus final consistiu em 5.652 avaliações (4.540 em inglês, 1.125 em bengali).
• Rotulagem Híbrida (Consensus Labeling):
  • Para mitigar o ruído das classificações por estrelas, utilizaram uma abordagem híbrida: combinaram a estrela do utilizador (1-2 = negativo, 3 = neutro, 4-5 = positivo) com as previsões de um classificador XLM-RoBERTa independente.
  • Apenas as amostras onde ambos os métodos concordaram foram mantidas para o conjunto de treino (2.957 amostras), resultando em um acordo moderado (κ = 0,459).
• Modelos de Classificação:
  • Modelos Clássicos: Naive Bayes, SVM Linear, Regressão Logística e Random Forest (baseados em TF-IDF).
  • Transformadores: XLM-RoBERTa (versão "off-the-shelf" e versão "fine-tuned" no conjunto de dados).
  • Análise de Sentimento Baseada em Aspectos (ABSA): Uso do DeBERTa-v3 para classificar sentimentos em seis dimensões de serviço (UI/UX, Segurança, Velocidade, Atendimento, Funcionalidades, Processamento de Transações).
• Validação Estatística: Uso de intervalos de confiança bootstrap (95%) e o teste de McNemar para avaliar a significância estatística das diferenças entre os modelos.

3. Principais Contribuições

1. Conjunto de Dados Bilíngue: Criação de um corpus específico para avaliação de experiência de utilizador em bancos estatais do Bangladesh, utilizando uma abordagem de rotulagem validada por modelo.
2. Comparação Sistemática: Uma avaliação rigorosa de modelos clássicos versus transformadores (OTS e fine-tuned) em um contexto de fintech bilíngue.
3. Análise de Aspectos: Identificação granular dos pontos de dor específicos dos utilizadores através do DeBERTa-v3.
4. Descoberta de Viés Linguístico: Quantificação da disparidade de desempenho entre inglês e bengali, destacando uma lacuna de 16,1 pontos percentuais na precisão.
5. Recomendações de Política: Propostas acionáveis para bancos estatais baseadas em dados.

4. Resultados Chave

• Desempenho dos Modelos:
  • Surpreendentemente, os modelos clássicos superaram os transformadores. O Random Forest obteve a maior precisão (0,815) e o SVM Linear o maior F1 ponderado (0,804).
  • O XLM-RoBERTa fine-tuned alcançou um F1 de 0,793, e a versão off-the-shelf apenas 0,740.
  • O teste de McNemar confirmou que todos os modelos clássicos foram estatisticamente superiores à versão off-the-shelf (p < 0,05), embora a diferença com a versão fine-tuned não tenha sido estatisticamente significativa (devido ao tamanho limitado do conjunto de treino).
• Ranking de Aplicativos:
  • Rupali e-Bank foi o melhor classificado (58,4% de sentimento positivo ponderado).
  • eJanata foi o pior classificado, com 80,4% de sentimento negativo e uma classificação média de 2,20 estrelas.
• Análise de Aspectos (ABSA):
  • As principais causas de insatisfação foram Velocidade/Desempenho e Qualidade da Interface (UI/UX).
  • O app eJanata teve 61,3% das menções de velocidade classificadas como negativas.
  • Embora as queixas de segurança fossem menos frequentes (18-31%), geraram um número desproporcionalmente alto de "curtidas" (thumbs-up), indicando uma preocupação profunda dos utilizadores.
• Disparidade Linguística:
  • Houve uma queda drástica no desempenho do modelo fine-tuned para texto em bengali: a precisão caiu de 0,715 (inglês) para 0,554 (bengali), uma diferença de 16,1 pontos percentuais.
  • Isso é atribuído à fragmentação de tokens em bengali, à variabilidade ortográfica e ao domínio de dados de treino em inglês.

5. Significado e Recomendações

O estudo destaca que, para domínios específicos e com dados limitados, modelos clássicos podem ser mais eficazes e eficientes do que grandes transformadores pré-treinados. No entanto, a lacuna de desempenho entre inglês e bengali representa um problema de equidade digital.

As três recomendações políticas principais são:

1. Remediação de Qualidade: Os bancos devem estabelecer Acordos de Nível de Serviço (SLAs) rigorosos para desempenho e velocidade, testando-os com usuários bilíngues antes de lançamentos.
2. Gestão de Lançamento Baseada em Confiança: Implementar estratégias de lançamento em etapas (beta-testing) e divulgar auditorias de segurança proativamente para mitigar picos de sentimento negativo após atualizações.
3. Adoção de NLP "Primeiro em Bengali": Para garantir equidade, os sistemas de roteamento de reclamações automatizados devem utilizar modelos adaptados ao domínio em bengali (como o BanglaBERT), evitando que utilizadores rurais ou menos conectados recebam um atendimento de qualidade inferior.

Em suma, o artigo fornece um roteiro baseado em dados para que os bancos estatais do Bangladesh melhorem seus serviços digitais, enfatizando a necessidade de modelos de linguagem específicos para o contexto local e a importância de tratar a desigualdade linguística como uma questão central de serviço ao cliente.