💬 NLP

Spam and Sentiment Detection in Arabic Tweets Using MARBERT Model

Este estudo propõe uma abordagem de aprendizado profundo utilizando o modelo MARBERT para detectar spam e analisar o sentimento em 24.513 tweets em árabe sobre a Saudi Telecom Company (STC), visando aprimorar o atendimento ao cliente por meio de métricas de classificação de sentimento melhoradas.

Autores originais: Abrar Alotaibi, Atta-ur Rahman, Raheel Alhaza, Wala Alkhalifa, Narjes Alhajjaj, Atheer Alharthi, Dhai Abushoumi, Maryam Alqahtani, Dania Alkhulaifi

Publicado 2026-06-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Abrar Alotaibi, Atta-ur Rahman, Raheel Alhaza, Wala Alkhalifa, Narjes Alhajjaj, Atheer Alharthi, Dhai Abushoumi, Maryam Alqahtani, Dania Alkhulaifi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a STC (Saudi Telecom Company) como uma praça de cidade gigante e movimentada. A cada segundo, milhares de pessoas gritam suas opiniões, reclamações e elogios ao ar via Twitter. A empresa quer ouvir cada uma dessas vozes para melhorar seu serviço, mas há vozes demais para uma equipe de ouvintes humanos acompanhar. É como tentar ouvir um único sussurro em meio a um furacão.

Este artigo é sobre a construção de um ouvido robótico superinteligente (um modelo de IA) que pode ouvir essa multidão caótica, entender o que estão dizendo e classificar seus gritos em categorias organizadas.

Aqui está como os pesquisadores construíram este robô, explicado de forma simples:

1. O Problema: A Barreira Linguística e o "Ruído"

Os pesquisadores enfrentaram dois obstáculos principais:

O Idioma: O árabe é complicado. Não é apenas uma língua uniforme; possui uma versão formal (como a linguagem dos livros) e muitos dialetos de "rua" (como gírias usadas em salas de chat). É como tentar ensinar um robô a entender o inglês, mas o robô tem que lidar com o inglês formal de Shakespeare e com a pesada gíria de rua de Nova York simultaneamente.
O Ruído: Os tweets não são apenas frases limpas. Eles estão cheios de "hashtags" (como #STC), links, nomes de usuários e mensagens repetidas. É como tentar ler um livro onde cada página está coberta de post-its e rabiscos.

2. A Solução: O Robô "MARBERT"

Em vez de construir um robô do zero, a equipe usou um cérebro pré-treinado chamado MARBERT.

A Analogia: Imagine um estudante que já leu milhões de livros e tweets em árabe. Este estudante conhece a gramática, as gírias e o contexto da língua árabe perfeitamente. Este é o MARBERT.
A Reviravolta: A maioria dos modelos de IA é treinada em textos formais. O MARBERT é especial porque foi treinado especificamente em tweets, o que significa que ele entende a maneira desordenada, informal e carregada de dialetos com que as pessoas realmente falam nas redes sociais.

3. O Treinamento: Ensinando o Robô a Classificar

Os pesquisadores pegaram uma pilha massiva de 24.513 tweets reais de clientes da STC e ensinaram o robô a classificá-los em cinco cestos diferentes:

Positivo: "Ótimo serviço!"
Negativo: "Minha internet caiu!"
Neutro: "Acabei de verificar meu saldo."
Sarcasmo: "Ah, ótimo, outra queda de conexão. Era tudo o que eu precisava." (Este é o mais difícil de captar porque as palavras dizem "ótimo", mas o significado é "ruim".)
Indeterminado: "Não sei o que dizer."

O Problema da "Classe Desbalanceada":
Os pesquisadores notaram um problema: o robô era ótimo em detectar tweets "Negativos" e "Positivos", mas continuava se confundindo com tweets de "Sarcasmo" e "Indeterminados".

A Metáfora: Imagine um professor corrigindo uma prova onde 90% das respostas são "Sim" e apenas 10% são "Não". O aluno fica preguiçoso e apenas chuta "Sim" o tempo todo porque ele está certo na maioria das vezes. O robô estava fazendo o mesmo; ele ignorava os tweets raros de "Sarcasmo" porque não havia exemplos suficientes para aprender.
A Correção: Os pesquisadores voltaram ao Twitter e coletaram mais tweets sarcásticos para equilibrar a pilha. Eles também ajustaram as "configurações de aprendizado" do robô (como a velocidade com que ele aprende e quantos exemplos ele observa de uma só vez) para fazer com que ele prestasse mais atenção aos casos difíceis e raros.

4. Os Resultados: Um Ouvido Mais Inteligente

Após ajustar o robô e alimentá-lo com mais dados, os resultados foram impressionantes:

Detecção de Spam: O robô tornou-se muito bom em detectar "spam" (mensagens inúteis), identificando-os corretamente 98% das vezes.
Análise de Sentimento: Ele classificou com sucesso os tweets dos clientes nas cinco categorias com alta precisão.
O Ingrediente Secreto: Os pesquisadores descobriram que usar um "tamanho de lote" (batch size) específico (quantos tweets o robô analisa antes de fazer uma pausa para pensar) e uma "taxa de aprendizado" lenta (levar tempo para aprender) funcionou melhor.

5. O Objetivo

O objetivo final não é apenas construir um robô legal; é ajudar a STC. Ao ler esses tweets automaticamente, a STC pode saber instantaneamente se os clientes estão irritados, felizes ou sendo sarcásticos. Isso permite que eles corrijam problemas mais rápido e melhorem seu atendimento ao cliente, transformando aquela praça caótica de vozes gritando em uma conversa gerenciável.

Em resumo: O artigo descreve o processo de pegar um cérebro de linguagem árabe pré-treinado e inteligente (MARBERT), limpar uma pilha bagunçada de tweets, ensiná-lo a detectar sarcasmo e lixo eletrônico, e ajustá-lo até que se tornasse uma ferramenta altamente eficaz para compreender os sentimentos dos clientes.

Resumo Técnico: Detecção de Spam e Sentimento em Tweets em Árabe Usando o Modelo MARBERT

Declaração do Problema
A Saudi Telecom Company (STC), uma grande provedora de serviços na Arábia Saudita, enfrenta desafios significativos na gestão da satisfação do cliente devido ao enorme volume de feedback recebido via Twitter. Embora o Twitter sirva como um canal primário para reclamações de clientes e expressão de sentimentos, o fluxo rápido de tweets torna a análise manual impossível. Além disso, o árabe apresenta desafios linguísticos únicos para o Processamento de Linguagem Natural (PLN), incluindo morfologia complexa, a existência de múltiplos dialetos (Árabe Dialetal vs. Árabe Padrão Moderno) e a prevalência de sarcasmo. A literatura existente frequentemente foca no inglês ou em classificação binária, deixando uma lacuna na análise de sentimento multiclasse robusta e na detecção de spam especificamente para conjuntos de dados árabes desbalanceados.

Metodologia
O estudo propõe uma estrutura de aprendizado profundo utilizando o modelo MARBERT, uma arquitetura baseada em transformer pré-treinada, especificamente otimizada para textos em árabe. A metodologia abrange as seguintes etapas:

Coleta e Pré-processamento de Dados:
- Dois conjuntos de dados distintos foram utilizados: um conjunto de dados de sentimento contendo mais de 22.000 tweets de clientes da STC rotulados manualmente e um conjunto de dados de spam com mais de 24.000 tweets.
- O conjunto de dados de sentimento inclui cinco classes: Positivo, Negativo, Neutro, Sarcasmo e Indeterminado.
- O pré-processamento envolveu a remoção de ruído (hashtags, URLs, nomes de usuário, espaços extras), eliminação de duplicatas e normalização de caracteres árabes (por exemplo, unificando variações das letras 'A' e 'Y') para garantir a uniformidade.
Arquitetura do Modelo:
- O modelo central é o MARBERT, que difere do BERT padrão por omitir o objetivo de Previsão da Próxima Sentença (NSP), pois foi treinado especificamente para textos curtos como tweets.
- O MARBERT foi treinado em um corpus massivo de 15,6 bilhões de tokens, compreendendo tanto o Árabe Dialetal (DA) quanto o Árabe Padrão Moderno (MSA).
- A arquitetura emprega um codificador transformer bidirecional para capturar o contexto de forma eficaz.
Tratamento de Desbalanceamento de Classes:
- O conjunto de dados exibiu um desbalanceamento de classes significativo, particularmente com classes sub-representadas como "Sarcasmo" (inicialmente 200 amostras) e "Indeterminado".
- Em vez de utilizar técnicas de oversampling ou under-sampling (que os autores observaram que poderiam introduzir ruído ou perda de dados), a equipe abordou o desbalanceamento coletando dados adicionais diversos do Twitter, aumentando a classe de sarcasmo para 1.400 amostras.
Ajuste de Hiperparâmetros:
- Experimentos extensivos foram conduzidos para otimizar o desempenho. Os autores avaliaram vários tamanhos de lote (batch sizes), taxas de aprendizado, comprimentos de sequência e contagens de épocas.
- A configuração ideal identificada foi um tamanho de lote de treinamento de 96, um tamanho de lote de avaliação de 32, uma taxa de aprendizado de $2 \times 10^{-5}$ , um comprimento máximo de sequência de 256 e 5 épocas.

Principais Resultados
O estudo avaliou o modelo utilizando métricas de Precisão, Recall e F1-score.

Detecção de Spam: A abordagem baseada em MARBERT alcançou um F1-score de 0,98 no conjunto de dados de spam, superando estudos recentes que utilizaram SVM, Naive Bayes ou outros modelos baseados em BERT (que reportaram pontuações de 0,93 e 0,96).
Análise de Sentimento:
- O modelo classificou com sucesso os tweets nas cinco categorias alvo.
- Com os hiperparâmetros otimizados (Tamanho de lote 96), o modelo alcançou um F1-score geral de 0,75.
- O desempenho por classe mostrou alta precisão para sentimentos padrão (Negativo: 0,85, Positivo: 0,92, Neutro: 0,89), mas pontuações mais baixas para as classes mais complexas (Sarcasmo: 0,54, Indeterminado: 0,56), destacando a dificuldade dessas categorias específicas mesmo com aumentação de dados.

Significância e Contribuições
O artigo reivindica as seguintes contribuições para o campo do PLN árabe e análise de atendimento ao cliente:

Aplicação Específica de Domínio: O estudo demonstra a aplicação prática do MARBERT para melhorar as operações de atendimento ao cliente na STC, automatizando a análise de feedback não estruturado em árabe.
Capacidade Multiclasse: Ao contrário de muitos trabalhos anteriores focados em classificação binária, esta pesquisa aborda com sucesso um problema de cinco classes (incluindo sarcasmo e sentimentos indeterminados) em um ambiente árabe desbalanceado.
Benchmarking de Desempenho: Os resultados indicam que o MARBERT supera as técnicas existentes na literatura tanto para detecção de spam quanto para análise de sentimento multilabel em árabe.
Estratégia de Dados: O artigo destaca a eficácia de expandir o conjunto de dados para abordar o desbalanceamento de classes em vez de depender apenas de técnicas algorítmicas de reamostragem, que podem degradar o desempenho do modelo.

Os autores concluem que, embora o modelo mostre uma precisão promissora, particularmente para sentimentos padrão, a detecção de tweets sarcásticos e indeterminados continua sendo um desafio. Eles sugerem que trabalhos futuros poderiam explorar aprendizado profundo híbrido, abordagens baseadas em fusão e aprendizado federado para aprimorar ainda mais o desempenho.