💬 NLP

ADAB: Arabic Dataset for Automated Politeness Benchmarking -- A Large-Scale Resource for Computational Sociopragmatics

Este artigo apresenta o ADAB, um novo conjunto de dados em árabe de grande escala e multidiáletal com 10.000 amostras anotadas para o reconhecimento de polidez, que inclui benchmarks de 40 configurações de modelos e visa impulsionar a pesquisa em processamento de linguagem natural culturalmente consciente para a língua árabe.

Autores originais: Hend Al-Khalifa, Nadia Ghezaiel, Maria Bounnit, Hend Hamed Alhazmi, Noof Abdullah Alfear, Reem Fahad Alqifari, Ameera Masoud Almasoud, Sharefah Al-Ghamdi

Publicado 2026-02-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hend Al-Khalifa, Nadia Ghezaiel, Maria Bounnit, Hend Hamed Alhazmi, Noof Abdullah Alfear, Reem Fahad Alqifari, Ameera Masoud Almasoud, Sharefah Al-Ghamdi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que a linguagem é como uma dança social. Em algumas culturas, a dança é rígida e formal; em outras, é solta e cheia de piadas. O árabe, falado por mais de 400 milhões de pessoas, é como uma dança complexa e cheia de nuances: você pode ser gentil sem dizer "por favor", ou ser rude sem usar uma palavra de baixo calão, tudo dependendo do tom, da região e até da religião.

O problema é que os computadores (as IAs) são como dançarinos desajeitados que só aprenderam a dançar o "tango" inglês. Quando tentam dançar o "samba árabe", eles tropeçam, não entendem as piadas internas e muitas vezes acham que alguém está sendo rude quando, na verdade, é apenas uma brincadeira cultural.

Aqui está o que os autores deste artigo fizeram para resolver isso, explicado de forma simples:

1. O Que Eles Criaram? (O ADAB)

Eles criaram um livro de receitas gigante chamado ADAB (que significa "educação" ou "polidez" em árabe).

O Ingrediente: Em vez de pegar textos traduzidos do inglês (o que seria como tentar cozinhar um prato árabe usando uma receita americana), eles coletaram 10.000 textos reais da internet árabe.
A Mistura: Esses textos vêm de lugares diferentes: comentários no YouTube (onde as pessoas falam de tudo), avaliações de produtos na Shein (onde há elogios e reclamações), tweets e reviews de aplicativos bancários.
O Segredo: O livro não é só para "árabe padrão". Ele inclui dialetos do Egito, do Golfo, do Levante e do Norte da África. É como ter um livro de receitas que ensina a cozinhar não só o prato principal, mas também as variações regionais.

2. Como Eles Organizaram a Bagunça? (A Anotação)

Para ensinar o computador, dois especialistas em língua árabe (como dois mestres de cerimônia experientes) leram cada um dos 10.000 textos e os classificaram em três caixas:

Caixa da Gentileza: Textos cheios de respeito, gratidão e boas-vindas.
Caixa da Grosseria: Textos com insultos, ameaças ou sarcasmo maldoso.
Caixa do "Mais ou Menos" (Neutro): Textos normais, que não são nem gentis nem rudes.

Eles também marcaram por que algo era gentil ou rude (ex: "isso é um pedido de desculpas", "isso é uma oração", "isso é uma crítica disfarçada"). Isso é como dar ao computador não apenas a resposta, mas a explicação do professor.

3. O Grande Teste (A Batalha dos Robôs)

Eles pegaram 40 tipos diferentes de "cérebros de computador" (desde modelos simples até as IAs mais modernas e poderosas) e os colocaram para tentar adivinhar a caixa correta de cada texto.

Os Veteranos (Modelos Tradicionais): Eram como alunos que decoraram o dicionário. Eles sabiam palavras, mas não entendiam o contexto.
Os Especialistas (Modelos Transformers): Eram como alunos que leram milhões de livros em árabe. Eles entendiam o contexto.
Os Gigantes (IAs Modernas/LLMs): Eram como gênios que sabem de tudo, mas nunca estudaram especificamente "polidez árabe".

O Resultado:
Os "Especialistas" (modelos treinados especificamente em árabe, como o MARBERT) ganharam de longe. Eles conseguiram entender que, às vezes, dizer "Deus te proteja" pode ser uma forma de ironia, e não uma bênção. As IAs gigantes, por outro lado, muitas vezes achavam que tudo era "neutro" ou confundiam o sarcasmo, porque não tinham sido treinadas com esse "livro de receitas" específico.

4. Onde Eles Ainda Tropeçam? (Os Desafios)

Mesmo com o melhor computador, ainda há dificuldades, como se fosse tentar entender a piada de um tiozão:

O "Neutro" Exagerado: Os computadores tendem a achar que quase tudo é "neutro" (a caixa do "mais ou menos"), porque a maioria das mensagens na internet é assim. Eles têm medo de errar e julgar algo rude.
O Sarcasmo Religioso: Em árabe, às vezes se usa frases religiosas para expressar frustração. Um computador pode achar que é uma oração sincera, quando na verdade é uma reclamação disfarçada.
Os Dialetos: O árabe do Egito é muito diferente do árabe do Golfo. Um computador treinado em um pode não entender a "gentileza" do outro.

Por Que Isso Importa?

Imagine um robô de atendimento ao cliente que atende milhões de árabes. Se ele não entender a polidez:

Ele pode ofender um cliente ao ser muito direto.
Ele pode não perceber que alguém está sendo assediado ou ameaçado.
Ele pode parecer um "estranho" que não sabe as regras da casa.

Este trabalho é como dar um manual de etiqueta cultural para a inteligência artificial. O objetivo é que, no futuro, quando você falar com um computador em árabe, ele não apenas entenda as palavras, mas entenda o coração e a educação por trás delas, respeitando a riqueza da cultura árabe.

Resumo da Ópera: Eles criaram o maior dicionário de "educação árabe" já feito para computadores, testaram quem aprendeu melhor e mostraram que, para entender a alma de uma língua, não basta traduzir palavras; é preciso entender a cultura.

1. Problema e Motivação

O processamento de linguagem natural (PLN) culturalmente consciente é uma necessidade crescente, mas os recursos para a língua árabe, especificamente na detecção de polidez, são severamente subexplorados. A comunicação árabe possui uma riqueza sociopragmática complexa, influenciada por valores islâmicos, hierarquias sociais e diglossia (coexistência do Árabe Padrão Moderno - MSA, e múltiplos dialetos).

Desafios Específicos: A complexidade morfológica do árabe (onde marcadores de polidez estão embutidos em conjugações verbais e escolhas lexicais), a variação dialetal (Golfo, Egípcio, Levantino, Magrebe) e a ambiguidade contextual (ex: expressões religiosas que podem ser bênçãos ou maldições dependendo do contexto) dificultam a modelagem automática.
Lacuna: A maioria dos trabalhos existentes foca no inglês, e os poucos recursos em árabe são pequenos ou baseados em traduções que perdem nuances culturais.

2. Metodologia

2.1 Construção do Dataset (ADAB)

Os autores criaram o ADAB (Arabic Politeness Dataset), um recurso de grande escala contendo 10.000 textos em árabe.

Fontes de Dados: Os dados foram coletados de quatro domínios públicos para garantir diversidade:
1. Comentários do YouTube (informal, reações espontâneas).
2. Avaliações de produtos (e-commerce Shein).
3. Posts do Twitter/X (discurso social/político).
4. Avaliações de aplicativos (banco móvel, comunicação cliente-empresa).
Pré-processamento: Remoção de conteúdo político sectário, insultos explícitos, referências a figuras públicas e textos sem sentido.
Esquema de Classificação:
- Três classes principais: Polite (Polido), Neutral (Neutro), Impolite (Impolido).
- 16 Categorias Linguísticas: Anotação detalhada baseada em tradições retóricas árabes e teoria pragmática (ex: gratidão, hospitalidade, acusações, sarcasmo, orações).
Processo de Anotação: Realizado por dois doutores em linguística árabe nativos, familiarizados com múltiplos dialetos. O processo incluiu treinamento extensivo, anotação independente, revisão diária conjunta e verificação final.
Qualidade: O acordo inter-anotadores foi de $\kappa = 0.703$ , indicando um acordo substancial.

2.2 Avaliação e Benchmarking

Foi realizada uma avaliação abrangente de 40 configurações de modelos divididas em três paradigmas:

Aprendizado de Máquina Tradicional (12 modelos): Regressão Logística, SVM, XGBoost com características esparsas (TF-IDF) e embeddings densos (FastText, GloVe, Word2Vec).
Arquiteturas Baseadas em Transformers (10 modelos):
- Específicos para Árabe: AraBERTv02, MARBERT, CAMeLBERT-mix.
- Multilíngues: XLM-RoBERTa, mDeBERTa, RemBERT, InfoXLM, mBERT.
Modelos de Linguagem de Grande Escala (LLMs) (18 configurações):
- Incluiu modelos proprietários (GPT-4 mini, Claude), modelos de pesos abertos árabes (Fanar-1-9B, ALLaM) e modelos multilíngues (DeepSeek, GPT OSS).
- Avaliados em configurações zero-shot e few-shot.

3. Principais Contribuições

Primeiro Dataset de Grande Escala: O ADAB é o primeiro recurso com 10.000 exemplos anotados para polidez em árabe, cobrindo múltiplos domínios e dialetos.
Benchmarking Abrangente: Estabelecimento de linhas de base para 40 modelos, comparando abordagens tradicionais, transformers e LLMs.
Análise Linguística Profunda: Identificação de desafios específicos, como o viés de classificação "neutra", dificuldades com marcadores implícitos e a ambiguidade de expressões religiosas e dialetais.

4. Resultados

Desempenho dos Modelos

Transformers Específicos para Árabe: O modelo MARBERT obteve o melhor desempenho geral, alcançando 91,19% de Acurácia e 0,8582 de Macro-F1. Isso confirma a vantagem do pré-treinamento em dados sociais árabes (incluindo dialetos e linguagem informal).
Comparação de Paradigmas:
- Transformers: Média de Macro-F1 de 0,79.
- ML Tradicional: Média de Macro-F1 de 0,65 (SVM com TF-IDF foi o melhor da categoria, 0,71).
- LLMs: Média de Macro-F1 de 0,56. Os LLMs, mesmo com poucos exemplos (few-shot), tiveram desempenho inferior, muitas vezes falhando em capturar nuances sociolinguísticas sem ajuste fino específico.
Desempenho por Classe: Todos os modelos tiveram bom desempenho nas classes "Neutro" e "Polida", mas a classe "Impolida" foi a mais desafiadora, onde o MARBERT se destacou (F1 = 0,81) em comparação a outros modelos.

Análise de Erros

A análise revelou quatro categorias principais de erro:

Viés Neutro: A maioria dos modelos tende a classificar textos polidos ou impolitos como "Neutros" (especialmente LLMs, com até 48% de erros nessa categoria).
Marcadores Lexicais: Falha em detectar marcadores explícitos de polidez/impolidez.
Casos Ambíguos: Dificuldade em interpretar expressões religiosas ou fórmulas de cortesia que dependem estritamente do contexto.
Variação Dialetal: Erros frequentes ao lidar com expressões idiomáticas de dialetos específicos (ex: Egípcio) devido à cobertura limitada no pré-treinamento.

5. Significado e Conclusão

O artigo demonstra que, embora os LLMs sejam poderosos, modelos transformers ajustados especificamente para o árabe (como o MARBERT) são superiores para tarefas de sociopragmática árabe. O sucesso do MARBERT destaca a importância de pré-treinar em dados que refletem a diglossia e a informalidade da comunicação árabe real.

O ADAB preenche uma lacuna crítica na pesquisa de PLN árabe, permitindo o desenvolvimento de sistemas mais éticos e culturalmente conscientes para:

Moderação de redes sociais.
Chatbots de atendimento ao cliente.
Análise de sentimentos e dinâmica social.

O trabalho também aponta limitações, como o desequilíbrio de classes (predominância de textos neutros) e a cobertura desigual de dialetos, sugerindo direções futuras para expandir o dataset e incorporar contexto conversacional.