💬 NLP

ArabicDialectSafety: A Dialect-Aware Benchmark for Arabic Content Safety Classification

O artigo apresenta o ArabicDialectSafety, um conjunto de dados de referência curado por humanos com mais de 25.000 prompts em seis variedades de árabe anotados para segurança, o qual revela que o MARBERTv2 ajustado supera os LLMs de fronteira na detecção de danos conscientes de dialetos, ao mesmo tempo em que destaca desafios persistentes nos dialetos magrebinos de baixos recursos.

Autores originais: Wajdi Zaghouani, Md. Rafiul Biswas, Kholoud Khalil Aldous, Mabrouka Bessghaier

Publicado 2026-08-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wajdi Zaghouani, Md. Rafiul Biswas, Kholoud Khalil Aldous, Mabrouka Bessghaier

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está entrando em uma biblioteca gigante e movimentada, onde milhões de pessoas estão conversando, discutindo, contando piadas e compartilhando histórias. Esta biblioteca é a internet, e a língua falada é o árabe. Mas aqui está o detalhe: o árabe não é apenas uma voz única. É como um coro onde o regente fala uma versão formal e polida da língua (chamada de Árabe Padrão Moderno) usada para notícias e livros, enquanto os membros do coro falam dezenas de dialetos regionais diferentes — como o egípcio, o sírio ou o marroquino — cada um com sua própria gíria, ritmo e uma maneira única de dizer as coisas.

Agora, imagine que a biblioteca tem um segurança muito rigoroso cujo trabalho é impedir que qualquer pessoa diga algo maldoso, perigoso ou prejudicial. O problema é que esse segurança foi treinado apenas na voz formal e polida. Quando uma criança de Marrocos tenta sussurrar uma piada maldosa em seu dialeto local, o segurança pode não entender as palavras ou o tom, então ele deixa o comentário prejudicial passar direto por ele. Este artigo é sobre a construção de um novo sistema de segurança superinteligente que realmente entenda todas essas vozes diferentes, não apenas a voz formal. É como ensinar o segurança a falar todos os dialetos fluentemente para que ele possa detectar problemas, não importa como sejam sussurrados.

Os pesquisadores por trás deste estudo, liderados por Wajdi Zaghouani e sua equipe, decidiram construir um "manual de treinamento" massivo para esses seguranças. Eles criaram um conjunto de dados chamado ARABICDIALECTSAFETY, que é essencialmente uma coleção de 24.053 prompts (ou perguntas/declarações) diferentes escritos em seis variedades diferentes de árabe: Árabe Padrão Moderno, sírio, egípcio, argelino, palestino e marroquino. Eles não apenas os escreveram; eles os elaboraram cuidadosamente para cobrir sete tipos específicos de "dano", variando de bullying e discurso de ódio até automutilação e conteúdo adulto. Pense nisso como um banco de testes gigante e diversificado, onde cada pergunta é rotulada exatamente com o dialeto em que está e exatamente com que tipo de problema ela representa.

Depois de construírem este banco de testes, eles colocaram sete modelos de "segurança" à prova. Alguns eram sistemas antigos, baseados em regras, enquanto outros eram os modelos de IA mais recentes e superpoderosos (Grandes Modelos de Linguagem) que as pessoas usam todos os dias. Eles fizeram uma pergunta simples: Esses modelos conseguem distinguir a diferença entre uma frase segura e uma insegura, e podem fazer isso igualmente bem para todos os seis dialetos?

Os resultados foram bastante reveladores. A estrela do show não foi o modelo de IA maior ou mais chamativo. Em vez disso, um modelo chamado MARBERTv2, que havia sido especificamente "ajustado" (como um aluno que estudou intensamente o manual de treinamento), esmagou a concorrência. Ele acertou a tarefa binária (Seguro vs. Inseguro) 95% das vezes e a tarefa mais detalhada (identificar exatamente que tipo de dano) 90% das vezes. Isso foi uma grande vitória, especialmente porque os modelos de IA de uso geral massivos (os modelos "fronteira") que as pessoas costumam mencionar, na verdade, tiveram mais dificuldade, pontuando significativamente menos.

O artigo também testou uma ideia inteligente: e se apenas dissermos à IA, "Ei, isso é árabe egípcio!" antes de ela ler a frase? Os pesquisadores descobriram que esse truque só ajudou os modelos especializados (como o MARBERTv2) quando a informação estava profundamente integrada ao cére-lo da IA, em vez de ser apenas um sussurro como uma dica no início da frase. É como dizer a um chef: "Esta é comida italiana", o que ajuda se o chef já conhece a culinária italiana, mas não ajuda muito se o chef estiver apenas adivinhando com base no rótulo.

Outra descoberta interessante foi sobre os próprios dialetos. Os modelos foram incríveis ao entender o árabe egípcio e o sírio, mas tropeçaram um pouco mais no árabe marroquino. Parece que, mesmo com muitos dados, os dialetos "Magrebinos" (do Norte da África) ainda são um mistério para esses sistemas de IA, provavelmente porque viram poucos exemplos deles em seu histórico de treinamento.

Finalmente, a equipe perguntou aos grandes modelos de IA para realmente responderem a esses prompts prejudiciais para ver se eles acabariam gerando conteúdo ruim. Surpreendentemente, os modelos foram, em sua maioria, bons em dizer "não" ou recusar a resposta, com respostas inseguras ocorrendo menos de 5% das vezes. No entanto, os autores alertam que esse número pode ser ainda menor do que parece, porque revisores humanos descobriram que os verificadores automáticos às vezes deixavam passar erros sutis.

Em suma, este artigo nos mostra que, para manter a internet segura para os falantes de árabe, não podemos usar uma abordagem de "tamanho único". Precisamos de sistemas de segurança que sejam especificamente treinados para entender a variedade rica, caótica e bela dos dialetos árabes. Embora os modelos de IA atuais estejam melhorando, ainda há um longo caminho a percorrer para garantir que uma piada em Túnis seja compreendida tão bem quanto uma piada no Cairo, e que nenhum conteúdo prejudicial passe despercebido apenas porque foi dito em um sotaque diferente. Os autores observam que muitos outros dialetos, incluindo o do Golfo, iemenita, sudanesa, tunisiana e líbio, não foram cobertos neste estudo, o que significa que as descobertas podem ainda não se aplicar a eles.

Resumo Técnico: ARABICDIALECTSAFETY

Definição do Problema
A rápida implementação de Modelos de Linguagem de Grande Escala (LLMs) em comunidades de língua árabe expôs lacunas críticas nos mecanismos de segurança que não levam em conta o contexto linguístico e cultural. O desafio central é a diversidade linguística do árabe, que existe primariamente como Árabe Padrão Moderno (MSA) para contextos formais e dezenas de dialetos regionais distintos (ex: egípcio, marroquino, levantino) com vocabulários e estruturas gramaticais únicas. Os filtros de segurança atuais, frequentemente treinados predominantemente em MSA, falham em detectar conteúdo nocivo expresso em dialetos regionais. Além disso, os usuários podem misturar intencionalmente dialetos para contornar os filtros de segurança, explorando a lacuna entre os dados de treinamento e os padrões de uso do mundo real. Os benchmarks de segurança em árabe existentes ou focam exclusivamente em MSA, ou confundem dialetos sem rotulagem explícita, ou são pequenos demais para suportar uma avaliação robusta e estratificada por dialeto. Consequentemente, o campo carece de uma compreensão clara de como o desempenho da classificação degrada entre os dialetos e se os LLMs exibem pontos cegos de segurança específicos de cada dialeto.

Metodologia
Para abordar essas lacunas, os autores introduzem o ARABICDIALECTSAFETY, um conjunto de dados e um framework de avaliação curados por humanos.

Construção do Conjunto de Dados: O conjunto de dados compreende 25.071 prompts abrangendo seis variedades de árabe: MSA, sírio, egípcio, argelino, palestino e marroquino. Após a limpeza (remoção de valores nulos, strings vazias e entradas não anotadas), restam 24.053 instâncias para avaliação. O conjunto de dados cobre sete categorias de danos granulares: Autolesão, Danos a Terceiros, Assédio, Fraude e Decepção, Bullying, Discurso de Ódio e Conteúdo Adulto. A construção envolveu um pipeline de cinco fases, incluindo seleção de anotadores, treinamento em diretrizes éticas, criação de prompts (tanto contrapartes nocivas quanto benignas), validação cruzada e lançamento final. A concordância entre anotadores foi substancial (o $\kappa$ de Cohen variou de 0,72 a 0,91), com menor concordância observada em categorias semanticamente sobrepostas, como assédio e bullying.
Framework de Avaliação: Os autores propõem um protocolo de avaliação de tarefa dupla:
1. Classificação Binária: Detecção de Seguro vs. Não Seguro.
2. Classificação Granular: Categorização de danos multiclasse através dos sete tipos definidos.
  Ambas as tarefas são avaliadas globalmente e por dialeto.
Benchmarking de Modelos: Sete sistemas foram testados, incluindo:
- Classificadores Supervisionados: TF-IDF + Regressão Logística, multilingual-e5-base (codificador denso congelado) e MARBERTv2 ajustado (um codificador baseado em BERT pré-treinado em árabe dialetal).
- LLMs Ajustados por Instrução: FANAR-9B-Instruct, Jais-2-8B-Chat, Qwen2.5-7B-Instruct e Llama3.1-8B-Instruct, avaliados em um cenário de few-shot.
- Condicionamento de Dialeto: Os modelos foram testados com e sem tags de dialeto explícitas (ex: [DIALECT]) para avaliar o impacto do sinal de dialeto.
Avaliação de Geração de Resposta: Sete LLMs de fronteira (incluindo GPT-4o, Gemini, Claude e modelos especializados em árabe) foram consultados com prompts dialetais nocivos. Suas respostas foram avaliadas usando um LLM-como-juiz (GPT-5.2), validado contra anotações humanas.

Principais Resultados

Modelos Supervisionados Superam os LLMs: O MARBERTv2 ajustado alcançou o melhor desempenho, atingindo um Macro-F1 de 0,95 para classificação binária e 0,90 para classificação granular. Isso superou substancialmente os LLMs de fronteira via prompting, que pontuaram entre 0,70–0,74 (binário) e 0,58–0,69 (granular). Mesmo um baseline leve de TF-IDF + LR permaneceu altamente competitivo (Macro-F1 0,93).
Efeitos do Condicionamento de Dialeto: O condicionamento explícito de dialeto (adição de tags de dialeto) melhorou o desempenho apenas quando integrado na camada de representação (como no MARBERTv2), e não através de pistas ao nível de prompt. Para LLMs e outros baselines, as pistas de dialeto geraram melhorias marginais ou nulas na detecção binária, sugerindo que a segurança binária depende mais de padrões lexicais nocivos gerais do que de variações específicas de dialeto. No entanto, as pistas de dialeto proporcionaram ganhos pequenos e consistentes para distinções de danos granulares.
Disparidades Dialetais: O desempenho variou significamente entre os dialetos. O MARBERTv2 alcançou altos escores de F1 no egípcio (0,96), palestino (0,97) e MSA (0,96), mas caiu notavelmente para o árabe marroquino (0,85 em binário, 0,69 em granular). Isso sugere desafios persistentes na avaliação de variedades magrebinas de baixo recurso, provavelmente devido à representação limitada nos corpora de pré-treinamento.
Segurança de LLM: Ao atuarem como geradores de resposta, os LLMs de fronteira geralmente recusaram ou sanitizaram prompts dialetais nocivos, com as taxas de geração insegura permanecendo abaixo de 5% para todos os modelos. O FANAR-v2, especializado em árabe, manteu uma baixa taxa insegura (1,00%), indicando que a adaptação ao árabe não enfraquece inerentemente o alinhamento de segurança. No entanto, a validação humana sugeriu que essas estimativas podem ser conservadoras.
Análise de Erros: Os erros na classificação granular concentraram-se entre categorias semanticamente adjacentes (ex: assédio vs. danos a terceiros, bullying vs. danos a terceiros), enquanto categorias com sinais lexicais distintos (Conteúdo Adulto, Discurso de Ódio) foram classificadas de forma confiável.

Significância e Alegações
O artigo afirma ser o primeiro trabalho a realizar o benchmarking direto da classificação de segurança de conteúdo através de múltiplos dialetos árabes em escala. Suas principais contribuições são:

Um Benchmark Consciente de Dialetos: Fornecer um conjunto de dados de grande escala, curado por humanos, com anotação explícita de nível de dialeto, abordando a falta de recursos para avaliação de segurança estratificada por dialeto.
Evidência Empírica de Viés Dialetal: Demonstrar que os mecanismos de segurança atuais e os LLMs exibem disparidades de desempenho significativas entre os dialetos, prejudicando particularmente as variedades magrebinas.
Insight Metodológico: Estabelecer que modelos supervisionados e ajustados (especificamente os conscientes de dialeto, como o MARBERTv2) oferecem atualmente uma relação precisão-custo superior para a classificação de segurança em árabe em comparação com o few-shot prompting de LLMs de fronteira.
Baseline de Segurança: Fornecer um baseline mostrando que, embora os LLMs de fronteira sejam geralmente robustos contra prompts dialetais nocivos, as taxas de geração "insegura" são provavelmente subestimadas por juízes automatizados, destacando a necessidade de uma avaliação contínua e consciente de dialetos.

Os autores concluem que trabalhos futuros devem focar na avaliação equitativa de dialetos e no refinamento das taxonomias de anotação para resolver sobreposições semânticas, em vez de apenas aumentar a escala dos modelos.

Mais como este