DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models

Resumo Técnico: DIALECTALARABICMMLU

1. O Problema

O avanço dos Grandes Modelos de Linguagem (LLMs) tem sido impulsionado por benchmarks robustos, mas a avaliação em árabe concentra-se quase exclusivamente no Árabe Padrão Moderno (MSA - Modern Standard Arabic). Esta abordagem ignora a natureza diglótica da língua árabe, onde o MSA coexiste com diversas variedades dialetais regionais que dominam a comunicação cotidiana, as redes sociais e a interação falada.

Atualmente, não existem recursos padronizados e de grande escala para avaliar a capacidade de raciocínio e compreensão dos LLMs em dialetos árabes. Benchmarks existentes ou focam apenas no MSA, utilizam tradução automática (o que compromete a naturalidade linguística) ou cobrem apenas um único dialeto. Isso resulta em uma avaliação parcial da compreensão real da língua árabe pelos modelos.

2. Metodologia

Os autores introduzem o DIALECTALARABICMMLU, um novo benchmark projetado para preencher essa lacuna.

• Base de Dados: O benchmark é uma extensão do framework MMLU-Redux (uma versão reanotada de alta qualidade do MMLU original).
• Cobertura:
  • Dialeto: 5 dialetos principais (Sirio, Egípcio, Emirati, Saudita e Marroquino), além do MSA e do Inglês original.
  • Domínios: 32 domínios acadêmicos e profissionais (ex: História, Medicina, Física, Direito, Ética).
  • Volume: Tradução manual de 3.135 pares de perguntas e respostas (QA) para cada dialeto, totalizando 15.675 pares (ou 21.945 incluindo MSA e Inglês).
• Processo de Criação de Dados:
  • Tradução Humana: Diferente de trabalhos anteriores que usam tradução automática, este dataset foi traduzido manualmente por falantes nativos de cada dialeto.
  • Garantia de Qualidade: Um processo rigoroso de três etapas (Tradutor, Revisor e Julgador) garantiu a fidelidade linguística, naturalidade e precisão idiomática.
  • Validação: Uma amostragem de 32 pares por dialeto foi avaliada por falantes nativos em uma escala de Likert (1-5), resultando em uma taxa de erro inferior a 5% e uma pontuação média entre "boa" e "muito boa".
• Configuração Experimental:
  • Foram avaliados 19 LLMs de peso aberto (open-weight), variando de 1B a 13B parâmetros (incluindo modelos como Jais, ALLaM, Gemma, Falcon, etc.).
  • Cenários de Avaliação:
    1. Padrão (Default): Sem indicação de dialeto no prompt.
    2. Oráculo (Oracle): O prompt inclui explicitamente a identificação do dialeto.
    3. Identificação de Dialetos: O modelo deve inferir o dialeto da entrada.

3. Contribuições Principais

1. Primeiro Benchmark Unificado: É o primeiro recurso curado por humanos em grande escala para medir a compreensão de múltiplos dialetos árabes simultaneamente.
2. Qualidade Linguística Superior: Ao contrário de datasets derivados de tradução automática (como o AraDiCE), o DIALECTALARABICMMLU garante autenticidade cultural e naturalidade através da curadoria humana.
3. Análise Sistemática: Permite comparações controladas entre variantes dialetais paralelas, preservando a equivalência semântica.
4. Avaliação Abrangente: Cobre 32 domínios, permitindo testar não apenas conhecimento linguístico, mas também raciocínio lógico e conhecimento factual em contextos dialetais.

4. Resultados Chave

Os experimentos revelaram disparidades significativas no desempenho dos modelos:

• Queda de Desempenho em Dialetos: Todos os modelos avaliados apresentaram uma queda consistente e substancial de desempenho nos dialetos em comparação com o MSA e o Inglês. A média de precisão nos dialetos foi de 47,7%, enquanto no MSA foi de 51,9% e no Inglês 62,8%.
• Falta de Generalização Dialetal: Mesmo modelos grandes e multilíngues falham em generalizar para dialetos específicos. A performance varia drasticamente entre os dialetos (ex: o dialeto Egípcio tende a ter melhor desempenho que o Marroquino ou Saudita em muitos modelos).
• Identificação vs. Raciocínio: A capacidade de um modelo identificar o dialeto de entrada não correlaciona fortemente com sua capacidade de responder corretamente a perguntas nesse dialeto. A correlação de Pearson foi moderada (r=0,431) e não estatisticamente significativa na maioria dos casos.
• Efeito do "Oráculo": Fornecer explicitamente a etiqueta do dialeto no prompt (condicionamento oráculo) não melhorou o desempenho; na verdade, em muitos casos, causou uma queda estatisticamente significativa na precisão, sugerindo que os modelos não sabem como utilizar essa informação para ajustar seu raciocínio.
• Tradução como Ponte: Traduzir as perguntas dialetais para o Inglês melhorou o desempenho de alguns modelos multilíngues (especialmente Mistral e Qwen), indicando que o gargalo é muitas vezes a compreensão do dialeto e não o raciocínio em si. No entanto, traduzir para o MSA não trouxe benefícios significativos.

5. Significado e Impacto

O DIALECTALARABICMMLU é um marco crítico para o campo de Processamento de Linguagem Natural (PLN) em árabe:

• Inclusividade: Força a comunidade a reconhecer que a avaliação em MSA é insuficiente para garantir que os LLMs sejam úteis para a vasta maioria dos falantes de árabe que usam dialetos no dia a dia.
• Direcionamento de Pesquisa: Os resultados indicam que estratégias de treinamento e avaliação "cegas" para dialetos são inadequadas. É necessário desenvolver recursos e estratégias de treinamento específicos para variedades dialetais.
• Reprodutibilidade: Ao fornecer um dataset aberto e padronizado, o trabalho permite comparações justas entre futuros modelos e estabelece uma linha de base para o desenvolvimento de LLMs verdadeiramente árabes e multilíngues.

Em suma, o paper demonstra que, embora os LLMs tenham avançado no árabe padrão, eles ainda possuem lacunas críticas na compreensão e raciocínio sobre as variedades linguísticas reais e vivas do mundo árabe.