Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues

1. Declaração do Problema

A avaliação atual de Modelos de Linguagem de Grande Escala (LLMs) para a cultura árabe sofre de duas limitações críticas:

• Viés Centrado no Árabe Padrão Moderno (MSA): As benchmarks existentes (por exemplo, ArabCulture) dependem quase exclusivamente do Árabe Padrão Moderno (MSA) e de perguntas de múltipla escolha isoladas de uma única rodada. Isso ignora o fato de que a comunicação diária no mundo árabe ocorre principalmente em diversos dialetos regionais, que codificam normas culturais específicas, identidades sociais e nuances pragmáticas distintas do MSA.
• Falta de Contexto Conversacional: O raciocínio cultural frequentemente se desdobra em diálogos de múltiplas rodadas, onde os falantes devem interpretar normas implícitas e manter a coerência pragmática. Avaliações de única rodada falham em capturar essa dinâmica, potencialmente superestimando as capacidades do modelo ao testá-lo em um registro (MSA) que é menos carregado culturalmente do que o uso autêntico.

A questão central de pesquisa é: Modelos que performam adequadamente em questões culturais baseadas em MSA conseguem realmente aplicar esse conhecimento em diálogos naturais, mediados por dialetos e de múltiplas rodadas?

2. Metodologia

A. Construção do Conjunto de Dados: ArabCulture-Dialogue

Os autores introduzem o ArabCulture-Dialogue, o primeiro conjunto de dados conversacionais paralelos cobrindo 13 países de língua árabe (incluindo EAU, Egito, Marrocos, etc.) tanto em MSA quanto em seus respectivos dialetos locais.

• Escala: 3.471 instâncias de diálogo únicas (6.942 no total, contando ambas as versões MSA e Dialetal), abrangendo 12 tópicos do cotidiano (por exemplo, casamentos, comida, criação de filhos) e 54 subtópicos detalhados.
• Pipeline de Construção:
  1. Geração: Rascunhos iniciais gerados pelo GPT-4o com base nas premissas existentes do ArabCulture.
  2. Curadoria Humana: 26 falantes nativos (fluente em MSA e dialetos locais, com >10 anos de residência) revisaram manualmente os diálogos em MSA quanto à naturalidade e precisão cultural.
  3. Localização Dialetal: Anotadores traduziram os diálogos em MSA para dialetos específicos de cada país, evitando tradução literal para garantir um fluxo conversacional autêntico.
  4. Controle de Qualidade: Um processo multiestágio envolvendo revisão cruzada, verificações de consistência de estilo (garantindo que as opções de resposta tenham comprimento/tom semelhantes para evitar correspondência de padrões superficiais) e uma QC final independente.
• Estatísticas: O conjunto de dados contém ~343.804 palavras. Os dados dialetais exibem um tamanho de vocabulário maior do que o MSA devido à falta de ortografia padronizada nos dialetos.

B. Tarefas de Avaliação

O conjunto de dados é utilizado para avaliar LLMs em três tarefas distintas:

1. Raciocínio Cultural Baseado em Diálogo (MCQ): Os modelos devem selecionar a resposta culturalmente apropriada entre três opções em um diálogo de múltiplas rodadas. Isso testa o raciocínio de senso comum cultural no contexto.
2. Tradução Dialetal: Os modelos traduzem diálogos de múltiplas rodadas entre MSA e dialetos específicos de países (bidirecional). As métricas incluem BLEU, BERTScore, ALDi (Nível Árabe de Dialetalidade) e um framework LLM-as-a-Judge.
3. Direcionamento Dialetal: Os modelos recebem instruções para continuar um diálogo em um dialeto-alvo específico (ou MSA). O desempenho é medido pela qualidade de geração (LLM-as-a-Judge) e precisão da identidade dialetal (usando GlotLID para identificação de linguagem).

C. Modelos Avaliados

O estudo avaliou uma ampla gama de modelos:

• Focados em Árabe com Pesos Abertos: Jais, ALLaM, SILMA, Cohere-Arabic, Fanar, Hala (7B–9B parâmetros).
• Multilíngues com Pesos Abertos: Gemma, Qwen, LLaMA (8B–9B parâmetros).
• Modelos Proprietários: GPT-5 e Gemini-2.5-Pro.

3. Principais Contribuições

1. Primeiro Conjunto de Dados Paralelo MSA-Dialetal: O ArabCulture-Dialogue é o primeiro recurso a avaliar o raciocínio cultural árabe em 13 países, tanto em MSA quanto em dialetos, dentro de um cenário conversacional.
2. Framework Abrangente de Benchmarking: Definiu três tarefas complementares (MCQ, Tradução, Direcionamento) para avaliar o raciocínio cultural, a competência linguística entre registros e a geração controlada.
3. Evidência Empírica de Lacunas Dialetais: Fornecimento de resultados experimentais extensos demonstrando que os atuais modelos com pesos abertos lutam significativamente com o raciocínio cultural dialetal em comparação ao MSA, frequentemente falhando em transferir conhecimento cultural de cenários padrão para cenários dialetais.

4. Principais Resultados e Análise

A. Degradação de Desempenho em Dialetos

• Lacuna MSA vs. Dialetal: Todos os modelos performaram significativamente pior em diálogos dialetais em comparação ao MSA em todas as três tarefas.
• Proprietários vs. Pesos Abertos: Modelos proprietários (GPT-5, Gemini-2.5-Pro) alcançaram alta precisão (~94-95%) em tarefas de MCQ tanto para MSA quanto para dialetos. Em contraste, modelos com pesos abertos (mesmo os de 9B parâmetros) mostraram quedas substanciais, com alguns performando perto de um palpite aleatório (33%) em MCQs dialetais.
• Especificidade por País: Os modelos performaram melhor em diálogos não específicos de país do que naqueles específicos de país. Os dialetos do Norte da África apresentaram a maior dificuldade, enquanto os dialetos jordaniano e palestino foram ligeiramente mais fáceis para os modelos inferirem.

B. Desafios de Tradução

• Direcionalidade: Os modelos traduziram Dialetal-para-MSA melhor do que MSA-para-Dialetal.
• Correção Dialetal: Embora a adequação semântica (significado) fosse frequentemente preservada, as pontuações de Registro (correção dialetal) foram baixas para modelos abertos. Muitos modelos geraram texto fluente que era semanticamente correto, mas linguisticamente "pan-árabe" ou semelhante ao MSA, falhando em capturar características específicas de dialetos ao nível do país.
• Impacto do Ajuste Fino: O Ajuste Fino Supervisionado (SFT) em modelos multilíngues melhorou a fluência e a terminologia, mas não fechou completamente a lacuna com modelos focados em árabe em zero-shot. O SFT ajudou alguns modelos a gerar pistas dialetais mais distintas (por exemplo, no Darija marroquino), mas lutou com outros.

C. Limitações do Direcionamento Dialetal

• Falha de Identidade: Mesmo quando os modelos geravam respostas fluentes, frequentemente falhavam em corresponder ao código ISO estrito do dialeto-alvo. Por exemplo, modelos gerando dialeto dos EAU foram frequentemente identificados pelo GlotLID como "Golfo" (afb) ou "Najdi" (ars) em vez do alvo específico dos EAU, destacando a dificuldade do controle dialetal de granularidade fina.
• Compensações: O SFT melhorou a controlabilidade, mas às vezes reduziu a capacidade do modelo de permanecer em MSA quando solicitado, indicando uma compensação entre a qualidade de saída e a adesão estrita ao dialeto.

5. Significado e Direções Futuras

• Competência Cultural é Contextual: O estudo prova que o raciocínio cultural não é uma base de conhecimento estática, mas uma habilidade dinâmica que se degrada quando o registro linguístico muda do MSA para o dialeto.
• Limitações dos Modelos Abertos Atuais: Os atuais LLMs com pesos abertos (7B–9B) são insuficientes para aplicações culturalmente fundamentadas e ricas em dialetos. Eles carecem da compreensão matizada das normas locais necessária para implantação no mundo real no mundo árabe.
• Trabalho Futuro: Os autores chamam para:
  • Pré-treinamento e ajuste de instruções conscientes de dialeto.
  • Expansão de conjuntos de dados para cobrir mais países árabes e variações intra-país.
  • Desenvolvimento de modelos que integrem melhor o conhecimento cultural com a dinâmica conversacional.

Conclusão: O ArabCulture-Dialogue revela uma lacuna substancial no estado da arte atual para PLN Árabe. Enquanto modelos proprietários mostram promessa, modelos com pesos abertos exigem avanços significativos em arquitetura e treinamento para lidar com a complexidade do diálogo árabe culturalmente fundamentado e dialetal.