Evaluation of Small Language Models for Arabic Language Processing

Resumo Técnico: Avaliação de Pequenos Modelos de Linguagem para Processamento da Língua Árabe

Declaração do Problema
A implementação de Grandes Modelos de Linguagem (LLMs) em ambientes com recursos limitados é frequentemente dificultada pelos altos custos computacionais, requisitos de memória e latência de inferência. Embora os Pequenos Modelos de Linguagem (SLMs) ofereçam uma alternativa eficiente, sua avaliação no domínio do árabe permanece fragmentada. O árabe apresenta desafios linguísticos únicos, incluindo morfologia rica, alta inflexão, variação dialetal substancial e ambiguidade ortográfica. Além disso, os benchmarks de árabe existentes frequentemente focam em grandes modelos proprietários, sistemas multilíngues amplos ou tarefas de jusante isoladas, carecendo de um framework unificado para avaliar sistematicamente SLMs compactos e capazes de processar o árabe sob condições controladas. Há uma necessidade crítica de avaliações estruturadas que avaliem não apenas o desempenho geral, mas também habilidades linguísticas específicas, adesão a instruções e confiabilidade na geração de saídas exclusivamente em árabe.

Metodologia
O estudo introduz um benchmark controlado composto por 240 itens de teste em árabe distribuídos em oito domínios (Social, Língua Árabe, História, Tecnologia, Argumentativo, Religioso, Matemática e Escrita Criativa) e dez habilidades linguísticas centrais. As habilidades são divididas em tarefas orientadas à compreensão (Extração de Informação, Sumarização, Classificação de Texto, Raciocínio Lógico, Resposta a Perguntas Fechadas) e tarefas orientadas à geração (Parafraseamento, Geração de Rascunho, Explicação Simplificada, Treinamento de Escrita, Transferência de Estilo).

Doze SLMs modernos foram avaliados, variando de 1B a 12B de parâmetros. O conjunto de modelos inclui tanto sistemas orientados ao árabe quanto sistemas multilíngues (ex: Gemma 3, Aya, C4AI Command Arabic, Qwen, variantes do DeepSeek, ALLaM, Fanar, Yi e Tiny Aya). Todos os modelos foram testados sob uma configuração zero-shot padronizada usando um único template de prompt exclusivamente em árabe para minimizar o viés de engenharia de prompt e garantir a consistência na adesão às instruções.

A avaliação foi conduzida utilizando um framework multi-modelo "LLM-as-a-judge" (LLM como juiz). Três modelos juízes independentes (GPT-4.1 Mini, Claude Haiku 4.5 e DeepSeek-Chat) avaliaram cada resposta em uma escala de 0 a 5 baseada em correção, clareza, completude e alinhamento com a habilidade alvo. As pontuações finais foram agregadas como a média aritmética dos três juízes. Para abordar a confiabilidade da avaliação, o estudo monitorou a "discordância" (o intervalo entre a pontuação máxima e mínima dos juízes) para cada resposta, sinalizando casos com uma pontuação de discordância de 3 ou mais para análise posterior.

Principais Contribuições

1. Design de Benchmark Estruturado: O artigo fornece um benchmark controlado especificamente projetado para a avaliação de SLMs em árabe, apresentando cobertura equilibrada em diversos domínios e uma distinção clara entre habilidades de compreensão e geração.
2. Análise de Nível de Habilidade: Em vez de depender apenas de pontuações agregadas, o estudo oferece uma análise granular das forças e fraquezas dos modelos em habilidades linguísticas específicas.
3. Rastreamento de Discordância: O framework incorpora um mecanismo para medir a discordância dos avaliadores, servindo como um indicador de confiabilidade para tarefas de geração aberta onde a pontuação automatizada pode ser subjetiva.
4. Análise Qualitativa de Falhas: O estudo identifica e categoriza padrões de falha recorrentes em modelos de menor desempenho, incluindo vazamento de prompt (prompt leakage), deriva linguística (falha em manter a saída apenas em árabe), alucinação, não conclusão e fraca adesão à tarefa.

Resultados

• Desempenho Geral: O Gemma 3 (12B) alcançou a maior pontuação geral (4.548/5), seguido pelo Aya (4.371) e C4AI Command Arabic (4.364). Os resultados indicam que o tamanho do modelo por si só não determina o desempenho; em vez disso, o alinhamento com o árabe, a confiabilidade na adesão às instruções e a qualidade do pós-treinamento são fatores críticos.
• Variância de Habilidade: Nenhum modelo único dominou todas as categorias. O Gemma 3 (12B) destacou-se em raciocínio lógico, parafraseamento e geração de rascunho. O Aya teve o melhor desempenho em Extração de Informação, enquanto o C4AI liderou em Sumarização. Modelos menores como Fanar e Tiny Aya Global mostraram desempenho competitivo em tarefas específicas quando apropriadamente alinhados.
• Padrões de Falha: Modelos de menor desempenho exibiram frequentemente vazamento de prompt (repetir instruções em vez de responder), desalinhamento linguístico (produzir texto que não seja árabe), alucinação e gerações incompletas.
• Discordância de Avaliadores: As taxas de discordância foram mais altas para tarefas que exigem verificação precisa (Raciocínio Lógico: 38.2%) e mais baixas para tarefas baseadas em extração (Resposta a Perguntas Fechadas: 7.3%). A revisão humana dos casos sinalizados revelou que uma parte significativa da discordância derivou de diferenças na calibração dos juízes, e não da ambiguidade da saída. Notavelmente, um juiz (Claude Haiku 4.5) foi significativamente mais crítico que os outros na maioria dos casos sinalizados.

Significância e Alegações
O artigo alega que este benchmark fornece uma referência estruturada para avaliar compactos modelos de linguagem árabe, indo além de simples comparações de contagem de parâmetros. Ele demonstra que, para o NLP em árabe, o sucesso da implementação depende fortemente da capacidade de um modelo aderir a instruções, manter a consistência linguística e performar de forma confiável em habilidades específicas, em vez de apenas alcançar altas pontuações agregadas.

O estudo enfatiza que, embora os frameworks de LLM-as-a-judge multi-modelo ofereçam escalabilidade, eles devem ser complementados pelo rastreamento de discordância e revisão humana direcionada, particularmente para tarefas que envolvem verificação factual, adequação cultural ou restrições linguísticas estritas. As descobertas apoiam o desenvolvimento de sistemas de IA em árabe eficientes, confiáveis e culturalmente apropriados, destacando a necessidade de alinhamento específico para o árabe e protocolos de avaliação rigorosos ao nível de habilidade.