ArabicNumBench: Evaluating Arabic Number Reading in Large Language Models

1. O Problema

O artigo aborda uma lacuna crítica na avaliação de Modelos de Linguagem de Grande Escala (LLMs) no contexto da Língua Árabe. Embora os LLMs tenham demonstrado forte desempenho em benchmarks de raciocínio numérico gerais (como GSM8K e MATH), a avaliação em árabe apresenta desafios únicos devido à coexistência de dois sistemas de numeração:

• Algarismos Árabes-Orientais (Indo-Árabes): Usados em contextos formais e regionais específicos (0-9 no script árabe).
• Algarismos Árabes-Ocidentais: A forma padrão internacional (0-9).

Benchmarks existentes focam apenas na correção semântica da resposta, ignorando como a resposta é gerada. Eles não avaliam se o modelo segue formatos de saída estruturados (essenciais para sistemas de produção) ou se mantém a consistência do sistema numérico adequado. Além disso, não há métricas que distingam entre um modelo que "adivinha" o número correto e um que segue instruções de formatação complexas.

2. Metodologia

Os autores desenvolveram o ArabicNumBench, um benchmark abrangente para avaliar a leitura e extração de números em árabe.

• Dataset: O conjunto de dados (v3) contém 210 casos de teste distribuídos em seis categorias semânticas:
  1. Numerais Puros (Oriental e Ocidental).
  2. Endereços (extração de múltiplos números).
  3. Datas (informação temporal).
  4. Quantidades (contextos descritivos).
  5. Preços (valores monetários).
• Modelos Avaliados: Foram testados 71 modelos de 10 provedores diferentes (incluindo Qwen, Mistral, OpenAI, Meta, Google, Anthropic, Cohere, DeepCogito, Microsoft e MoonshotAI), totalizando 59.010 casos de teste individuais.
• Estratégias de Prompting: Quatro abordagens foram comparadas:
  1. Zero-shot: Resposta direta.
  2. Zero-shot CoT: Instrução "Pense passo a passo" sem exemplos.
  3. Few-shot: 3 exemplos de demonstração sem cadeias de raciocínio explícitas.
  4. Few-shot CoT: Exemplos com cadeias de raciocínio explícitas adaptadas às convenções árabes.
• Métricas de Avaliação:
  • Precisão Geral: Proporção de respostas numericamente corretas.
  • Porcentagem de Saída Estruturada: Métrica inovadora que rastreia o método de extração. Distingue entre métodos estruturados (marcadores de conclusão em árabe, padrões específicos) e métodos de fallback (extração de último número detectado).
  • Preservação de Formato: Capacidade de manter o sistema numérico correto (Oriental vs. Ocidental).

3. Principais Contribuições

• ArabicNumBench: O primeiro benchmark focado especificamente na leitura de números em árabe, cobrindo a dualidade dos sistemas numéricos e contextos variados.
• Rastreamento de Método de Extração: Introduz uma nova métrica que avalia não apenas se a resposta está certa, mas como foi gerada, distinguindo entre modelos que seguem instruções de formatação e aqueles que apenas adivinham o valor.
• Identificação da Dissociação de Capacidades: O estudo revela que alta precisão numérica não garante a capacidade de seguir instruções de formatação estruturada.
• Análise de "Teto de Prompting": Demonstra que estratégias de prompting têm limites impostos pela arquitetura e treinamento do modelo; um modelo com baixa aderência a instruções não pode ser transformado em um "seguidor de instruções" apenas mudando o prompt.

4. Resultados Chave

• Variação de Desempenho: A precisão variou drasticamente, de 14,29% a 99,05%, dependendo do modelo e da estratégia.
• Impacto do Few-shot CoT: A estratégia Few-shot Chain-of-Thought superou significativamente as outras, alcançando 80,06% de precisão média (vs. 28,76% no zero-shot). Isso representa um aumento de 2,8x na precisão e 4,8x na geração de saída estruturada.
• A Divisão de Capacidades (O Achado Crítico):
  • Apenas 6 modelos (8,5%) conseguiram gerar saída estruturada em ≥90% dos casos, mesmo com prompting ótimo.
  • 44 modelos (62,9%) permaneceram abaixo de 10% de saída estruturada, apesar de terem alta precisão numérica em alguns casos.
  • Exemplo de Dissociação: O modelo Gemini 2.5 Pro alcançou 99,05% de precisão, mas 92,86% de suas respostas foram não estruturadas (fallback), falhando em seguir o formato solicitado.
• Modelos de Elite: Apenas modelos como Qwen3 Max, Llama 3.1 405B, Command A, GPT-4o-mini, Claude 3 Opus e Qwen3 235B demonstraram consistência simultânea em precisão numérica e seguimento de instruções (≥95% de saída estruturada).

5. Significado e Implicações

O trabalho desafia o paradigma atual de avaliação de LLMs para NLP em árabe, que prioriza excessivamente a precisão bruta.

• Para Produção: Em sistemas reais de NLP em árabe (como processamento de faturas, endereços ou dados financeiros), a precisão numérica isolada é insuficiente. A capacidade de gerar saída estruturada é crítica para a integração automatizada.
• Seleção de Modelos: Os autores recomendam que a seleção de modelos para produção deve priorizar a porcentagem de saída estruturada e não apenas a precisão.
• Estratégia de Prompting: O uso de Few-shot CoT é essencial não apenas para melhorar o raciocínio, mas também para ativar a geração de formatos específicos e marcadores linguísticos em árabe.
• Limitação do Engenharia de Prompt: A pesquisa sugere que a engenharia de prompt tem um teto; a escolha do modelo certo (aqueles com arquitetura treinada para seguir instruções) é mais importante do que tentar forçar modelos fracos a seguirem formatos complexos.

Em resumo, o ArabicNumBench estabelece uma nova linha de base para a compreensão de números em árabe, evidenciando que a verdadeira prontidão para produção exige a convergência de precisão numérica e fidelidade às instruções de formatação.