Resumo Técnico: URDUMMLU

Declaração do Problema

A avaliação atual de Grandes Modelos de Linguagem (LLMs) depende fortemente de benchmarks centrados no inglês, como o MMLU e o MMLU-PRO. Embora existam extensões multilíngues, elas dependem predominantemente de questões traduzidas, que falham em capturar o conhecimento fundamentado em contextos educacionais nativos, história local, estudos religiosos e currículos específicos da região. Esta limitação é particularmente aguda para o urdu, uma língua falada por mais de 230 milhões de pessoas com uma rica tradição literária e educacional. Os recursos existentes de urdu limitam-se à compreensão de leitura, diagnósticos sintáticos ou tarefas de raciocínio traduzidas, deixando uma lacuna na avaliação de conhecimentos educacionais amplos e capacidades de raciocínio em urdu.

Metodologia

Os autores introduzem o URDUMMLU, o primeiro benchmark de ampla cobertura, escrito nativamente no estilo MMLU para o urdu. O processo de construção e avaliação envolveu as seguintes etapas:

1. Coleta e Construção de Dados

• Fontes: As questões foram coletadas de duas fontes primárias: PDFs de exames públicos do SSC (Certificado de Escola Secundária) e HSSC (Certificado de Escola Secundária Superior) do Paquistão, e sites de MCQs (questões de múltipla escolha) nativos em urdu.
• Pipeline de Extração: Um pipeline de 16 estágios foi empregado para processar os dados brutos. Isso incluiu OCR para PDFs (usando modelos de visão-linguagem), manipulação de texto bidirecional para o script urdu, normalização de pontuação e caracteres (por exemplo, mapeamento de letras árabes para equivalentes em urdu) e limpeza estrutural para garantir a formatação consistente das opções (A–D).
• Estratégia de Anotação:
  • MCQs derivados da Web: 13.672 questões com chaves de resposta existentes foram verificadas por anotadores humanos.
  • MCQs derivados de Exames: 12.759 questões extraídas de PDFs de exames careciam de chaves de resposta. Estas passaram por anotação humana dupla por 17 falantes nativos de urdu. Uma regra estrita de consenso foi aplicada: um item era retido apenas se ambos os anotadores selecionassem a mesma resposta válida sem sinalizações ou rótulos de "incerto". Desacordos, sinalizações e seleções de incerteza resultaram em exclusão.
• Dataset Final: O benchmark compreende 26.431 questões de múltipla escolha distribuídas em 26 subdomínios agrupados em 5 domínios: STEM, Humanidades, Ciências Sociais, Profissão e Outros. Cobre tanto disciplinas acadêmicas padrão quanto conteúdo específico da região (ex: Literatura Urdu, Estudos Islâmicos, Estudos do Paquistão).

2. Protocolo de Avaliação

• Modelos: 30 LLMs foram avaliados, incluindo modelos de API proprietários (ex: Gemini, GPT, Claude), modelos de pesos abertos (ex: LLaMA, Gemma, Qwen, DeepSeek) e modelos específicos para urdu (Qalb, Alif).
• Configurações:
  • Zero-shot: Todos os 30 modelos foram testados sob prompts de instrução em inglês e urdu, resultando em 60 avaliações.
  • Few-shot: Quatro modelos de código aberto foram avaliados adicionalmente em configurações de 1-shot, 3-shot e 5-shot para ambos os idiomas de prompt.
• Métricas: A métrica primária foi a acurácia (comparando respostas geradas com rótulos de ouro). Taxas de saída inválida (respostas não analisáveis ou malformadas) também foram monitoradas.

Resultados Principais

Desempenho Geral

• Melhor Desempenho: O Gemini-3.5-Flash alcançou a maior acurácia, atingindo 90,20% com prompts em inglês e 90,34% com prompts em urdu.
• Lacuna de Código Aberto: O modelo de código aberto mais forte, DeepSeek-V4-Flash, ficou significativamente atrás, pontuando 82,41% (Inglês) e 81,42% (Urdu), uma diferença de cerca de 7,8 a 8,9 pontos em relação ao melhor modelo proprietário.
• Modelos de Base: Modelos menores de código aberto (ex: BLOOMZ, LLaMA-3.2-3B) performaram próximo ao acaso (~25–35%), e mesmo modelos especificamente ajustados para urdu (Qalb-1.0-8B, Alif-1.0-8B) pontuaram abaixo de 36%, indicando que o ajuste fino focado em urdu por si só não garante competência educacional ampla.

Disparidades de Domínio

• STEM vs. Humanidades: Existe uma lacuna de desempenho significativa entre STEM e as Humanidades centradas no urdu. Os modelos geralmente pontuam de 25 a 40 pontos acima em disciplinas de STEM do que em Humanidades.
  • Exemplo: Gemini-3.5-Flash pontuou 97,81% em STEM, mas 85,31% em Humanidades sob prompts em urdu.
  • Exemplo: DeepSeek-V4-Flash caiu de 97,57% (STEM) para 67,32% (Humanidades).
  • Implicação: Os modelos podem processar o urdu suficientemente para conceitos científicos, mas têm dificuldade com conteúdo culturalmente fundamentado, como literatura urdu, língua e estudos islâmicos.

Idioma do Prompt e Efeitos de Few-Shot

• Idioma do Prompt: Alterar a linguagem da instrução de inglês para urdu teve um efeito negligenciável na acurácia geral para a maioria dos modelos (tipicamente <1 ponto de diferença). Isso sugere que a dificuldade reside no conteúdo específico do urdu, e não na linguagem da instrução em si.
• Aprendizado Few-Shot: O prompting few-shot (1–5 shots) rendeu ganhos modestos (aprox. +1,5 a +2,7 pontos) e não alterou o ranking dos modelos nem reduziu a lacuna entre modelos de código aberto e proprietários.

Validade da Saída

• Modelos maiores, tanto proprietários quanto de código aberto, mantiveram taxas de saída inválida baixas (<0,1%).
• Modelos menores e voltados para o urdu exibiram altas taxas de saída inválida sob prompts em urdu (ex: BLOOMZ-3B com 74,2%, Alif-1.0-8B com 12,6%), indicando falhas em seguir instruções de formatação.

Significância e Alegações

O artigo afirma que o URDUMMLU fornece o primeiro benchmark rigoroso e nativo para avaliar a compreensão e o raciocínio da língua urdu. Sua principal significância reside em demonstrar que:

1. Tradução é Insuficiente: O forte desempenho em benchmarks em inglês não se transfere confiavelmente para o conhecimento educacional e cultural em urdu.
2. Lacunas de Conhecimento: Os LLMs atuais possuem conhecimentos desiguais, destacando-se em conceitos de STEM globalmente compartilhados, mas carecendo de profundidade em Humanidades regionalmente fundamentadas.
3. Necessidade de Avaliação: O benchmark destaca a necessidade de recursos de avaliação fundamentados em materiais educacionais locais, em vez de datasets traduzidos, para avaliar verdadeiramente as capacidades de modelos multilíngues.
4. Direção Futura: Os resultados motivam a necessidade de pré-treinamento contínuo e ajuste fino de instrução especificamente em material educacional e literário nativo do urdu para melhorar o desempenho dos modelos em domínios culturalmente específicos.

Os autores enfatizam que o benchmark é limitado ao currículo SSC/HSSC do Paquistão e não cobre material de graduação, currículos de urdu da Índia ou variações dialetais, mas serve como um passo fundamental para uma avaliação multilíngue mais inclusiva.