GreekMMLU: A Native-Sourced Multitask Benchmark for Evaluating Language Models in Greek

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são frequentemente treinados em corpora multilíngues que incluem o grego, mas a avaliação confiável de suas capacidades nessa língua permanece limitada. Os principais desafios identificados são:

• Falta de Benchmarks Nativos: A maioria das avaliações existentes baseia-se em conjuntos de dados traduzidos automaticamente do inglês (como versões traduzidas do MMLU).
• Limitações da Tradução: A tradução automática falha em capturar características linguísticas complexas do grego (morfologia rica, ordem flexível de palavras, negação complexa) e ignora contextos culturais e educacionais específicos.
• Viés Cultural e Educacional: Domínios como história, direito, cidadania e certificações profissionais estão intrinsecamente ligados ao currículo nacional e às estruturas legais da Grécia, o que torna as traduções inadequadas para medir o conhecimento real.
• Sub-representação: O grego é tratado como uma língua de "cauda longa" na maioria dos modelos multilíngues, resultando em desempenho inferior comparado a línguas de alto recurso.

2. Metodologia

Os autores desenvolveram o GreekMMLU, o primeiro benchmark de grande escala e fonte nativa para avaliar a compreensão de linguagem multitarefa em grego.

• Coleta de Dados:
  • As questões foram extraídas exclusivamente de fontes gregas originais: exames acadêmicos, profissionais e governamentais.
  • As fontes incluem plataformas de exames públicos, repositórios universitários e materiais educacionais licenciados abertamente.
  • Foram utilizados pipelines de extração personalizados (PyMuPDF, Tesseract OCR) seguidos de correção assistida por LLMs para garantir a integridade do texto grego e notações matemáticas.
• Estrutura do Dataset:
  • Volume: 21.805 questões de múltipla escolha (MCQ).
  • Divisão: 16.857 questões para uso público e 4.948 reservadas para um leaderboard privado (para evitar contaminação dos dados de treino).
  • Taxonomia: Organizado em 45 disciplinas divididas em quatro supercategorias: STEM (Ciência, Tecnologia, Engenharia e Matemática), Humanidades, Ciências Sociais e Outros.
  • Níveis de Dificuldade: As questões são anotadas com níveis educacionais: Ensino Primário, Secundário, Universitário e Profissional.
  • Especificidade Grega: Inclui 8 áreas específicas que exigem conhecimento cultural local (ex: História Grega, Mitologia Grega, Tradições Gregas).
• Avaliação:
  • Utilização do framework lm-evaluation-harness.
  • Testes realizados em configurações zero-shot e five-shot.
  • Avaliação de mais de 80 modelos, incluindo LLMs de código aberto (Llama, Qwen, Gemma), modelos adaptados ao grego (Meltemi, Krikri, Plutus), modelos europeus (EuroLLM) e modelos proprietários de ponta (GPT-4o, Gemini).

3. Principais Contribuições

1. GreekMMLU: A criação do primeiro benchmark nativo de grande escala para grego, eliminando a dependência de traduções e garantindo fidelidade linguística e cultural.
2. Avaliação em Larga Escala: Um estudo abrangente de mais de 80 modelos, estabelecendo uma linha de base rigorosa para o estado da arte em grego.
3. Análise de Fatores de Desempenho: Investigação sistemática sobre como o tamanho do modelo, o ajuste fino (instruction tuning), as estratégias de prompting e a adaptação linguística afetam o desempenho.
4. Leaderboard Público e Privado: Disponibilização de um conjunto de dados público para pesquisa e um conjunto privado para avaliação robusta e resistente a contaminação.

4. Resultados Chave

• Gap de Desempenho: Existe uma diferença substancial entre modelos de fronteira (fechados) e modelos de pesos abertos.
  • Modelos fechados (ex: Gemini 3 Flash, GPT-5.2) alcançaram precisões médias de 93% a 95%.
  • Os melhores modelos de pesos abertos (ex: Llama-3.3-70B, Qwen2.5-72B) atingiram cerca de 79-80%, deixando uma lacuna significativa.
• Importância da Adaptação ao Grego: Modelos especificamente adaptados ao grego (como Llama-Krikri e Meltemi) superaram consistentemente modelos multilíngues genéricos de tamanho comparável, especialmente em tarefas culturalmente fundamentadas.
• Efeito do Tamanho do Modelo: Há uma correlação forte entre o número de parâmetros e o desempenho. Modelos pequenos (<2B parâmetros) performam próximo à linha de base aleatória, enquanto modelos maiores mostram melhorias consistentes.
• Desempenho por Nível Educacional: A precisão tende a ser maior em questões de nível primário/secundário e menor em níveis universitários e profissionais, refletindo a complexidade e o conhecimento especializado exigido.
• Calibração: Modelos adaptados ao grego (como Llama-Krikri) demonstraram uma calibração superior (correlação entre confiança e precisão) em comparação com modelos genéricos.
• Prompting: O uso de few-shot (5 exemplos) melhorou o desempenho de modelos maiores, mas teve pouco efeito em modelos muito pequenos.

5. Significado e Impacto

O trabalho do GreekMMLU é fundamental para o avanço da IA na Grécia e para línguas de recursos moderados em geral.

• Validação Realista: Permite avaliar a verdadeira capacidade dos modelos de entender nuances linguísticas e contextos culturais gregos, algo que benchmarks traduzidos não conseguiam fazer.
• Direcionamento de Pesquisa: Os resultados indicam que o treinamento explícito e a adaptação de dados em grego são essenciais para obter desempenho robusto, superando a simples dependência de transferência cruzada de línguas.
• Padrão de Ouro: Estabelece um novo padrão para a avaliação de LLMs em grego, incentivando o desenvolvimento de modelos nativos e a criação de mais recursos educacionais e profissionais em língua grega.
• Transparência: Ao separar os dados de teste em conjuntos públicos e privados, o trabalho promove uma avaliação justa e evita a contaminação dos dados de treino, garantindo a integridade das comparações futuras.

Em resumo, o GreekMMLU demonstra que, embora os modelos multilíngues gerais tenham feito progressos, eles ainda carecem de profundidade cultural e linguística específica para o grego, e que a adaptação intencional é a chave para fechar essa lacuna.