Evaluating Monolingual and Multilingual Large Language Models for Greek Question Answering: The DemosQA Benchmark

1. Problema e Motivação

Apesar dos avanços significativos nos Grandes Modelos de Linguagem (LLMs), a pesquisa e o desenvolvimento concentram-se predominantemente em idiomas de alto recurso (como o inglês). Os modelos multilíngues atuais frequentemente apresentam:

• Viés nos dados de treinamento: Favorecem idiomas populares, negligenciando idiomas de baixo recurso.
• Representação inadequada: Falham em capturar nuances sociais, culturais e históricas específicas de idiomas como o grego.
• Escassez de recursos: Há uma falta crítica de conjuntos de dados (datasets) curados manualmente e benchmarks abrangentes para avaliar LLMs em tarefas de Resposta a Perguntas (QA) em grego.
• Desconhecimento comparativo: Não está claro se os LLMs monolíngues adaptados ao grego superam os modelos multilíngues genéricos em tarefas específicas do idioma.

2. Metodologia

Os autores desenvolveram uma abordagem sistemática para preencher essas lacunas, composta por três pilares principais:

A. Criação do Dataset DemosQA

Para superar a limitação dos datasets existentes (que são frequentemente traduções automáticas ou focados em domínios acadêmicos restritos), os autores criaram o DemosQA:

• Origem: Extraído do subreddit r/greece do Reddit.
• Processo: Coleta de perguntas e respostas comunitárias, filtradas por votos (upvotes) e moderadas por humanos.
• Curadoria: Um processo rigoroso de pré-processamento e revisão manual para remover conteúdo ofensivo, sarcasmo e "trolls", garantindo um tom informativo e neutro.
• Estrutura: 600 pares de perguntas e respostas, cada um com 4 candidatos e uma resposta correta (a mais votada pela comunidade).
• Características: Diferencia-se por ter perguntas e respostas mais longas e complexas, refletindo o "zeitgeist" social e cultural grego real, em contraste com datasets tradicionais de múltipla escolha mais curtos.

B. Framework de Avaliação Eficiente

Foi proposto um framework de avaliação adaptável e eficiente em termos de memória:

• Hardware: Projetado para rodar em hardware comercial (GPU com 12GB de VRAM), utilizando quantização de 4 bits (via bitsandbytes) para reduzir drasticamente os requisitos de memória sem perda significativa de precisão.
• Estratégias de Prompt: Três abordagens foram testadas para cada modelo:
  1. Instruction Prompt: Instrução direta para selecionar a melhor resposta.
  2. Role Prompt: Atribuição de uma função (ex: "Você é um modelo de linguagem grego") antes da instrução.
  3. Chain-of-Thought (CoT) Zero-shot: Instrução para raciocinar passo a passo antes de responder.
• Métricas: Precisão (Accuracy) em tarefas de múltipla escolha.

C. Experimentos

• Modelos Avaliados: 11 LLMs (7 monolíngues gregos e 4 multilíngues), incluindo modelos de pesos abertos (Open-Weights) como Llama Krikri 8B, Meltemi 7B, Gemma 2 9B, Llama 3.1, e o modelo proprietário GPT-4o mini.
• Benchmarks: Avaliação cruzada em 6 datasets gregos: DemosQA (novo), Greek Medical MCQA, Greek Truthful QA, BELEBELE (grego), Greek ASEP MCQA e INCLUDE (grego).

3. Contribuições Principais

1. DemosQA: O primeiro dataset de QA em grego derivado de mídias sociais e curado pela comunidade, capturando nuances culturais e linguísticas reais.
2. Framework de Avaliação: Uma metodologia de baixo custo e alta eficiência que permite a avaliação de LLMs em hardware acessível, democratizando a pesquisa em NLP para idiomas de baixo recurso.
3. Análise Empírica Abrangente: A primeira comparação extensiva de 11 LLMs em grego, utilizando múltiplas estratégias de prompt e diversos domínios de conhecimento.
4. Reprodutibilidade: Disponibilização pública do código e dos dados (após revisão por pares).

4. Resultados Chave

Os experimentos geraram insights importantes sobre o desempenho dos modelos:

• Desempenho Geral: O GPT-4o mini (proprietário) obteve consistentemente a maior precisão, especialmente em datasets de domínio específico (Medicina, Serviço Civil e Educação).
• Monolíngue vs. Multilíngue: Entre os modelos de pesos abertos, o Llama Krikri 8B (monolíngue grego) superou consistentemente a maioria dos modelos multilíngues, demonstrando que a adaptação específica ao idioma é crucial.
• Competitividade: O Gemma 2 9B (multilíngue) e o Llama Krikri 8B mostraram-se os modelos de pesos abertos mais competitivos, alcançando desempenho comparável ao GPT-4o mini em datasets de raciocínio comum e verdade (DemosQA e Truthful QA).
• Impacto das Estratégias de Prompt:
  • O GPT-4o mini performou melhor com prompts de instrução simples.
  • Os modelos de pesos abertos beneficiaram-se significativamente da atribuição de papel (Role Prompt).
  • O uso de Chain-of-Thought (CoT) melhorou o desempenho de modelos com forte capacidade de raciocínio, mas reduziu a precisão de outros devido a alucinações durante o processo de raciocínio.
• Limitações de Domínio: Em datasets altamente especializados (Medicina, ASEP), os modelos de pesos abertos apresentaram uma lacuna de desempenho significativa em relação ao GPT-4o mini, indicando que a engenharia de prompts não compensa a falta de conhecimento especializado de domínio.

5. Significado e Conclusão

Este estudo é fundamental para o avanço do Processamento de Linguagem Natural (NLP) em grego e para idiomas de baixo recurso em geral.

• Validação de Dados Comunitários: Demonstra que é viível construir datasets de alta qualidade a partir de conteúdo de mídia social curado manualmente.
• Direção Futura: Sugere que o desenvolvimento de LLMs gregos deve focar em treinamento from scratch com corpora que incluam dialetos regionais e textos históricos, em vez de depender apenas de transferência de aprendizado de modelos multilíngues.
• Democratização: O framework proposto permite que pesquisadores com recursos computacionais limitados avaliem e desenvolvam modelos de IA para seus idiomas locais, reduzindo a dependência de GPUs de alto desempenho e APIs proprietárias.

Em resumo, o trabalho estabelece uma nova base para a avaliação de LLMs em grego, provando que modelos monolíngues bem adaptados podem rivalizar com gigantes multilíngues e proprietários em tarefas gerais, embora ainda haja desafios em domínios de conhecimento especializado.