Maistros: A Greek Large Language Model Adapted Through Knowledge Distillation From Large Reasoning Models

Este artigo apresenta o Maistros 8B, um modelo de linguagem grande grego de pesos abertos e estado da arte desenvolvido por meio de destilação de conhecimento a partir de Modelos de Raciocínio Avançado e ajustado finamente no recém-criado conjunto de dados CulturaQA, juntamente com um quadro de avaliação abrangente concebido para abordar lacunas de desempenho em línguas com poucos recursos.

O essencial

Imagine que você tem um chef brilhante e de classe mundial (um Modelo de Raciocínio Avançado) que pode preparar refeições incríveis e complexas, mas que exige uma cozinha industrial massiva, com centenas de fornos, e custa uma fortuna para operar. Este chef é excelente, mas é grande demais e caro demais para caber em uma cozinha doméstica normal.

Enquanto isso, você tem um cozinheiro menor e local (um Modelo de Linguagem Grande Padrão) que está tentando aprender a cozinhar comida grega. Infelizmente, este cozinheiro local viu apenas alguns livros de receitas, e a maioria deles está escrita em inglês ou em outros idiomas. Quando questionado sobre pratos gregos específicos, história ou cultura, o cozinheiro local frequentemente erra as suposições ou inventa ingredientes que não existem.

Este artigo trata de um projeto chamado Maistros (que significa "Mestre" em grego) que tenta ensinar esse cozinheiro local a se tornar um especialista culinário grego sem precisar da cozinha industrial massiva.

Veja como eles fizeram isso, dividido em etapas simples:

1. O Problema: A "Lacuna Grega"

Os grandes modelos de IA são incríveis, mas são treinados principalmente com dados em inglês. Quando você os pergunta sobre cultura, história ou leis locais específicas da Grécia, eles frequentemente tropeçam. Eles podem conhecer a ideia geral de "comida", mas não conhecem o sabor específico de uma moussaka grega tradicional ou os detalhes da história grega. Além disso, os modelos superinteligentes que realmente conhecem essas coisas são grandes demais e lentos demais para rodar em computadores normais.

2. A Solução: Um Livro de Receitas Especializado (CulturaQA)

Para corrigir isso, os pesquisadores precisavam de um livro de receitas melhor. Eles não apenas traduziram livros em inglês; criaram um totalmente novo chamado CulturaQA.

• Como foi feito: Eles pediram a uma IA superinteligente (o "chef industrial") que escrevesse 2.700 perguntas e respostas sobre a cultura grega, cobrindo tópicos como história, comida, política e esportes.
• O Toque Humano: Como a IA às vezes pode "alucinar" (inventar coisas), uma equipe de humanos leu cada pergunta e resposta. Eles corrigiram erros gramaticais, removeram fatos inventados e garantiram que os detalhes culturais fossem precisos.
• O Resultado: Uma coleção de alta qualidade, verificada por humanos, de conhecimento grego que não existia antes.

3. O Treinamento: Destilação de Conhecimento (O Método do "Chef Sombra")

Agora, eles tinham o livro de receitas perfeito, mas precisavam ensinar o cozinheiro local (o modelo Ministral 3 8B) a usá-lo.

• Em vez de apenas ler o livro, eles usaram uma técnica chamada Destilação de Conhecimento. Pense nisso como o cozinheiro local ficando ao lado do chef superinteligente, observando-o resolver problemas e aprendendo o raciocínio por trás das respostas.
• Eles usaram um método de treinamento inteligente e que economiza memória (chamado LoRA), que é como dar ao cozinheiro local um conjunto de ferramentas especializadas e leves, em vez de fazê-lo reconstruir todo o seu cérebro. Isso permitiu treinar o modelo em um único computador padrão, em vez de um supercomputador massivo.

4. O Resultado: Maistros 8B

O resultado é o Maistros 8B, um novo modelo de IA que é:

• Aberto: Qualquer pessoa pode baixar e usá-lo gratuitamente.
• Especializado em Grego: Sabe muito mais sobre cultura, história e língua gregas do que os modelos padrão.
• Eficiente: Roda em hardware normal, ao contrário dos modelos gigantes.

Como Foi o Desempenho?

Os pesquisadores colocaram o Maistros 8B à prova contra outros nove modelos de IA (tanto gratuitos quanto pagos) usando nove quizzes diferentes em grego.

• Vencendo os Locais: O Maistros 8B derrotou quase todos os outros modelos gratuitos. Foi o melhor em responder perguntas sobre finanças gregas e cultura geral.
• Perseguindo os Gigantes: Embora os modelos pagos massivos do "chef industrial" (como GPT-5 e Gemini) ainda fossem ligeiramente melhores no geral, o Maistros 8B ficou muito perto em muitas áreas. Na área específica de finanças gregas, foi quase tão bom quanto os modelos mais caros.
• Prova Estatística: Eles realizaram testes matemáticos para provar que o Maistros não estava apenas tendo sorte; suas melhorias eram reais e significativas.

O Que Eles Não Reivindicaram

É importante notar o que este artigo não disse:

• Eles não afirmaram que o Maistros é perfeito; os modelos pagos ainda são ligeiramente melhores.
• Eles não afirmaram que isso funciona para todas as línguas do mundo, apenas para o grego.
• Eles não afirmaram que este modelo está pronto para diagnóstico médico ou aconselhamento jurídico (embora tenham testado perguntas médicas e jurídicas, não afirmaram que é seguro para uso profissional no mundo real).

A Conclusão

O artigo mostra que você não precisa de um supercomputador para construir uma IA grega inteligente. Ao criar um conjunto de dados de alta qualidade, verificado por humanos, e usar truques de treinamento inteligentes, você pode transformar uma IA padrão em um especialista grego que roda em computadores comuns. Eles compartilharam seu "livro de receitas" (o conjunto de dados), suas "ferramentas" (o código) e o "chef" (o modelo) com o mundo, para que outros possam aprender com eles.

Resumo técnico

Resumo Técnico: Maistros – Um Modelo de Linguagem de Grande Escala Grego Adaptado Através de Destilação de Conhecimento

Declaração do Problema
Apesar do avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) e do surgimento de Modelos de Raciocínio de Grande Escala (LRMs) capazes de raciocínio complexo em múltiplos passos, disparidades significativas permanecem no desempenho entre idiomas de recursos abundantes e idiomas com recursos limitados. O grego moderno, caracterizado por seu alfabeto distinto, morfologia rica e variabilidade sintática, permanece um idioma com recursos limitados no cenário de Processamento de Linguagem Natural (NLP). Modelos existentes com capacidade para grego frequentemente dependem de dados de treinamento limitados, resultando em desempenho subótimo em tarefas de Resposta a Perguntas (QA), particularmente aquelas que exigem conhecimento cultural ou específico de domínio. Além disso, embora os LRMs recentes melhorem a precisão através de traços de raciocínio explícitos, suas contagens massivas de parâmetros (centenas de bilhões) e alta latência de inferência os tornam impraticáveis para implantação em ambientes de computação convencionais. Existe uma lacuna crítica na disponibilidade de conjuntos de dados de QA gregos de alta qualidade, curados por humanos e adequados para treinamento, pois a maioria dos recursos existentes é projetada exclusivamente para avaliação.

Metodologia
Para abordar esses desafios, os autores propõem um pipeline centrado na destilação de conhecimento de um LRM poderoso para um modelo compacto de pesos abertos, apoiado por um conjunto de dados recém-curado.

1. Criação do Conjunto de Dados (CulturaQA): Os autores introduziram o CulturaQA, um conjunto de dados sintético e curado por humanos composto por 2.700 pares de perguntas e respostas em grego. O processo de geração envolveu:

   • Seleção de 180 frases-chave gregas em 11 domínios culturais (por exemplo, história, política, economia, mitologia).
   • Geração de 15 perguntas por frase-chave usando o GPT-5, seguida pela resposta do modelo às suas próprias perguntas.
   • Curadoria rigorosa com intervenção humana (human-in-the-loop) para corrigir erros linguísticos (gramática, ortografia, questões de politonismo), remover alucinações, corrigir imprecisões factuais e eliminar artefatos não gregos.
   • Divisão estratificada em conjuntos de treinamento (2.000), validação (200) e teste (500).

2. Desenvolvimento do Modelo (Maistros 8B):

   • Modelo Base: Os autores selecionaram o Ministral 3 8B, um LLM de pesos abertos de propósito geral, como fundação.
   • Estratégia de Ajuste Fino: Eles empregaram Ajuste Fino Supervisionado (SFT) usando Adaptação de Baixo RANK (LoRA) para destilar conhecimento do CulturaQA no modelo base.
   • Configuração Técnica: O treinamento utilizou quantização de 4 bits (NF4) e otimizador AdamW de 8 bits para reduzir a pegada de memória. A configuração LoRA incluiu um rank de 16 e um alfa de 32 (fator de escala 2,0). O modelo foi treinado por 4 épocas com uma taxa de aprendizado de 2e-5, um tamanho de lote de 2 (acumulado para 16) e um comprimento máximo de sequência de 3.269 tokens.
   • Função de Perda: Seguindo as melhores práticas, o cálculo da perda foi mascarado para prompts de usuário/sistema, focando a otimização exclusivamente nos tokens de resposta gerados pelo assistente para impedir que o modelo aprendesse a prever o prompt.

3. Estrutura de Avaliação:

   • Foi desenvolvida uma estrutura eficiente em memória para avaliar nove LLMs (incluindo modelos proprietários como Gemini 3 Flash e GPT-5 Mini, e modelos de pesos abertos como Krikri 8B e Plutus 8B) em nove conjuntos de dados de QA gregos.
   • Métricas: Tarefas de múltipla escolha foram avaliadas usando precisão (via análise baseada em regras), enquanto a tarefa de resposta aberta CulturaQA utilizou BERTScore F1.
   • Análise Estatística: A significância foi avaliada usando o teste exato de McNemar para precisão binária e testes de postos assinados de Wilcoxon para BERTScore contínuo, suplementados por reamostragem bootstrap para intervalos de confiança de 95%.

Principais Contribuições
O artigo faz quatro contribuições primárias:

1. CulturaQA: Um conjunto de dados grego de alta qualidade, curado por humanos, projetado especificamente para treinamento e avaliação de LLMs, cobrindo tópicos culturais diversos e específicos de domínio.
2. Maistros 8B: Um LLM grego de pesos abertos de última geração desenvolvido via destilação de conhecimento e ajuste fino no CulturaQA, otimizado para implantação local em hardware comercial.
3. Estrutura de Avaliação: Uma estrutura eficiente em memória e adaptável para avaliar LLMs em diversas tarefas de QA gregas usando métricas padrão.
4. Benchmarks Abrangentes: Uma avaliação rigorosa de nove LLMs em nove conjuntos de dados curados por humanos, fornecendo uma análise comparativa de modelos de pesos abertos versus proprietários no contexto grego.

Resultados
A avaliação empírica em nove conjuntos de dados produziu as seguintes descobertas:

• Proprietários vs. Pesos Abertos: Modelos proprietários (Gemini 3 Flash e GPT-5 Mini) consistentemente superaram todos os modelos de pesos abertos na maioria dos benchmarks.
• Desempenho do Maistros 8B: O Maistros 8B alcançou desempenho de última geração entre modelos de pesos abertos na maioria dos conjuntos de dados, demonstrando melhorias significativas sobre seu modelo base (Ministral 3 8B).
  • Alcançou melhorias estatisticamente significativas sobre o modelo base em 5 dos 9 conjuntos de dados (por exemplo, Plutus QA, Greek ASEP MCQA, Greek MMLU).
  • No domínio específico Plutus QA (economia grega), o Maistros 8B superou todos os outros modelos de pesos abertos e reduziu a lacuna com o GPT-5 Mini para uma diferença de 3,56%.
  • No conjunto de teste CulturaQA, o Maistros 8B igualou o desempenho dos modelos proprietários de perto, enquanto superou significativamente outras alternativas de pesos abertos.
• Limitações: O Maistros 8B não mostrou melhorias estatisticamente significativas sobre o modelo base em Demos QA e Greek Truthful QA, e permaneceu abaixo do desempenho dos modelos proprietários em todos os benchmarks.

Significância e Alegações
Os autores afirmam que este trabalho demonstra a viabilidade do uso de dados sintéticos de alta qualidade, gerados por LRM e curados por humanos, para treinar modelos robustos de pesos abertos para idiomas com recursos limitados. O estudo destaca que o ajuste fino direcionado em dados fundamentados culturalmente pode melhorar significativamente o desempenho do modelo em domínios específicos (como finanças) e na compreensão cultural geral.

No entanto, o artigo mantém uma postura modesta em relação à lacuna entre modelos abertos e proprietários. Os autores reconhecem que, embora o Maistros 8B represente um passo significativo para frente para o NLP grego de código aberto, ele ainda não iguala as capacidades de modelos proprietários como o Gemini 3 Flash. O trabalho serve como base para pesquisas futuras, sugerindo que a expansão adicional dos conjuntos de dados para incluir respostas de longo formato, conteúdo diverso e dialetos regionais é necessária para capturar totalmente a complexidade do grego moderno. Os autores enfatizam que seu lançamento de código, modelo e dados visa apoiar a reprodutibilidade e o desenvolvimento de modelos de linguagem linguisticamente precisos e fundamentados culturalmente para o grego.