GRDD+: An Extended Greek Dialectal Dataset with Cross-Architecture Fine-tuning Evaluation

1. Problema e Contexto

O grego moderno apresenta uma rica variação dialetal geográfica, mas os recursos computacionais para essas variedades são extremamente limitados. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham avançado rapidamente, eles frequentemente falham ao lidar com variações dialetais em idiomas de recursos escassos, apresentando desempenho inferior em tarefas como identificação de dialeto e etiquetagem de classes gramaticais (POS) em comparação com modelos ajustados (fine-tuned). A falta de dados de alta qualidade e diversificados impede o desenvolvimento de ferramentas de Processamento de Linguagem Natural (PLN) robustas para as variedades regionais do grego.

2. Contribuições Principais (Dataset GRDD+)

O artigo apresenta o GRDD+, uma extensão significativa do corpus existente (GRDD), que se destaca como o primeiro dataset de tal escala e variação para dialetos gregos.

• Escala e Variedade: O dataset totaliza 6.374.939 palavras e abrange 10 variedades linguísticas.
• Expansão: Mantém as quatro variedades originais (Cretense, Cipriota, Pôntico e Grego do Norte) e adiciona seis novas variedades:
  1. Greco-Corsican (extinta, falada na Córsega).
  2. Griko (grego do sul da Itália).
  3. Maniot (Laconia).
  4. Heptanesian (Ilhas Jônicas).
  5. Tsakonian (dialeto altamente divergente, descendente do dórico antigo).
  6. Katharevusa (variante "purista" histórica usada até 1976).
• Subcorpus Especializado: Inclui o CretDeiAdv, focado em advérbios deícticos do grego cretense.
• Metodologia de Coleta: Dados coletados de fontes web (blogs, literatura, canções), livros digitalizados via OCR e corpora existentes, com pré-processamento rigoroso (remoção de metadados, URLs e duplicatas).

3. Metodologia

Os autores conduziram experimentos de fine-tuning (ajuste fino) para avaliar o impacto dos dados dialetais de alta qualidade em diferentes arquiteturas de modelos.

• Construção dos Dados de Treino:

  • Utilizaram textos brutos de quatro dialetos principais (Cretense, Pôntico, Norte e Cipriota).
  • Aplicaram uma abordagem de "janela deslizante" para criar pares de prompt-completion: blocos de texto foram divididos em prompts (primeira metade) e completamentos (segunda metade) para chunks maiores, ou usados como completamento total para chunks menores.
  • Instruções em grego foram adicionadas para especificar o dialeto alvo (ex: "Escreva no dialeto cretense:").
  • Total de 20.116 exemplos de treino distribuídos desigualmente (Cretense: 44,8%, Cipriota: 32,8%, Pôntico: 20,8%, Norte: 1,7%).

• Modelos Avaliados:

  • Modelos Base: Llama-3-8B, Llama-3.1-8B e Krikri-8B (um modelo especializado em grego baseado no Llama-3.1).
  • Método de Ajuste: Fine-tuning usando LoRA (Low-Rank Adaptation) para eficiência, ajustando apenas ~0,8% dos parâmetros.
  • Modelos de Referência (Frontier): Comparação com modelos proprietários de ponta: Claude-3.7-Sonnet, Gemini-2.5 e ChatGPT-5.

• Avaliação:

  • Geração de textos sob 7 tipos de prompts (contos, diálogos, escrita criativa).
  • Avaliação por falantes nativos em uma escala de 1 a 5 (de "totalmente não natural" a "absolutamente natural/nível nativo").
  • Métricas de confiabilidade inter-avaliadores incluíram o Alfa de Krippendorff e o ICC.

4. Resultados Chave

• Impacto do Fine-tuning: Todos os modelos ajustados mostraram melhorias drásticas em relação às versões base (aumento de 1,5 a 2 pontos na escala de 5). As versões base dos Llama (incluindo o Krikri) tinham conhecimento dialetal quase nulo.
• Desempenho dos Modelos:
  • Krikri-8B: Surpreendentemente, o modelo especializado em grego não foi o melhor. Ele performou bem apenas no Grego do Norte, ficando em terceiro lugar no Cretense e Cipriota, sugerindo que modelos multilíngues podem ser mais flexíveis para aprender novas variedades do que modelos pré-treinados especificamente em uma língua padrão.
  • Llama-3.1-8B (Ajustado): Destacou-se no dialeto Cipriota (3,51) e Pôntico (2,86), superando os modelos de ponta nesses casos específicos.
  • Claude-3.7-Sonnet: Consistentemente alto desempenho, liderando em Cretense (3,79) e Grego do Norte (3,86).
  • Gemini-2.5: Desempenho consistentemente medíocre a pobre em todos os dialetos.
• Relação Tamanho de Dados vs. Desempenho:
  • Houve uma correlação não linear. O Grego do Norte, com apenas 333 exemplos (1,7% dos dados), alcançou pontuações fortes (2,84–3,86), superando o Pôntico, que tinha 12 vezes mais dados (4.190 exemplos) e pontuações mais baixas.
  • Isso sugere que a distância linguística em relação ao Grego Moderno Padrão (SMG) e a qualidade dos dados podem ser fatores mais críticos do que apenas o volume bruto. O Grego do Norte e o Cretense são mais próximos do padrão, facilitando o aprendizado, enquanto o Pôntico e o Ciprioto são mais distantes.

5. Significado e Conclusão

O estudo demonstra que:

1. Dados Dialetais são Cruciais: Mesmo quantidades modestas de dados de alta qualidade permitem que modelos menores (8B parâmetros) superem modelos de ponta proprietários em tarefas específicas de dialetos.
2. Viabilidade de Recursos Escassos: É possível criar modelos eficazes para variedades linguísticas minoritárias ou ameaçadas (como Tsakonian e Greco-Corsican) sem necessidade de datasets massivos, desde que a qualidade seja alta.
3. Limitações e Futuro: O trabalho aponta para a necessidade de métricas automáticas de avaliação, o tratamento de questões sociolinguísticas (diglossia, code-switching) e a expansão para mais arquiteturas e variedades.

O GRDD+ estabelece uma base fundamental para o PLN grego, permitindo pesquisas não apenas em linguística computacional, mas também em dialetologia e documentação linguística, provando que a adaptação direcionada de modelos pode revitalizar o processamento de variedades linguísticas negligenciadas.