Instructing Large Language Models for Low-Resource Languages: A Systematic Study for Basque

Título: Instruindo Modelos de Linguagem Grandes para Línguas de Baixos Recursos: Um Estudo Sistemático para o Basco

1. Problema

Os Modelos de Linguagem Grandes (LLMs), especialmente os de código aberto, são predominantemente centrados no inglês, apresentando desempenho significativamente degradado em línguas de baixos recursos. O processo padrão de adaptação para essas línguas geralmente envolve um pipeline sequencial: pré-treinamento contínuo do modelo base na língua alvo, seguido por ajuste fino para instruções (instruction tuning). No entanto, para línguas como o Basco, faltam conjuntos de dados de instruções de alta qualidade e manuais. Além disso, não está claro se é necessário seguir estritamente o pipeline tradicional (base -> instruções) ou se é possível transferir capacidades de seguimento de instruções diretamente de modelos já instruídos em inglês, ou se o pré-treinamento contínuo em modelos instruídos é viável.

2. Metodologia

Os autores realizaram um estudo sistemático e abrangente para o Basco, explorando combinações de componentes que seriam realistas para cenários de baixos recursos (sem dados de instruções manuais nativos). O framework experimental consistiu em:

• Modelos Backbone (3 opções):
  1. BASE_EN: Modelo base Llama 3.1 (inglês).
  2. BASE_EU: Modelo base Llama 3.1 com pré-treinamento contínuo em corpora bascos (Latxa).
  3. INSTRUCT_EN: Modelo Llama 3.1 já ajustado para instruções em inglês.
• Dados de Treinamento (Combinações):
  • Corpus EU: Corpora de texto plano em Basco (4,3M documentos, ~3,5B tokens).
  • Instruções Sintéticas (EN): Instruções geradas sinteticamente pelo próprio modelo INSTRUCT_EN (1 milhão de amostras).
  • Instruções Sintéticas (EU): As instruções em inglês traduzidas para o Basco usando o modelo BASE_EU via few-shot prompting.
• Configurações Experimentais: Foram treinados 17 novos modelos de 8B parâmetros (além do baseline) cobrindo todas as combinações não redundantes dos componentes acima. Um modelo de 70B parâmetros também foi treinado com a configuração de melhor desempenho.
• Avaliação:
  • Benchmarks Estáticos: 27 benchmarks cobrindo compreensão de leitura, senso comum, proficiência linguística, conhecimento, matemática e raciocínio (em Basco, Inglês e Espanhol).
  • Avaliação Humana (Arena): Uma iniciativa de crowdsourcing com 1.680 participantes bascos gerando 12.890 anotações de preferência (estilo "Arena"), avaliando qualidade de conteúdo, qualidade linguística e qualidade global.
  • Segurança e Viés: Avaliação de taxas de violação e recusa falsa, além de viés social.

3. Contribuições Principais

1. Insights Metodológicos: Demonstração de que começar com um modelo já instruído em inglês (INSTRUCT_EN) e adaptá-lo para o Basco supera a abordagem tradicional de treinar um modelo base do zero para seguir instruções.
2. Importância do Corpus Alvo: Confirmação de que o uso de corpora na língua alvo (texto plano) é essencial; modelos sem exposição a texto basco puro sofreram degradação severa, independentemente de outras técnicas.
3. Instruções Bilingues: A combinação de instruções em inglês e basco (sintéticas) produziu os modelos mais robustos, superando o uso de apenas uma língua.
4. Recursos Abertos:
   • Lançamento de uma família de modelos instruídos para o Basco (8B e 70B parâmetros).
   • Publicação de grandes conjuntos de dados de instruções sintéticas em inglês e basco.
   • Lançamento do primeiro conjunto de dados de preferências humanas em Basco (prompts reais, respostas e anotações).

4. Resultados

• Desempenho Geral: O modelo de 70B parâmetros, baseado no INSTRUCT_EN e treinado com corpus basco e instruções bilingues, alcançou desempenho competitivo com modelos proprietários de ponta (GPT-4o e Claude 3.5 Sonnet) em benchmarks específicos de conhecimento local e proficiência linguística.
• Correlação Benchmark-Humano: Houve uma forte correlação (ρ > 0,80) entre os resultados dos benchmarks em Basco e as avaliações humanas na Arena, sugerindo que benchmarks automatizados podem ser bons proxies para avaliação humana em línguas de baixos recursos.
• Trade-off de Línguas: Observou-se um trade-off: a melhoria no Basco veio com uma leve regressão no desempenho em Inglês e Espanhol para modelos baseados em INSTRUCT_EN. Modelos baseados em BASE_EN mostraram maior flexibilidade multilíngue, mas com desempenho absoluto menor.
• Segurança: A segurança e o alinhamento do modelo base (INSTRUCT_EN) foram transferidos eficazmente para o Basco, mantendo baixas taxas de recusa falsa e violações.

5. Significado e Impacto

Este trabalho desafia o pipeline padrão de adaptação de LLMs para línguas de baixos recursos, provando que não é necessário pré-treinar separadamente um modelo base antes de instruí-lo, nem é necessário ter dados de instruções manuais nativos de alta qualidade. A estratégia de "instrução primeiro" (usar um backbone já instruído em inglês) combinada com dados sintéticos e corpus da língua alvo é mais eficiente e eficaz.

O estudo estabelece um novo paradigma para a comunidade de processamento de linguagem natural (PLN) em línguas minoritárias, fornecendo não apenas modelos de alta qualidade, mas também metodologias validadas e recursos de dados abertos que podem ser replicados para outras línguas com recursos limitados. A escala do modelo de 70B, competindo com fronteiras comerciais sem usar nenhuma instrução manual em Basco, é um marco significativo para a democratização da tecnologia de IA.