TildeOpen LLM: Leveraging Curriculum Learning to Achieve Equitable Language Representation

O artigo apresenta o TildeOpen LLM, um modelo de linguagem aberto de 30 bilhões de parâmetros treinado com aprendizado curricular e técnicas de reamostragem para promover a equidade linguística e superar modelos existentes em 34 línguas europeias, especialmente nas línguas bálticas, fino-úgricas e eslavas, sem exigir aumento no tamanho do modelo ou no volume de treinamento.

O essencial

Imagine que o mundo das Inteligências Artificiais (IA) é como uma grande escola de idiomas. Até agora, a maioria dos alunos (os modelos de IA) só aprendia muito bem inglês e algumas línguas ricas, como alemão ou francês. As línguas do Leste e do Norte da Europa, como o letão, o lituano ou o estoniano, eram como alunos que tinham que estudar com livros velhos, rasgados e em pouca quantidade. O resultado? A IA falava inglês perfeitamente, mas "gaguejava" ou inventava coisas quando tentava falar essas outras línguas.

O artigo que você enviou apresenta o TildeOpen LLM, um novo "aluno" criado por uma equipe da Letônia que decidiu mudar essa história. Eles criaram um modelo de IA de 30 bilhões de "cérebros" (parâmetros) que foi treinado especificamente para ser justo com 34 línguas europeias.

Aqui está como eles fizeram isso, explicado com analogias simples:

1. O Problema: A Festa Desigual

Imagine que você está organizando uma festa de aniversário para 34 amigos.

• O jeito antigo: Você compra 100 bolos para o amigo que fala inglês e apenas 1 fatia minúscula para cada um dos outros 33. O resultado? O inglês está feliz e cheio de energia, mas os outros estão com fome e não conseguem participar da brincadeira.
• O problema real: Na internet, há trilhões de palavras em inglês, mas muito poucas em letão ou estoniano. Se você treina uma IA apenas com o que está na internet, ela vai aprender inglês demais e as outras línguas de menos.

2. A Solução: O "Menu Curricular" Inteligente

A equipe do TildeOpen não apenas tentou dar mais comida (dados) para os amigos com fome. Eles mudaram a forma como a festa foi organizada. Eles usaram uma técnica chamada Aprendizado de Currículo.

Pense nisso como um plano de estudos de três etapas para a IA:

• Fase 1 (O Início - A Mesa Redonda): No começo do treinamento, a IA come de tudo, mas em quantidades iguais. É como se todos os 34 amigos tivessem exatamente o mesmo tamanho de prato. Isso garante que a IA aprenda as regras básicas de todas as línguas sem favorecer o inglês.
• Fase 2 (O Meio - O Buffet Livre): No meio do treinamento, a IA pode comer à vontade. Aqui, ela consome a quantidade natural de dados que existe na internet (muito inglês, menos letão). Isso ajuda a IA a entender o mundo real e a ter mais vocabulário geral.
• Fase 3 (O Final - A Volta à Igualdade): No final, eles voltam a servir pratos iguais para todos novamente. Isso "fixa" o aprendizado, garantindo que a IA não esqueça as línguas menores e continue falando todas elas com a mesma qualidade.

3. A Ferramenta Mágica: O Tradutor de Palavras (Tokenizador)

Existe um problema técnico: as IAs não leem palavras, elas leem "pedaços" de palavras (chamados tokens).

• O problema: Para uma IA, escrever "Olá" em inglês pode ser 1 pedaço, mas em letão pode ser 3 pedaços. Isso faz a IA gastar mais "energia" e "memória" para processar o letão, tornando-a mais lenta e cara.
• A solução do Tilde: Eles criaram um tradutor especial (um tokenizer) que foi treinado para garantir que a mesma frase em letão, estoniano ou inglês tenha o mesmo número de "pedaços". É como se eles tivessem inventado um sistema de pesos onde 1 maçã (inglês) pesa exatamente o mesmo que 1 laranja (letão) na balança da IA.

4. A Limpeza: Tirando o "Ruído" da Internet

A internet está cheia de lixo: spam, textos mal traduzidos e, infelizmente, muita propaganda russa de estado que tenta manipular a opinião pública.

• A analogia: Imagine que você vai cozinhar um prato para a festa. Se você pegar ingredientes de um mercado sujo, o prato vai ter gosto ruim.
• A ação: A equipe fez uma limpeza rigorosa. Eles removeram sites de spam e, especificamente para o russo, filtraram conteúdos que espalham propaganda de guerra ou ódio. Eles não queriam que a IA aprendesse a mentir ou a ser preconceituosa baseada em dados manipulados.

5. O Resultado: Um Campeão Surpreendente

O mais impressionante é que eles fizeram tudo isso usando menos recursos do que os gigantes da tecnologia.

• Enquanto outros modelos treinaram com 4 a 6 trilhões de "pedaços" de texto, o TildeOpen treinou com apenas 2 trilhões.
• O resultado: Em testes, o TildeOpen superou modelos muito maiores e famosos (como o EuroLLM e o Gemma 2) na qualidade do texto.
• A prova de fogo: Quando humanos leram textos gerados pela IA, descobriram que o TildeOpen cometia 10 vezes menos erros do que os concorrentes nas línguas menores (como letão e estoniano).

Resumo Final

O TildeOpen LLM é como um novo herói da tecnologia europeia. Ele prova que você não precisa ser o maior ou ter o maior orçamento para ser o melhor. Com um planejamento inteligente (o currículo), uma ferramenta justa (o tradutor de palavras) e uma boa limpeza (filtragem de dados), é possível criar uma IA que respeita e fala bem todas as línguas da Europa, não apenas as mais populares.

Isso é importante porque garante que a tecnologia do futuro não deixe ninguém para trás, permitindo que milhões de europeus usem IAs que realmente entendem a sua cultura e a sua língua.

Resumo técnico

Resumo Técnico: TildeOpen LLM

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) atuais sofrem de um desequilíbrio significativo em relação aos idiomas europeus. A maioria dos dados de treinamento é dominada pelo inglês e por um pequeno grupo de idiomas de alto recurso (como alemão, francês e espanhol). Isso resulta em:

• Desempenho desigual: Modelos performam muito melhor em idiomas do oeste da Europa (famílias germânica e românica) do que em idiomas da Europa Central e Oriental (famílias balto-eslava e fino-úgrica).
• Degradação da diversidade: À medida que os modelos escalam, a proporção relativa de dados não ingleses diminui, ameaçando a diversidade linguística e cultural.
• Erros linguísticos: Mesmo em modelos de ponta, a geração de texto livre em idiomas de baixo recurso apresenta taxas de erro significativas (aproximadamente 1 erro a cada 6 palavras em alguns casos).
• Limitações das soluções atuais: Iniciativas anteriores (como EuroLLM) tentaram mitigar o problema reduzindo a participação do inglês, mas não conseguiram reequilibrar adequadamente a representação dos idiomas menores, mantendo-os sub-representados.

2. Metodologia

A equipe da Tilde (Letônia) desenvolveu o TildeOpen LLM, um modelo fundacional de 30 bilhões de parâmetros treinado para 34 idiomas europeus. A abordagem técnica foca em curadoria de dados e estratégias de treinamento inovadoras:

• Tokenização Equitativa:

  • Foi desenvolvido um tokenizador personalizado (baseado em SentencePiece e BPE) com vocabulário de 131.072 tokens.
  • Objetivo: Garantir que o mesmo conteúdo traduzido resulte em um número semelhante de tokens em todos os idiomas de foco (ex: letão, lituano, estoniano), evitando a ineficiência comum onde idiomas de baixo recurso exigem muitos mais tokens.
  • O treinamento do tokenizador utilizou 4,38 bilhões de bytes, com ajustes iterativos nas proporções de dados para atingir a equidade.

• Estratégia de Dados e Filtragem:

  • Fontes: Dados provenientes de MADLAD-400, HPLT, Cultura-X, FineWeb, Common Pile, The Stack (código) e dados paralelos (OPUS).
  • Filtragem Rigorosa:
    • Remoção de fontes de baixa qualidade, spam e conteúdo PII (Informação Pessoalmente Identificável).
    • Filtro de Propaganda Russa: Uma etapa crítica envolveu a exclusão de dados russos que contivessem propaganda estatal, desinformação geopolítica ou conteúdo anti-ocidental/anti-Ucrânia. Isso foi feito através de listas negras de domínios e filtragem baseada em tópicos (usando LDA) para remover clusters relacionados a guerra, história política e questões LGBT (devido à legislação russa que distorce a realidade nesses tópicos).
  • Upsampling: Dados de idiomas de baixo recurso foram upsampled (amostrados repetidamente) até 2,5 vezes para mitigar o desequilíbrio inicial.

• Aprendizado de Currículo (Curriculum Learning):

  • Para resolver o desequilíbrio residual após o upsampling, foi adotada uma estratégia de treinamento em três fases:
    1. Fase Inicial (7,5%): Distribuição uniforme de idiomas (exposição equilibrada).
    2. Fase Intermediária (67,5%): Distribuição natural dos dados (aproveitando a abundância de recursos dos idiomas grandes).
    3. Fase Final (25%): Retorno à distribuição uniforme para consolidar o aprendizado equilibrado.
  • Recursos Computacionais: Treinado com apenas 2 trilhões de tokens (2x a 4,5x menos que modelos de tamanho similar), utilizando 768 GPUs AMD MI250x no supercomputador LUMI.

• Arquitetura:

  • Baseada no Llama 3 (decoder-only), com 60 camadas, dimensão de modelo de 6144, Group Query Attention (GQA) e RoPE.

3. Contribuições Principais

1. Modelo Open-Weight Equitativo: Disponibilização de um modelo de 30B parâmetros totalmente aberto, focado especificamente na equidade linguística para 34 idiomas europeus, incluindo muitos de baixo recurso (bálticos, eslavos, fino-úgricos).
2. Método de Treinamento Híbrido: Demonstração de que a combinação de upsampling de dados com um currículo de aprendizado (alternando entre distribuição uniforme e natural) supera a simples redução da proporção de inglês.
3. Tokenização Otimizada: Uma abordagem para equalizar a eficiência de tokenização entre idiomas, reduzindo custos de inferência e melhorando a qualidade do treinamento para idiomas menores.
4. Filtragem Ética de Dados: Implementação de filtros específicos para remover propaganda estatal russa, abordando um problema de segurança e qualidade de dados frequentemente ignorado em modelos multilíngues.

4. Resultados

• Desempenho Intrínseco (Perplexidade): O TildeOpen superou consistentemente modelos de referência (EuroLLM, ALIA, Gemma 2) em perplexidade por caractere em todas as famílias linguísticas, com ganhos notáveis de +13,8% em idiomas Bálticos e +11,2% em Românicos e Fino-Ugricos.
• Benchmarks de Compreensão e Geração:
  • MultiBLiMP: Melhor desempenho em 20 de 23 idiomas avaliados.
  • Belebele: Superior na compreensão de leitura contextual.
  • Conhecimento Paramétrico: Desempenho comparável a modelos treinados com muito mais dados (4-6 trilhões de tokens) em tarefas como ARC e MMLU, sugerindo que a qualidade do treinamento supera a quantidade bruta de dados.
• Análise de Erros Linguísticos:
  • Em uma avaliação humana para Letão e Estoniano, o TildeOpen cometeu até 10 vezes menos erros por 100 palavras em comparação com o Gemma 2 e cerca de 3 vezes menos que o EuroLLM.
• Tradução (Fine-tuning): Após o ajuste para instruções de tradução, o modelo superou o EuroLLM em todas as direções de tradução avaliadas, aproximando-se do desempenho do GPT-4.1 em várias direções, apesar de ter apenas 30B parâmetros (vs. ~60x mais parâmetros no GPT-4).

5. Significado e Conclusão

O trabalho demonstra que não é necessário aumentar o tamanho do modelo ou o volume de treinamento para melhorar a qualidade dos LLMs em idiomas de baixo recurso. Em vez disso, uma curadoria de dados cuidadosa e estratégias de treinamento balanceadas (como o aprendizado de currículo) são suficientes para alcançar a equidade linguística.

O TildeOpen LLM representa um avanço crucial para a soberania de IA na Europa, oferecendo uma alternativa viável e de alta qualidade para idiomas que foram negligenciados pelos grandes modelos comerciais, ao mesmo tempo que aborda questões éticas críticas relacionadas à desinformação e propaganda em dados de treinamento. O modelo e seus recursos estão disponíveis publicamente no Hugging Face.