Tucano 2 Cool: Better Open Source LLMs for Portuguese

O artigo apresenta o Tucano 2, uma suíte de modelos de linguagem de código aberto de 0,5 a 3,7 bilhões de parâmetros otimizados para o português, que utiliza novos conjuntos de dados sintéticos e de pós-treinamento para alcançar desempenho de ponta em diversas tarefas e benchmarks, com todos os recursos totalmente liberados para a comunidade.

O essencial

🦜 O Tucano 2: A Revolução dos "Cérebros" de Português

Imagine que a Inteligência Artificial (IA) é como uma escola gigante onde os alunos (os modelos de linguagem) aprendem a falar e pensar. Por anos, a maioria dessas escolas ensinava em inglês, e os alunos que falavam português eram tratados como "turistas": recebiam apenas algumas frases soltas, sem entender a cultura, as piadas ou a profundidade da nossa língua.

O projeto Polyglot, liderado por pesquisadores da Universidade de Bonn (na Alemanha), decidiu mudar isso. Eles criaram o Tucano 2, uma nova família de "cérebros" de IA feitos do zero, especificamente para o português, e que são totalmente abertos (qualquer um pode ver como foram feitos, baixar e usar).

Aqui está como eles fizeram isso, passo a passo:

1. A Biblioteca Perfeita (Os Dados)

Para um aluno aprender bem, ele precisa de bons livros. Antes, os modelos de português liam apenas "lixo" da internet ou traduções ruins do inglês.

• A Analogia: Imagine que você quer aprender a cozinhar. O Tucano 2 não comeu apenas fast-food; ele teve acesso a uma biblioteca de 320 bilhões de "receitas" (textos) de alta qualidade.
• O Truque: Eles usaram um "chef" (uma IA mais inteligente) para ler esses textos e separar o que era útil (artigos educacionais, livros, notícias sérias) do que era lixo (spam, conteúdo ofensivo). Eles também criaram textos sintéticos (gerados por IA) para preencher buracos onde faltava informação, como se tivessem escrito novos capítulos para livros que estavam incompletos.

2. O Dicionário Eficiente (A Tokenização)

A maioria das IAs lê o português como se fosse inglês, quebrando palavras em pedaços pequenos e inúteis.

• A Analogia: É como tentar ler um livro onde cada sílaba é uma página separada. Você gasta muita energia virando páginas para ler uma só palavra.
• A Solução: O Tucano 2 tem um dicionário personalizado. Ele "enxerga" palavras inteiras de uma vez. Isso é como ter um leitor que lê frases inteiras em vez de sílabas. O resultado? O modelo é 30% mais rápido e barato de treinar e usar, porque não perde tempo processando "lixo" linguístico.

3. O Treinamento em Duas Etapas

Eles não apenas treinaram um modelo do zero; eles também foram inteligentes em como usaram o que já existia.

• Do Zero (O Tucano 0.6B): Eles criaram um modelo pequeno do zero, focado apenas em aprender a essência do português. Foi como criar um aluno que só estuda português, sem se distrair com outras línguas.
• O "Transplante" (Os modelos Qwen): Para os modelos maiores (1.5B e 3.7B), eles pegaram modelos gigantes que já sabiam de tudo (o Qwen, da Alibaba) e fizeram um "transplante de cérebro". Eles trocaram o dicionário do modelo gigante pelo dicionário eficiente do Tucano e deram a ele uma "turma de reforço" apenas em português.
• O Resultado: É como pegar um atleta olímpico que já sabe correr e ensinar a ele a técnica específica de natação. Ele se torna um campeão em natação muito mais rápido do que se tivesse começado do zero.

4. O "Gêmeo Pensador" (Instruct vs. Think)

O paper introduz dois tipos de modelos para diferentes tarefas:

• O "Instrutor" (Instruct): É o modelo que obedece bem aos comandos. Ele é ótimo para resumir textos, traduzir ou escrever e-mails.
• O "Pensador" (Think): Este é o mais legal. Quando o modelo precisa resolver um problema difícil de matemática ou lógica, ele não dá a resposta de cara. Ele abre uma "caixa de pensamento" (como um rascunho mental) onde ele escreve o passo a passo do raciocínio em português.
  • Por que isso importa? Antes, quando IAs pensavam em português, elas muitas vezes "pensavam" em inglês internamente e traduziam depois, o que gerava erros. O Tucano 2 aprendeu a raciocinar na nossa língua, como um humano faria.

5. A Transparência Total (Open Source)

A maior parte das IAs hoje são "caixas pretas". Você usa, mas não sabe como foram feitas.

• A Analogia: É como comprar um carro e não poder ver o motor.
• O Tucano 2: Eles abriram a porta do motor. Eles liberaram tudo: os dados que usaram, o código de treinamento, as receitas e até os logs de como a IA aprendeu. Isso permite que qualquer pessoa, em qualquer lugar, verifique se a IA é justa, melhore o modelo ou crie novas aplicações sem precisar de milhões de dólares.

🏆 Por que isso é importante?

O Tucano 2 prova que você não precisa ser uma gigante tecnológica com bilhões de dólares para criar uma IA de ponta para o seu idioma. Com dados bem curados, técnicas inteligentes e muita transparência, é possível criar modelos que entendem o português melhor do que os modelos gigantes que tentam falar todas as línguas ao mesmo tempo.

Em resumo: O Tucano 2 é o "cérebro" mais educado, eficiente e transparente que já foi feito para o português, e ele pertence a todos nós.

Resumo técnico

1. O Problema

O desenvolvimento de Modelos de Linguagem de Grande Escala (LLMs) para o português enfrenta desafios significativos em comparação com o inglês. Embora existam modelos multilíngues de ponta (como Qwen3 e Gemma 3), eles muitas vezes não otimizam especificamente para nuances do português ou exigem orçamentos computacionais massivos para atingir desempenho competitivo. Além disso, a maioria dos modelos de alto desempenho para português é de código fechado ou possui transparência limitada sobre dados, receitas de treinamento e avaliação, o que impede a reprodutibilidade e a inovação pela comunidade. Existe uma lacuna crítica em recursos totalmente abertos (dados, modelos, código) que permitam treinar modelos nativos de alta qualidade com orçamentos de computação limitados.

2. Metodologia

A equipe do projeto Polyglot desenvolveu o Tucano 2, uma suíte completa de LLMs abertos (0.5B a 3.7B parâmetros) utilizando uma abordagem de três estágios:

A. Curadoria de Dados (GigaVerbo-v2)

• Corpus Principal: Construção de um corpus limpo de ~320 bilhões de tokens (GigaVerbo-v2), derivado de Common Crawl e conjuntos de dados do Hugging Face.
• Filtragem de Qualidade: Uso de um "Juiz LLM" (Qwen2.5-32B) para anotar 700k documentos em qualidade educacional e toxicidade. Essas anotações foram destiladas em classificadores leves (BERTimbau, BERTabaporu) para filtrar o corpus em escala.
• Dados Sintéticos (GigaVerbo-v2 Synth): Geração de 9.3 bilhões de tokens sintéticos usando modelos Qwen2.5 para preencher lacunas em domínios como raciocínio, matemática e tutoriais, mitigando a escassez de dados web de alta qualidade.
• Tokenização: Treinamento de um tokenizador personalizado (SentencePiece, vocabulário de 49k tokens) otimizado para uma mistura de Português, Inglês e Código. Este tokenizador alcançou a maior eficiência de compressão (menor fertilidade de subpalavras) entre os modelos comparados, economizando ~30% de computação.

B. Treinamento e Adaptação

• Pré-treinamento (From-Scratch): Treinamento do modelo base Tucano2-0.6B com uma arquitetura baseada em Llama, utilizando uma receita de três estágios (Warmup, Estável, Decaimento) e uma mistura de dados que prioriza conteúdo educacional e raciocínio. Otimizador híbrido AdamW + Muon foi utilizado para estabilidade.
• Pré-treinamento Contínuo (Continual Pretraining): Adaptação de modelos base multilíngues de ponta (Qwen3) para o português.
  • Transplante de Tokenizador (OMP): Uso do algoritmo Orthogonal Matching Pursuit para transplantar o tokenizador português otimizado para os modelos Qwen3, reduzindo o vocabulário de 151k para 49k tokens sem retreinamento de pesos, economizando ~68% dos parâmetros de embedding.
  • Os modelos adaptados (0.5B, 1.5B, 3.7B) foram continuamente pré-treinados apenas com dados em português.

C. Pós-treinamento (Alignment)

• SFT (Supervised Fine-Tuning): Criação do GigaVerbo-v2 SFT (~4M exemplos) cobrindo 12 tipos de tarefas (código, raciocínio, ferramentas, etc.).
• Otimização de Preferência: Criação do GigaVerbo-v2 Preferences (~28k pares) para alinhamento de segurança e qualidade.
• Variações Específicas:
  • Instruct: Modelos otimizados para seguir instruções gerais.
  • Think: Modelos treinados exclusivamente em tarefas de raciocínio com cadeias de pensamento (Chain-of-Thought) em português, gerando traços de raciocínio explícitos.

D. Avaliação

Desenvolvimento de uma nova suíte de avaliação em português dividida em:

• Easy Set: Benchmarks que fornecem sinais confiáveis em estágios iniciais de treinamento (<200B tokens).
• Hard Set: Benchmarks que exigem grandes volumes de dados (>660B tokens) para mostrar melhoria (ex: ENEM, OAB, MMLU).
• Adaptação de benchmarks de pós-treinamento: IFEval-PT, GSM8K-PT, RULER-PT (contexto longo) e HumanEval.

3. Principais Contribuições

1. Recursos Abertos Completos: Liberação de todos os artefatos: modelos (Base, Instruct, Think), datasets (GigaVerbo-v2, Synth, SFT, Preferences), classificadores de qualidade, receitas de treinamento e código de avaliação.
2. Corpus de Alta Qualidade: GigaVerbo-v2 (320B tokens) com anotações de qualidade e toxicidade, complementado por dados sintéticos.
3. Eficiência Computacional: Demonstração de que o pré-treinamento contínuo com transplante de tokenizador permite que modelos menores (3.7B) superem modelos multilíngues muito maiores (7B+) em benchmarks específicos de português, com custo computacional marginal (<0.13% do pré-treinamento original).
4. Raciocínio Nativo em Português: Os modelos "Think" demonstram capacidade de raciocínio passo a passo inteiramente em português, uma habilidade frequentemente ausente em modelos nativos de baixo recurso.
5. Sustentabilidade: Análise detalhada do consumo de energia e pegada de carbono, mostrando que o desenvolvimento focado e eficiente pode ser realizado com custos ambientais significativamente menores que modelos de fronteira.

4. Resultados

• Desempenho Base: O Tucano2-0.6B-Base superou modelos multilíngues de tamanho similar (como Qwen2.5-0.5B e Curió-1.1B) no conjunto "Easy Set", apesar de ter visto muito menos tokens de pré-treinamento.
• Desempenho Contínuo: O Tucano2-qwen-3.7B-Base alcançou uma pontuação média normalizada (NPM) de 59.21, superando o Qwen3-4B (57.86) e o Qwen2.5-7B (57.97) em benchmarks de português, usando apenas uma fração mínima de computação adicional.
• Pós-treinamento:
  • O Tucano2-qwen-3.7B-Instruct obteve a melhor pontuação em "Conhecimento e Raciocínio" (56.22) entre modelos na faixa de 3-4B parâmetros, superando o Qwen3-4B e o Gemma-3-Gaia.
  • O Tucano2-qwen-3.7B-Think alcançou o topo em raciocínio (54.07) entre modelos de raciocínio, mantendo a coerência em português.
• Limitações: Os modelos ainda apresentam desempenho inferior em tarefas de seguimento estrito de instruções (IFEval) e codificação (HumanEval) em comparação com modelos multilíngues massivos, e têm limitações em contextos muito longos (RULER) devido à falta de dados de treinamento específicos para isso.

5. Significado

O trabalho Tucano 2 estabelece um novo padrão para o desenvolvimento de LLMs em línguas de baixo recurso. Ele prova que:

1. A qualidade dos dados e a curadoria específica da língua são mais importantes do que apenas a escala bruta de tokens para domínios linguísticos específicos.
2. A reprodutibilidade total (dados, código, modelos) é viável e essencial para o avanço da comunidade de NLP em português.
3. Estratégias de eficiência, como pré-treinamento contínuo com transplante de tokenizador, permitem que recursos limitados produzam modelos que superam bases multilíngues massivas em tarefas específicas, democratizando o acesso a IA de ponta para falantes de português.

Este trabalho serve como um "blueprint" reprodutível para a comunidade, incentivando o desenvolvimento de modelos nativos que não dependem exclusivamente de soluções proprietárias fechadas.