Tucano 2 Cool: Better Open Source LLMs for Portuguese

El artículo presenta Tucano 2, una suite de modelos de lenguaje grandes de código abierto con parámetros entre 0.5 y 3.7 mil millones, que utiliza nuevos conjuntos de datos mejorados y recetas de entrenamiento optimizadas para lograr un rendimiento de vanguardia en tareas de lenguaje portugués, liberando todos sus artefactos para fomentar la reproducibilidad y el avance en la comunidad de PLN de habla portuguesa.

Lo esencial

¡Hola! Imagina que el mundo de la Inteligencia Artificial es como un gran festival de idiomas. Hasta ahora, el idioma inglés tenía el escenario principal, con los mejores músicos, los instrumentos más caros y las canciones más famosas. Otros idiomas, como el portugués, a menudo tenían que conformarse con versiones de baja calidad o copias que no sonaban muy bien.

Este documento presenta Tucano 2, un proyecto creado por un equipo de investigadores alemanes (¡sí, en Alemania!) para cambiar esa historia y darle al portugués su propia orquesta de clase mundial.

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías divertidas:

1. ¿Qué es Tucano 2?

Piensa en Tucano 2 como una nueva familia de "cerebros digitales" diseñados específicamente para hablar, entender y pensar en portugués. No son solo modelos gigantes que intentan hablar de todo (como un políglota cansado), sino expertos que han sido entrenados desde cero para dominar su idioma nativo.

Tienen diferentes tamaños, desde uno muy pequeño y rápido (como un pájaro cantor ágil) hasta uno más grande y reflexivo (como un sabio con mucha experiencia).

2. El Problema: ¿Por qué necesitábamos esto?

Antes, si querías una IA que hablara bien portugués, tenías dos opciones:

• Opción A: Usar modelos de código cerrado (como cajas negras) donde nadie sabe cómo funcionan ni qué comieron para aprender.
• Opción B: Usar modelos multilingües que hablan 100 idiomas, pero que en portugués a veces suenan como si estuvieran hablando con la boca llena.

Además, la mayoría de estos modelos no compartían sus "recetas de cocina". Si alguien quería mejorarlos, no podía. Tucano 2 llega diciendo: "Aquí está la receta completa, los ingredientes y el chef, ¡hagan lo que quieran con ello!".

3. Los Ingredientes Secretos (Los Datos)

Para entrenar a estos cerebros, no basta con tirarles todo lo que hay en internet. Necesitas comida de calidad.

• GigaVerbo-v2 (La Despensa): Imagina que recolectaron 320 mil millones de palabras de internet, pero no cualquier internet. Filtraron la "basura" (texto mal escrito, repetitivo o tóxico) y guardaron solo lo bueno: libros, artículos científicos, leyes y conversaciones inteligentes.
• GigaVerbo-v2 Synth (El Chef de Cocina): A veces, en internet falta comida en ciertos platos (como matemáticas avanzadas o razonamiento lógico). Así que usaron otras IAs muy inteligentes para cocinar texto nuevo (datos sintéticos) que llenara esos huecos. Es como si un chef experto inventara recetas nuevas para que el estudiante aprenda cosas que no existen en los libros viejos.
• El Filtro de Calidad: Antes de dar de comer a la IA, pasaron todo por un "sommelier" (un experto en calidad) que revisó si el texto era educativo o si era tóxico. ¡Nada de veneno en la dieta de la IA!

4. La Técnica Especial: El "Trasplante de Vocabulario"

Aquí viene la parte más ingeniosa. Los investigadores tomaron modelos gigantes que ya existían (llamados Qwen3, que son como supercomputadoras multilingües) y les hicieron una cirugía.

• El problema: Estos modelos gigantes tenían un diccionario enorme (151.000 palabras) para hablar muchos idiomas, pero para el portugués era como usar un martillo para clavar un tornillo pequeño: ineficiente y lento.
• La solución: Les hicieron un trasplante de vocabulario. Les quitaron el diccionario gigante y les pusieron uno optimizado solo para portugués (49.000 palabras).
• El resultado: La IA sigue siendo súper inteligente (porque aprendió de la gran computadora original), pero ahora habla portugués de forma mucho más rápida, eficiente y barata. Es como tomar un motor de Ferrari y ponerle neumáticos de carreras específicos para una pista de tierra: ¡vuela!

5. Dos Tipos de "Personalidades"

El equipo creó dos versiones de cada modelo para diferentes necesidades:

• Versión "Instruct" (El Ejecutor Rápido): Es como un asistente personal eficiente. Te responde preguntas, escribe código, resume textos y sigue instrucciones al pie de la letra. Es rápido y directo.
• Versión "Think" (El Filósofo Lento): Esta es la joya de la corona. Antes, cuando las IAs "pensaban" en voz alta (razonamiento paso a paso), a menudo cambiaban al inglés. Tucano 2 "Think" piensa en portugués. Es como tener a un matemático que no solo te da la respuesta, sino que te explica su proceso de pensamiento en tu idioma, paso a paso, sin saltarse nada.

6. ¿Por qué es importante esto para el mundo?

• Transparencia Total: Todo está abierto. Si quieres ver cómo se entrenó, qué datos se usaron o cómo se evaluó, ¡está todo ahí! Es como si un restaurante te diera la receta, los ingredientes y el video de cómo se cocinó el plato.
• Eficiencia: Lograron resultados increíbles usando mucha menos energía y dinero que los gigantes tecnológicos. Es como demostrar que puedes hacer un coche de carreras rápido y potente sin necesitar un presupuesto de película de Hollywood.
• Comunidad: Ahora, cualquier persona en Brasil, Portugal o cualquier lugar donde se hable portugués puede usar, mejorar y crear con estas herramientas sin tener que pagar licencias costosas.

En resumen

Tucano 2 es como dar al idioma portugués un superpoder. Ya no tiene que conformarse con versiones de segunda mano de la inteligencia artificial. Ahora tiene sus propios modelos, entrenados con datos limpios, optimizados para ser rápidos y capaces de razonar profundamente en su propio idioma, todo ello bajo un lema de "libertad y apertura" para que toda la comunidad pueda construir sobre ello.

¡Es un gran paso para que la inteligencia artificial sea realmente para todos, no solo para los que hablan inglés! 🇧🇷🇵🇹🤖

Resumen técnico

Resumen Técnico Detallado: Tucano 2 – Modelos de Lenguaje Abiertos para Portugués

1. Problema y Contexto

El desarrollo de Grandes Modelos de Lenguaje (LLMs) ha sido desigual, favoreciendo desproporcionadamente a idiomas de alto recurso como el inglés. Los modelos multilingües existentes a menudo presentan brechas de rendimiento significativas en idiomas de recursos limitados como el portugués. Además, muchos de los modelos más avanzados disponibles son de código cerrado o carecen de transparencia total (datos, recetas de entrenamiento y evaluaciones), lo que limita la investigación reproducible y la creación de aplicaciones específicas para la comunidad lusófona.

El trabajo anterior de los autores (Tucano 1) demostró que los modelos monolingües podían competir con los multilingües, pero el panorama ha evolucionado rápidamente con el surgimiento de modelos multilingües de última generación (como Qwen3 y Gemma 3) que requieren estrategias más sofisticadas para igualar su rendimiento sin incurrir en costos computacionales prohibitivos.

2. Metodología

El proyecto Tucano 2 aborda estas limitaciones mediante un enfoque integral que abarca la curación de datos, el entrenamiento desde cero, la adaptación continua y la alineación post-entrenamiento.

A. Curación de Datos (GigaVerbo-v2)

• Corpus Principal: Se construyó GigaVerbo-v2, un corpus de aproximadamente 320 mil millones de tokens (372 millones de documentos).
• Filtrado Avanzado: Se utilizó una tubería inspirada en FineWeb 2, combinando filtros heurísticos con clasificadores aprendidos. Se empleó Qwen2.5-32B como "juez" (LLM-as-a-Judge) para anotar calidad educativa y toxicidad en una muestra de 700k documentos. Estas anotaciones se destilaron en modelos ligeros (BERTimbau, BERTabaporu) para filtrar el corpus completo.
• Datos Sintéticos (GigaVerbo-v2 Synth): Para llenar vacíos en dominios específicos (razonamiento, matemáticas, código), se generaron 9.3 mil millones de tokens sintéticos utilizando modelos de la familia Qwen2.5, filtrados rigurosamente para evitar contaminación de benchmarks.
• Tokenización: Se entrenó un tokenizador personalizado (SentencePiece, vocabulario de 49,152 tokens) optimizado para una mezcla de portugués, inglés y código. Este tokenizador logra una fertilidad de subpalabras de 1.51 (la más baja comparada con Qwen3, Llama-3.2, etc.), resultando en un ahorro de cómputo del ~30% durante el entrenamiento.

B. Entrenamiento y Estrategias

El proyecto se divide en dos enfoques principales:

1. Entrenamiento desde Cero (Pretraining):

   • Se entrenó Tucano2-0.6B-Base (670M parámetros) desde cero.
   • Receta: Se utilizó un plan de entrenamiento de tres etapas (Warmup+Stable, Stable, Decay) con una mezcla de datos que prioriza contenido educativo en portugués y datos sintéticos de razonamiento.
   • Optimizador: Se adoptó una estrategia híbrida AdamW + Muon, demostrando mayor estabilidad en los gradientes que AdamW solo.

2. Entrenamiento Continuo (Continual Pretraining):

   • Para superar las limitaciones de presupuesto computacional en modelos más grandes, se adaptaron modelos base multilingües de Qwen3 (0.6B, 1.7B, 4B) al portugués.
   • Transplante de Tokenizador (OMP): Se utilizó el algoritmo Orthogonal Matching Pursuit para reemplazar el vocabulario de 151k tokens de Qwen3 por el tokenizador optimizado de Tucano (49k tokens) sin reentrenar los pesos, reduciendo los parámetros de incrustación en un ~68%.
   • Adaptación: Se realizó un entrenamiento continuo exclusivamente con datos en portugués (GigaVerbo-v2 + Synth) en un rango de 50 a 100 mil millones de tokens adicionales.

C. Alineación Post-Entrenamiento

• SFT (Fine-Tuning Supervisado): Se creó GigaVerbo-v2 SFT con ~4.1M ejemplos cubriendo 12 tipos de tareas (código, razonamiento, herramientas, etc.).
• Preferencias: Se construyó GigaVerbo-v2 Preferences (~28k pares) para optimización de alineación (APO), separando datos de "Harmless" y "Harmful".
• Variantes: Se entrenaron dos familias de modelos:
  • Instruct: Enfocadas en seguir instrucciones generales.
  • Think: Enfocadas exclusivamente en razonamiento con cadenas de pensamiento (Chain-of-Thought) en portugués, un área donde los modelos existentes a menudo fallan o cambian al inglés.

D. Marco de Evaluación

Se desarrolló un nuevo harness de evaluación para portugués, dividido en:

• Easy Set: Benchmarks que proporcionan señales fiables en etapas tempranas de entrenamiento (<200B tokens).
• Hard Set: Benchmarks que requieren grandes volúmenes de datos (>660B tokens) para mostrar mejoras significativas.
• Se adaptaron benchmarks específicos como IFEval-PT (seguimiento de instrucciones), GSM8K-PT (matemáticas), RULER-PT (contexto largo) y HumanEval (código).

3. Contribuciones Clave

1. Corpus GigaVerbo-v2: El corpus portugués de código abierto más grande y de mayor calidad hasta la fecha (~320B tokens), con anotaciones de calidad educativa y toxicidad.
2. Familia de Modelos Tucano 2: Modelos de 0.5B a 3.7B parámetros (Base, Instruct, Think) que superan a modelos multilingües de tamaño similar y compiten con modelos más grandes.
3. Dataset Sintético y de Preferencias: Recursos abiertos para entrenamiento de razonamiento y alineación en portugués.
4. Tecnología de Transplante de Tokenizador: Una implementación exitosa de OMP para adaptar modelos Qwen3 eficientemente al portugués.
5. Reproducibilidad Total: Liberación de todos los datos, modelos, recetas de entrenamiento, logs y código bajo licencias permisivas.

4. Resultados

• Rendimiento Base:
  • Tucano2-0.6B-Base supera significativamente a modelos multilingües de tamaño similar (Qwen3-0.6B, Curió-1.1B) en el Easy Set, logrando un puntaje NPM de 40.28 frente a 26.41 de Qwen3-0.6B.
  • Tucano2-qwen-3.7B-Base (tras entrenamiento continuo) alcanza un puntaje NPM agregado de 59.21, superando a Qwen3-4B-Base (57.86) y a Qwen2.5-7B (57.97), a pesar de tener menos de la mitad de los parámetros y un costo de entrenamiento continuo insignificante (<0.13% del cómputo original).
• Rendimiento Post-Entrenamiento:
  • Tucano2-qwen-3.7B-Instruct obtiene el puntaje más alto en "Conocimiento y Razonamiento" (56.22) entre todos los modelos de 3-4B, superando a Qwen3-4B y Gemma-3-Gaia-PT-BR-4b-it.
  • Tucano2-qwen-3.7B-Think demuestra capacidad de razonamiento con cadenas de pensamiento (CoT) completamente en portugués, superando a modelos de razonamiento competidores en benchmarks de conocimiento, aunque con un contexto limitado de 4k tokens.
• Eficiencia: El enfoque de entrenamiento continuo con transplante de tokenizador es extremadamente eficiente en energía, logrando mejoras de estado del arte con una fracción del costo computacional de un entrenamiento desde cero.

5. Significancia e Impacto

• Cierre de la Brecha Lingüística: Tucano 2 demuestra que es posible desarrollar modelos de lenguaje de alta calidad para idiomas de recursos limitados mediante curación de datos rigurosa y estrategias de adaptación eficientes, sin depender exclusivamente de presupuestos de entrenamiento masivos.
• Reproducibilidad y Comunidad: Al liberar todo el stack (datos, modelos, código), el proyecto empodera a la comunidad de NLP en portugués para construir sobre estos cimientos, fomentando la innovación local y reduciendo la dependencia de soluciones propietarias.
• Sostenibilidad: El proyecto pone un énfasis notable en el análisis de consumo energético y material, demostrando que el desarrollo de modelos especializados puede ser ambientalmente más viable que el entrenamiento de modelos masivos desde cero.
• Avance en Razonamiento: La creación de modelos "Think" que razonan nativamente en portugués aborda una laguna crítica en los modelos actuales, que a menudo recurren al inglés para tareas complejas de razonamiento.

En resumen, Tucano 2 establece un nuevo estándar para el desarrollo de LLMs abiertos y reproducibles en portugués, proporcionando una hoja de ruta técnica y recursos prácticos para la comunidad científica y desarrolladora.