Tucano 2 Cool: Better Open Source LLMs for Portuguese

Das Paper stellt Tucano 2 vor, eine vollständig offene Suite von Large Language Models mit 0,5 bis 3,7 Milliarden Parametern, die durch neue, hochwertige Datensätze und optimierte Trainingsrezepte den Stand der Technik für portugiesische Sprachmodelle in Bereichen wie Code, Tool-Use und logischem Schlussfolgern verbessert.

Das Wesentliche

🇧🇷 Tucano 2: Der kleine, aber clevere Papagei für die portugiesische Sprache

Stellen Sie sich vor, die Welt der Künstlichen Intelligenz (KI) ist ein riesiges, lautes Klassenzimmer. Die meisten Schüler dort sprechen fließend Englisch und haben dicke, teure Lehrbücher. Aber was ist mit den Schülern, die Portugiesisch sprechen? Sie sitzen oft in der Ecke, haben nur verknitterte Notizzettel und müssen sich mit den Übersetzungen der anderen begnügen. Das Ergebnis? Sie verstehen die Welt nicht ganz so gut wie ihre englischsprachigen Mitschüler.

Das Team um Polyglot (eine Forschungsgruppe aus Deutschland) hat sich gedacht: „Das ändern wir jetzt!" Sie haben Tucano 2 entwickelt. Der Name kommt vom Tucano, einem bunten, klugen Vogel aus dem Amazonas.

Hier ist, was sie gemacht haben, ganz ohne Fachchinesisch:

1. Das neue Lehrbuch: „GigaVerbo" (Der riesige Wortschatz)

Um einen KI-Modell zu trainieren, braucht man Daten – also Texte. Bisher war das portugiesische „Lehrbuch" lückenhaft.

• Das Problem: Die alten Daten waren oft voller Müll (Werbung, Spam, schlechte Grammatik).
• Die Lösung: Das Team hat einen riesigen Roboter-Filter gebaut (genannt GigaVerbo-v2). Stellen Sie sich vor, sie haben einen Ozean an Texten gesammelt und durch ein Sieb geschüttelt. Alles, was dreckig oder unbrauchbar war, fiel heraus.
• Der Clou: Sie haben nicht nur das Alte gesäubert, sondern auch künstliche Texte (Synthetik-Daten) hinzugefügt. Das ist wie ein Koch, der nicht nur Reste vom Vortag aufwärmt, sondern extra frische, hochwertige Zutaten (wie Mathe-Aufgaben oder wissenschaftliche Artikel) kocht, um Lücken zu füllen.

2. Der neue Schlüsselbund: Der Tokenizer (Das effiziente Wörterbuch)

KIs verstehen keine Wörter, sondern kleine Buchstaben-Bröckchen, die man „Tokens" nennt.

• Das Problem: Die großen, internationalen KIs (wie Qwen oder Llama) haben einen riesigen Schlüsselbund mit 150.000 Schlüsseln. Für Portugiesisch sind aber viele dieser Schlüssel unnötig. Das macht den Koffer schwer und die KI langsam.
• Die Lösung: Das Team hat einen maßgeschneiderten Schlüsselbund für Portugiesisch gebaut. Er hat nur 49.000 Schlüssel, aber genau die richtigen.
• Der Effekt: Die KI muss weniger „schleppen". Sie ist schneller, braucht weniger Strom und versteht Portugiesisch viel präziser, als wenn sie mit dem riesigen, internationalen Schlüsselbund arbeiten müsste.

3. Die zwei Trainingsmethoden: Vom Anfänger zum Profi

Das Team hat zwei Wege gewählt, um die KI zu bilden:

• Weg A: Von Null auf Hunderter (Tucano 2 Base)
  Sie haben eine kleine KI (0,6 Milliarden Parameter) komplett von Grund auf neu trainiert. Das ist wie ein Kind, das in einer rein portugiesischen Umgebung aufwächst und nur portugiesische Bücher liest. Es wird sehr gut in den Grundlagen.
• Weg B: Der Umzug (Continual Pretraining)
  Sie haben eine bereits sehr intelligente, große KI (die „Qwen"-Familie) genommen, die schon viel gelernt hat, aber auf Englisch und anderen Sprachen.
  • Der Trick: Sie haben ihr den portugiesischen Schlüsselbund (Tokenizer) eingepflanzt und ihr dann nur noch portugiesische Texte gegeben, um sie auf den neuen Job vorzubereiten.
  • Das Ergebnis: Diese KI (z. B. Tucano 2-qwen-3.7B) ist wie ein erfahrener Professor, der plötzlich Portugiesisch lernt. Sie ist extrem stark und schlägt sogar viel größere Modelle, die nur auf Englisch trainiert wurden, wenn es um portugiesische Aufgaben geht.

4. Die zwei Persönlichkeiten: „Instruct" und „Think"

Das Team hat zwei Versionen der KI gebaut, je nachdem, was man braucht:

• Der „Instruct"-Modus (Der schnelle Helfer): Diese KI folgt Anweisungen blitzschnell. „Schreibe eine E-Mail", „Fasse das zusammen". Sie ist direkt und effizient.
• Der „Think"-Modus (Der Denker): Diese KI hat eine spezielle Fähigkeit: Sie denkt laut nach, bevor sie antwortet. Sie nutzt eine Art „Gedankenblase" (Chain-of-Thought), um komplexe Mathe- oder Logikrätsel in Portugiesisch zu lösen. Das ist etwas, das bei portugiesischen KIs bisher fast gar nicht möglich war.

5. Warum ist das wichtig? (Die Nachhaltigkeit)

Oft denkt man, KI-Entwicklung verbraucht riesige Mengen an Energie.

• Der Vergleich: Das Training der alten Versionen oder riesiger Modelle ist wie ein Flug von Deutschland nach New York und zurück – sehr teuer und umweltschädlich.
• Der Tucano 2-Ansatz: Durch ihre effiziente Methode (kleinere Modelle, bessere Daten, weniger Strom) ist das Training von Tucano 2 vergleichbar mit einem Fahrradtrip durch den Stadtpark. Es ist viel grüner, aber das Ergebnis ist für den lokalen Bedarf (Portugiesisch) oft sogar besser als das teure Flugzeug.

Fazit

Tucano 2 ist ein Beweis dafür, dass man nicht unbedingt der größte und teuerste Spieler sein muss, um erfolgreich zu sein. Wenn man die richtigen Werkzeuge hat (saubere Daten, effiziente Schlüssel) und die Sprache respektiert, kann ein kleines, offenes Team Modelle bauen, die mit den riesigen, geschlossenen Konzernen mithalten können – und das alles für die portugiesischsprachige Welt, die bisher oft zu kurz kam.

Alles, was sie benutzt haben (Daten, Code, Modelle), ist kostenlos und offen für jeden verfügbar. Das ist wie ein offenes Kochbuch, damit jeder zu Hause weiterkochen und experimentieren kann.

Technische Zusammenfassung

Titel: Tucano 2: Eine vollständig offene Suite von Large Language Models für die portugiesische Sprache

Projekt: Polyglot (unterstützt durch das deutsche Bundesministerium für Bildung und Forschung und das Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen).

---

1. Problemstellung

Trotz der rasanten Entwicklung von Large Language Models (LLMs) besteht eine erhebliche Ungleichheit in der Verfügbarkeit hochwertiger Modelle für verschiedene Sprachen. Während Englisch über umfangreiche Daten und state-of-the-art-Modelle verfügt, hinken Sprachen wie Portugiesisch hinterher.

• Mangel an Open-Source-Transparenz: Viele bestehende portugiesische Modelle sind entweder proprietär (Closed-Source) oder bieten keine vollständige Offenlegung von Trainingsdaten, Pipelines und Hyperparametern. Dies behindert die Reproduzierbarkeit und Weiterentwicklung durch die Community.
• Qualitätslücken: Bestehende multilinguale Modelle zeigen oft Leistungseinbußen bei spezifischen portugiesischen Aufgaben im Vergleich zu englischen Äquivalenten.
• Ressourcenbeschränkungen: Das Training von Modellen von Grund auf (from scratch) für eine Low-Resource-Sprache ist aufgrund der benötigten Rechenleistung oft prohibitiv teuer.

2. Methodik

Das Team um Nicholas Kluge Corrêa und Aniket Sen hat einen umfassenden, vollständig offenen Stack entwickelt, der den gesamten Lebenszyklus eines LLMs abdeckt: von der Datenerstellung über das Pretraining bis hin zum Post-Training.

A. Datenerstellung und -kuratierung (GigaVerbo-v2)

• GigaVerbo-v2: Ein bereinigtes Korpus von ca. 320 Milliarden Token (372 Millionen Dokumente), das aus Common Crawl-Snapshots, Hugging-Face-Datasets und anderen offenen Quellen stammt.
  • Filterung: Nutzung einer Pipeline nach dem Vorbild von FineWeb 2, einschließlich heuristischer Filter und LLM-as-a-Judge-Verfahren.
  • Qualitätsannotation: Ein Qwen2.5-32B-Modell annotierte 700.000 Dokumente auf Bildungsinhalt (5-Punkte-Skala) und Toxizität. Diese Annotationen wurden in leichte Klassifikatoren (BERTimbau, BERTabaporu) destilliert, um das gesamte Korpus zu filtern.
• GigaVerbo-v2 Synth: Ein synthetisches Dataset mit 9,3 Milliarden Token, generiert durch Qwen2.5-Modelle (7B, 14B, 32B), um Lücken in Domänen wie Mathematik, Recht und wissenschaftliche Texte zu füllen.
• SFT & Preferences:
  • GigaVerbo-v2 SFT: Ca. 4,1 Millionen Beispiele (2,15 Mrd. Token) für überwachtes Fine-Tuning (SFT) in 12 Aufgabenkategorien (Code, Mathematik, Reasoning, Tool-Use).
  • GigaVerbo-v2 Preferences: Ca. 28.000 Kontrastpaare für die Ausrichtung (Alignment), getrennt in „harmlos" und „schädlich" sowie mit/ohne Reasoning-Traces.

B. Tokenisierung

• Entwicklung eines maßgeschneiderten SentencePiece-Tokenizers (Vokabulargröße: 49.152) auf einer Mischung aus Portugiesisch, Englisch und Code (40-40-20).
• Ergebnis: Deutlich höhere Kompressionseffizienz (2,88 Zeichen/Token) und niedrigere Subword-Fertilität (1,51) im Vergleich zu multilingualen Tokenizern (z. B. Qwen3, Llama-3.2), was zu ca. 30 % geringeren Rechenkosten beim Training führt.

C. Trainingsstrategien

Das Paper verfolgt zwei parallele Ansätze:

1. Pretraining von Grund auf (Tucano2-0.6B-Base):

   • Training eines 670-Millionen-Parameter-Modells (Llama-Architektur) auf ca. 408 Mrd. Token.
   • Curriculum-Learning: Drei Stufen (Warmup/Stable/Decay) mit zunehmendem Anteil an hochwertigen portugiesischen Daten und synthetischen Reasoning-Daten.
   • Optimizer: Hybrid aus AdamW und Muon (für Attention- und Feed-Forward-Schichten), was zu stabileren Gradienten führt.

2. Continual Pretraining (Tucano2-qwen-Familie):

   • Anpassung bestehender, leistungsfähiger multilingualer Qwen3-Base-Modelle (0.6B, 1.7B, 4B) an das Portugiesische.
   • Tokenizer-Transplantation (OMP): Nutzung des Orthogonal Matching Pursuit-Algorithmus, um das Qwen3-Vokabular (151k Token) durch den effizienteren portugiesischen Tokenizer (49k Token) zu ersetzen, ohne die vortrainierten Gewichte neu zu lernen. Dies reduziert die Embedding-Parameter um ca. 68 %.
   • Training: Reines Portugiesisch-Training auf 50–100 Mrd. Token, um die Sprachspezifität zu maximieren.

D. Evaluation Framework

• Entwicklung eines neuen, zweistufigen Evaluierungs-Sets für Portugiesisch:
  • Easy Set: Liefert verlässliche Signale bereits bei <200 Mrd. Token (z. B. ARC Challenge, HellaSwag).
  • Hard Set: Erfordert >660 Mrd. Token für signifikante Verbesserungen (z. B. ENEM, OAB, MMLU).
• Anpassung von Benchmarks für Post-Training: IFEval-PT, GSM8K-PT (Mathematik), RULER-PT (Long-Context) und HumanEval (Code).

3. Wichtige Beiträge

1. GigaVerbo-v2 & Synth: Das bisher größte und qualitativ hochwertigste offen zugängliche portugiesische Korpus mit detaillierten Bildungs- und Toxizitätsmetadaten.
2. Tucano 2 Modellfamilie: Eine Reihe von Open-Source-Modellen (0.5B bis 3.7B Parameter) in den Varianten Base, Instruct und Think (mit Chain-of-Thought).
3. Reproduzierbarkeit: Vollständige Offenlegung aller Artefakte: Trainingsdaten, Tokenizer, Trainingsrezepte, Logs und Evaluationscode unter permissiven Lizenzen.
4. Effizienz: Demonstration, dass durch Tokenizer-Transplantation und gezieltes Continual Pretraining Modelle entstehen, die größere multilinguale Basen übertreffen, bei einem Bruchteil der Rechenkosten.

4. Ergebnisse

• Pretraining (Tucano2-0.6B-Base): Übertrifft auf dem „Easy Set" multilinguale Modelle ähnlicher Größe (z. B. Qwen3-0.6B, Curió-1.1B) trotz deutlich geringerem Compute-Budget.
• Continual Pretraining (Tucano2-qwen-3.7B-Base):
  • Erreicht einen aggregierten NPM-Score von 59,21, was Qwen3-4B-Base (57,86) und Qwen2.5-7B (57,97) schlägt.
  • Dies wird mit weniger als 0,13 % des ursprünglichen Pretraining-Computes für das Qwen3-Modell erreicht.
• Post-Training (Instruct & Think):
  • Tucano2-qwen-3.7B-Instruct: Erzielt die höchste Wissens- und Reasoning-Leistung (NPM 56,22) im 3–4B-Bereich, übertrifft Qwen3-4B und Gemma-3-Gaia-PT-BR-4b-it.
  • Tucano2-qwen-3.7B-Think: Das erste Open-Source-Modell für Portugiesisch, das Chain-of-Thought-Reasoning vollständig in Portugiesisch durchführt und dabei Qwen3-4B und SmolLM3-3B in wissensbasierten Benchmarks schlägt.
• Nachhaltigkeit: Das gesamte Projekt (einschließlich Datengenerierung) verursachte ca. 7,9 Tonnen CO2e, was im Vergleich zum Training von Frontier-Modellen (oft >1000 Tonnen) sehr gering ist.

5. Bedeutung und Ausblick

Das Paper markiert einen Meilenstein für die NLP-Community im portugiesischen Sprachraum (Brasilien und Portugal).

• Demokratisierung: Es schließt die Lücke zwischen proprietären und Open-Source-Modellen für Portugiesisch und bietet eine vollständige, reproduzierbare Pipeline.
• Effizienz-Paradigma: Es zeigt, dass „Continual Pretraining" mit Tokenizer-Transplantation eine extrem kosteneffiziente Methode ist, um starke Sprachmodelle für spezifische Sprachen zu erhalten, ohne von Grund auf neu zu trainieren.
• Community-Empowerment: Durch die Bereitstellung von SFT-Daten, Preference-Daten und Evaluierungstools wird die Entwicklung anwendungsorientierter portugiesischer KI-Systeme (z. B. im Bildungswesen, Recht oder Code) massiv erleichtert.

Limitationen: Die Modelle zeigen noch Schwächen bei sehr langen Kontexten (Long-Context) und in spezifischen Aufgaben wie strikter Instruktionsbefolgung (IFEval) oder Code-Generierung im Vergleich zu den größten proprietären Modellen, was auf die begrenzte Datenmenge in diesen Domänen zurückzuführen ist. Zukünftige Arbeiten sollen diese Lücken durch gezielte Datenvergrößerung schließen.