Tucano 2 Cool: Better Open Source LLMs for Portuguese

Deze paper introduceert Tucano 2, een volledig open-source suite van grote taalmodellen voor het Portugees die, dankzij geavanceerde datasets en trainingsmethoden, state-of-the-art prestaties bereikt op diverse benchmarks en alle trainingsartefacten vrij beschikbaar stelt aan de gemeenschap.

De kern

Tucano 2: De Grote Portugese Taal-Revolutie (Maar dan Open en Transparant)

Stel je voor dat de wereld van kunstmatige intelligentie (AI) een enorme bibliotheek is. In deze bibliotheek staan boeken in elke taal die je maar kunt bedenken. Maar er is een groot probleem: de boeken in het Engels zijn gigantisch, glanzend en vol met de nieuwste kennis. De boeken in het Portugees? Die staan vaak in een donkere hoek, zijn verouderd of zijn gewoon niet beschikbaar voor het publiek.

Dit paper introduceert Tucano 2, een nieuw project dat die donkere hoek volledig oplicht. Het is een familie van slimme computerprogramma's (LLMs) die specifiek zijn getraind om Portugees te spreken, schrijven en begrijpen. En het allerbelangrijkste: alles is open. Dat betekent dat niet alleen de "antwoorden" vrij zijn, maar ook de recepten, de ingrediënten en de kooktechnieken. Iedereen mag meekijken en meekoken.

Hier is hoe ze dit hebben gedaan, vertaald naar alledaagse taal:

1. De Ingrediënten: Een Supermarkt voor Taaldata

Om een slimme AI te maken, heb je enorme hoeveelheden tekst nodig. De makers van Tucano 2 hebben niet zomaar wat tekst opgepikt. Ze hebben een gigantische, schone verzameling gemaakt genaamd GigaVerbo-v2.

• De Analogie: Stel je voor dat je een chef-kok bent die een perfecte soep wilt maken. Je zou geen rotte groenten uit de vuilnisbak halen. In plaats daarvan hebben ze een "supermarkt" gebouwd met alleen de beste, meest educatieve en veiligste teksten. Ze hebben zelfs een speciale "robot-kok" (een andere AI) ingezet om te controleren of de groenten vers en veilig zijn.
• De Synthetische Toevoeging: Soms zijn er bepaalde gerechten (zoals wiskunde of logisch redeneren) die in de echte wereld schaars zijn. Daarom hebben ze een "3D-voedselprinter" gebruikt om extra, hoogwaardige voorbeelden te printen. Dit noemen ze GigaVerbo-v2 Synth. Het zorgt ervoor dat de AI niet alleen goed kan kletsen, maar ook goed kan nadenken.

2. De Keuken: Slimmer Koken met Minder Brandstof

Vaak denken mensen dat je een gigantische, dure oven nodig hebt om een goede taart te bakken. Tucano 2 bewijst het tegenovergestelde.

• De Analogie: Ze hebben een nieuwe tafelplaat (een tokenizer) ontworpen. Stel je voor dat je een tekst in stukjes snijdt om hem te verwerken. De oude methoden snijden woorden in heel kleine, inefficiënte stukjes (zoals het snijden van een brood in korreltjes). De nieuwe methode van Tucano snijdt het brood in perfecte, grote plakken. Hierdoor heeft de computer minder werk, minder energie nodig en gaat het sneller.
• Het Resultaat: Ze hebben modellen gebouwd van verschillende maten (van klein tot middelgroot) die net zo goed presteren als de enorme, dure modellen van grote tech-bedrijven, maar dan met een veel kleiner energieverbruik.

3. De Oefeningen: Van "Kletsen" naar "Denken"

Eenmaal getraind, moeten de modellen nog leren hoe ze met mensen moeten praten en redeneren.

• De Instruct-modellen: Dit zijn de modellen die goed zijn in het volgen van commando's. "Schrijf een e-mail," "Vertaal dit," of "Maak een lijst." Ze zijn getraind op duizenden voorbeelden van goede gesprekken.
• De Think-modellen: Dit is de echte innovatie. Deze modellen leren niet alleen het antwoord geven, maar ze leren ook hoe ze tot het antwoord komen. Ze denken hardop na (in het Portugees!) voordat ze antwoorden.
  • Voorbeeld: Als je vraagt: "Hoe los ik deze wiskundepuzzel op?", geeft een normaal model misschien direct het antwoord. Een Think-model zegt eerst: "Oké, laten we stap 1 doen, dan stap 2..." en geeft dan pas het antwoord. Dit is cruciaal voor complexe problemen.

4. De Proef: Waarom is dit zo belangrijk?

Vroeger was het moeilijk om te weten of een Portugees AI-model echt goed was. De tests waren vaak onbetrouwbaar of te moeilijk voor kleine modellen.

• De Analogie: Het is alsof je een kind test op een universitair examen terwijl het net pas naar de kleuterschool is gegaan. Het zou falen, niet omdat het dom is, maar omdat de test niet klopt.
• De Oplossing: Het team heeft een nieuwe set tests ontworpen. Er is een "makkelijke set" om te zien hoe snel een model leert, en een "moeilijke set" voor de echte experts. Hierdoor kunnen ze precies zien waar een model goed in is en waar het nog moet oefenen.

5. Waarom is "Open Source" zo belangrijk?

De meeste grote AI-modellen zijn als een gesloten fabriek. Je ziet het eindproduct, maar je weet niet hoe het gemaakt is, wat erin zit of hoe je het kunt verbeteren.

• Tucano 2 is als een open keuken: Ze geven je niet alleen de taart, maar ook het recept, de lijst met ingrediënten, de foto's van het bakproces en de tools die ze hebben gebruikt.
• Het effect: Dit betekent dat onderzoekers, studenten en bedrijven in Portugal en Brazilië (en daarbuiten) zelf kunnen experimenteren, fouten kunnen vinden en de modellen kunnen verbeteren. Het democratiseert de technologie.

Samenvattend

Tucano 2 is een bewijs dat je niet miljarden dollars en een hele fabriek nodig hebt om een slimme AI in een specifieke taal te maken. Met slimme data, efficiënte methoden en volledige transparantie, hebben ze een reeks modellen gebouwd die Portugees spreken alsof ze er vandaan komen, met een focus op redeneren en veiligheid.

Het is alsof ze de sleutel hebben gegeven aan de hele gemeenschap om zelf hun eigen "Portugese brein" te bouwen, in plaats van alleen maar te wachten tot een groot bedrijf hen een kant-en-klaar antwoord geeft.

Technische samenvatting

Titel: Tucano 2: Een volledig open suite van grote taalmodellen voor het Portugees

Auteurs: Nicholas Kluge Corrêa et al. (Project Polyglot, Universiteit Bonn)
Publicatiedatum: Maart 2026 (arXiv)

---

1. Het Probleem

Hoewel Large Language Models (LLMs) de NLP-landschap radicaal hebben veranderd, is de vooruitgang ongelijk verdeeld over talen. Hoog-resources talen zoals het Engels hebben geavanceerde modellen, terwijl talen met minder middelen zoals het Portugees vaak achterblijven.

• Afhankelijkheid van gesloten modellen: De beste presterende modellen voor het Portugees zijn vaak gesloten (closed-source) of bieden beperkte transparantie over hun trainingsdata en procedures.
• Gebrek aan reproduceerbaarheid: Zelfs bij open-weight modellen ontbreekt vaak de volledige "stack" (data, preprocessing, hyperparameters) die nodig is voor reproduceerbaar onderzoek.
• Prestatiekloof: Bestaande open-source Portugese modellen presteren vaak slechter dan multinationale tegenhangers van vergelijkbare grootte, of vereisen onrealistisch grote rekenkracht om concurrentieel te zijn.

Het doel van dit werk is om deze kloof te dichten door een volledig open, reproduceerbare en hoogwaardige suite van Portugese LLMs te creëren.

---

2. Methodologie

De auteurs hanteren een uitgebreide pipeline die bestaat uit data-curatie, tokenisatie, pretraining, continue pretraining en post-training.

A. Data Curatie (GigaVerbo-v2)

• Corpus: Ze hebben een gezuiverd corpus van ongeveer 320 miljard tokens samengesteld (GigaVerbo-v2), gebaseerd op Common Crawl en Hugging Face datasets.
• Kwaliteitsfiltering: In plaats van alleen heuristieken te gebruiken, trainden ze speciale "LLM-as-a-Judge" modellen (gebaseerd op Qwen2.5-32B) om documenten te beoordelen op educatieve kwaliteit en toxiciteit. Deze annotaties werden gedistilleerd naar lichte classifiers voor schaalbaar filteren.
• Synthetische Data (GigaVerbo-v2 Synth): Om gaten in domeinen te vullen waar webdata schaars is, genereerden ze 9,3 miljard tokens aan synthetische data met behulp van Qwen2.5-modellen. Dit omvatte educatieve teksten, wiskundige redeneringen, juridische samenvattingen en code.
• Ablatiestudies: Experimenten toonden aan dat een mix van educatieve en synthetische data (Edu+Synth) aanzienlijk beter presteert dan alleen webdata of alleen synthetische data.

B. Tokenisatie

• Ze trainden een aangepast SentencePiece tokenizer op een mix van Portugees, Engels en code (40-40-20 verdeling).
• Efficiëntie: Met een vocabulaire van 49.152 tokens bereikte deze tokenizer een subwoord-vruchtbaarheid (subword fertility) van 1,51 voor Portugees, wat aanzienlijk lager is dan die van Qwen3 (1,93) of Llama-3.2 (1,91). Dit resulteert in ongeveer 30% rekenbesparing tijdens training en inferentie.

C. Training Strategieën

1. Vanaf nul (From-Scratch): Training van een 0,6B parameter model (Tucano2-0.6B-Base) met een hybride AdamW+Muon optimizer en een drie-fasen curriculum (warmup-stable-decay) op 408 miljard tokens.
2. Continue Pretraining (Continual Pretraining): Om de prestaties van grotere modellen te bereiken zonder de volledige kosten van training vanaf nul, pasten ze grote multilinguale basismodellen (Qwen3) aan aan het Portugees.
   • Tokenizer Transplantatie: Ze gebruikten een "Training-Free" OMP (Orthogonal Matching Pursuit) methode om het Qwen3-vocabulaire te vervangen door hun eigen efficiënte Portugese tokenizer, waardoor de embedding-parameters met ~68% werden gereduceerd zonder de vooraf getrainde kennis te verliezen.
   • Ze trainden vervolgens varianten van 0,5B, 1,5B en 3,7B parameters puur op Portugese data.
3. Post-Training (SFT & Alignment):
   • SFT (Supervised Fine-Tuning): Een dataset van ~4 miljoen voorbeelden (GigaVerbo-v2 SFT) die code, tool-use, wiskunde en redenering dekt.
   • Preference Optimization: Een dataset van ~28.000 voorkeursparen (GigaVerbo-v2 Preferences) voor uitlijning op veiligheid en kwaliteit.
   • Instruct vs. Think: Ze trainden twee aparte families: Instruct (algemene instructies) en Think (specifiek gericht op Chain-of-Thought redenering in het Portugees).

D. Evaluatie Framework

Ze ontwikkelden een nieuw evaluatieharnas met twee niveaus:

• Easy Set: Betrouwbare signalen voor vroege trainingsfases (<200B tokens).
• Hard Set: Geavanceerde benchmarks (examens, redenering) die >660B tokens vereisen.
• Ze pasten bestaande benchmarks (IFEval, GSM8K, RULER, HumanEval) aan voor het Portugees.

---

3. Belangrijkste Bijdragen

1. GigaVerbo-v2 & Synth: Een open, hoogwaardig corpus van 320B tokens met rijke metadata (educatie/toxiciteit) en 9,3B synthetische tokens.
2. Tucano 2 Model Familie: Open source modellen van 0,5B tot 3,7B parameters die state-of-the-art presteren voor hun grootteklasse in het Portugees.
3. Volledige Openheid: Alle datasets, trainingsrecepten, logs, code en evaluatieharnassen zijn openbaar beschikbaar onder permissieve licenties.
4. Efficiënte Tokenisatie: Een aangepaste tokenizer die aanzienlijke rekenkostenbesparingen biedt voor het Portugees.
5. Redenering in het Portugees: De "Think" varianten genereren Chain-of-Thought redeneringen volledig in het Portugees, een capaciteit die vaak ontbreekt in bestaande open modellen.

---

4. Resultaten

• Pretraining: Het Tucano2-0.6B-Base model (getraind vanaf nul) presteerde beter dan vergelijkbare multilinguale modellen (zoals Qwen3-0.6B en Curió-1.1B) op de "Easy Set" benchmarks, ondanks een veel kleiner trainingsbudget.
• Continue Pretraining: De Tucano2-qwen-3.7B-Base (gebaseerd op Qwen3) behaalde een totale NPM-score van 59,21, wat hoger is dan Qwen3-4B (57,86) en Qwen2.5-7B (57,97), ondanks dat het 3,7B parameters heeft en slechts een fractie van de rekenkracht nodig had voor de aanpassing.
• Post-Training:
  • Tucano2-qwen-3.7B-Instruct behaalde de hoogste score voor Kennis & Redenering (56,22) in de 3-4B categorie, verslaand Qwen3-4B en Gemma-3-Gaia-PT-BR-4b-it.
  • Tucano2-qwen-3.7B-Think behaalde de top score voor redenering (54,07) onder redeneringsmodellen, met volledig Portugese Chain-of-Thought output.
• Efficiëntie: De continue pretraining strategie vereiste minder dan 0,13% van de totale FLOPs van de oorspronkelijke Qwen3-training, maar leverde aanzienlijke prestatiewinst op voor het Portugees.

---

5. Betekenis en Impact

• Reproduceerbaarheid: Dit werk zet een nieuwe standaard voor open-source NLP in het Portugees door niet alleen modellen, maar de volledige "recepten" en data beschikbaar te stellen.
• Kostenefficiëntie: Het toont aan dat "Continual Pretraining" met tokenizer-transplantatie een zeer kostenefficiënte manier is om sterke taalspecifieke modellen te bouwen zonder de enorme kosten van training vanaf nul.
• Community Growth: Door het vrijgeven van datasets, annotatiemodellen en evaluatieharnassen, wordt de Portugese NLP-community in staat gesteld om onafhankelijk onderzoek te doen en downstream-toepassingen te bouwen.
• Duurzaamheid: Hoewel synthetische data generatie een groot deel van de energieverbruik uitmaakte, is de totale CO2-voetafdruk van het project (ca. 7,9 ton CO2e) aanzienlijk lager dan die van frontier-modellen, en de strategie van continue pretraining is energiezuinig.

Kortom, Tucano 2 biedt een robuust, open en reproduceerbaar fundament voor de ontwikkeling van Portugese AI, waarbij het de prestaties van gesloten systemen benadert of verslaat met een fractionele rekenkosten.