Tucano 2 Cool: Better Open Source LLMs for Portuguese

Il paper presenta Tucano 2, una suite di modelli linguistici open source ottimizzati per la lingua portoghese, che utilizza nuovi dataset sintetici e di post-addestramento per raggiungere prestazioni all'avanguardia su vari benchmark e fornisce risorse completamente aperte per garantire riproducibilità e accessibilità alla comunità.

L'essenziale

🇵🇹 Il Grande Progetto "Tucano 2": Costruire un Cervello Digitale per il Portoghese

Immaginate che le Intelligenze Artificiali (come i modelli linguistici) siano dei cuochi straordinari. Per diventare bravi a cucinare, hanno bisogno di due cose fondamentali:

1. Ingredienti freschi e di alta qualità (i dati su cui vengono addestrati).
2. Ricette precise (il modo in cui vengono insegnati a cucinare).

Fino a poco tempo fa, per la lingua portoghese, mancavano ingredienti di alta qualità e le ricette erano spesso segrete o costose. Il progetto Tucano 2 è come un gruppo di chef ambiziosi che hanno deciso di:

• Coltivare il proprio orto di ingredienti (creare dati puliti).
• Scrivere ricette aperte a tutti (rendere tutto "open source").
• Creare cuochi di diverse dimensioni (dai piccoli ai grandi) che parlano perfettamente il portoghese.

Ecco come hanno fatto, passo dopo passo:

1. L'Orto degli Ingredienti: "GigaVerbo-v2" 🥕

Prima di cucinare, servono gli ingredienti. I ricercatori hanno raccolto un'enorme quantità di testo portoghese da internet (come un grande mercato), ma non tutto è buono. C'era molta "spazzatura" o testi ripetitivi.

• Il Filtro Magico: Hanno usato un "ispettore" (un'altra intelligenza artificiale) per controllare ogni singolo ingrediente. Hanno separato i testi educativi e sani da quelli tossici o inutili.
• L'Ingrediente Sintetico: Per colmare i buchi (ad esempio, testi di matematica o logica che mancavano), hanno "cucinato" nuovi ingredienti sintetici. Immaginate di creare dei brodi perfetti in laboratorio per integrare la verdura fresca.
• Risultato: Hanno creato un "super-mercato" di 320 miliardi di parole pulite, etichettate e pronte all'uso.

2. Il Coltellino Affilato: Il Tokenizzatore 🔪

Quando un computer legge, non vede le parole come noi, ma le spezza in pezzettini chiamati "token".

• Il Problema: Molti modelli usano un coltello "standard" che taglia le parole portoghesi in pezzi troppo piccoli e inefficienti, sprecando tempo e energia.
• La Soluzione Tucano: Hanno forgiato un coltello su misura (un tokenizzatore specifico per il portoghese).
• L'Analogia: È come se invece di tagliare una pizza in 100 fette minuscole, la tagliassimo in 30 fette perfette. Il computer lavora il 30% più velocemente e consuma meno energia, perché deve "masticare" meno pezzi per dire la stessa cosa.

3. La Cucina: Addestrare i Cuochi (I Modelli) 👨‍🍳

Hanno creato tre tipi di cuochi (modelli) con dimensioni diverse (da 0,5 a 3,7 miliardi di parametri):

• Base: Il cuoco che sa cucinare di tutto, ma non sa ancora seguire ordini specifici.
• Instruct: Il cuoco che ha imparato a seguire le ricette passo-passo (risponde alle domande, scrive email, ecc.).
• Think: Il cuoco "filosofo". Prima di dare la risposta, si ferma a pensare ad alta voce (usa il "ragionamento a catena") per risolvere problemi difficili di matematica o logica.

La Magia della Continuità:
Invece di ricominciare da zero (che costa una fortuna in elettricità), hanno preso dei cuochi esperti già famosi (i modelli Qwen3, che parlano molte lingue) e li hanno "trasplantati" nel mondo portoghese.

• L'Analogia: È come prendere un grande chef francese esperto e dargli un corso intensivo di cucina brasiliana. Impara le nuove ricette molto più velocemente rispetto a chi parte da zero, mantenendo la sua abilità di base.

4. La Sala da Pranzo: I Test e la Valutazione 🍽️

Come fanno a sapere se i cuochi sono bravi? Hanno creato una nuova "sala da pranzo" con due tipi di menu:

• Menu Facile (Easy Set): Per i cuochi principianti. Testa se sanno rispondere a domande semplici e capire il senso comune.
• Menu Difficile (Hard Set): Per i maestri. Testa la loro capacità di superare esami universitari, risolvere problemi legali o fare ragionamenti complessi.
• Risultato: I cuochi Tucano 2 hanno battuto molti altri chef di dimensioni simili, dimostrando che con ingredienti di qualità e una buona ricetta, si può competere anche con i giganti costosi.

5. Sostenibilità: Una Cucina Eco-Friendly 🌱

Il paper fa anche un'analisi dei costi energetici.

• Hanno calcolato quanta elettricità e quante emissioni di CO2 hanno prodotto.
• Il punto chiave: Usando ingredienti sintetici intelligenti e cuochi più piccoli ma efficienti, hanno ottenuto risultati eccellenti con un impatto ambientale molto più basso rispetto ai giganti che addestrano modelli enormi da zero. È come cucinare un pasto delizioso usando un forno a induzione invece di un camino che consuma mezza foresta.

In Sintesi

Il progetto Tucano 2 ci dice che non serve essere i più grandi o i più ricchi per avere un'Intelligenza Artificiale di qualità.
Basta:

1. Curare bene i dati (ingredienti freschi).
2. Usare strumenti efficienti (coltelli affilati).
3. Adattare le conoscenze esistenti (trasferire le abilità).
4. Condividere tutto (ricette aperte a tutti).

Hanno creato una famiglia di modelli portoghesi che sono più veloci, più economici e più intelligenti di molti precedenti, e hanno lasciato tutto il "ricettario" (codice, dati, modelli) aperto per chiunque voglia usarlo o migliorarlo. È un passo enorme per democratizzare l'IA in Portogallo e Brasile.

Sommario tecnico

Titolo: Tucano 2: Un Suite di Modelli Linguistici (LLM) Open Source Avanzati per il Portoghese

1. Il Problema

Nonostante i rapidi progressi nei Large Language Models (LLM), le risorse per le lingue a bassa risorsa, come il portoghese, rimangono inadeguate rispetto all'inglese.

• Divario nelle risorse: I modelli multilingue esistenti spesso mostrano prestazioni inferiori nelle lingue non inglesi, mentre i modelli specifici per il portoghese sono spesso chiusi (closed-source), privi di trasparenza sui dati di addestramento o limitati nella riproducibilità.
• Mancanza di open-source completo: La maggior parte dei modelli performanti non rilascia l'intero stack necessario per la ricerca riproducibile (dati grezzi, pipeline di preprocessing, ricette di addestramento, protocolli di valutazione).
• Limiti delle valutazioni: I benchmark esistenti per il portoghese soffrono di alto rumore e volatilità, rendendo difficile tracciare i progressi durante le fasi iniziali dell'addestramento (pretraining).

2. Metodologia

Il progetto Polyglot (supportato dal governo tedesco) ha sviluppato Tucano 2, una suite di modelli open source che copre un intervallo di parametri da 0,5 a 3,7 miliardi. L'approccio si articola in quattro pilastri principali:

A. Costruzione del Corpus (GigaVerbo-v2)

• Dati su larga scala: Creazione di un corpus portoghese pulito di circa 320 miliardi di token (372 milioni di documenti), derivato da Common Crawl e dataset di Hugging Face.
• Filtraggio avanzato: Utilizzo di un approccio "LLM-as-a-Judge" (con Qwen2.5-32B) per annotare la qualità educativa e la tossicità di 700.000 documenti. Queste annotazioni sono state distillate in classificatori leggeri (BERTimbau, BERTabaporu) per filtrare l'intero corpus.
• Dati Sintetici (GigaVerbo-v2 Synth): Integrazione di 9,3 miliardi di token sintetici generati da modelli Qwen2.5 per colmare lacune in domini specifici (educazione, ragionamento, codice, diritto), migliorando la copertura dei domini carenti nel web.

B. Tokenizzazione Personalizzata

• Addestramento di un tokenizzatore SentencePiece ottimizzato per il portoghese, inglese e codice (vocabolario di 49.152 token).
• Efficienza: Questo tokenizzatore riduce la fertilità dei sottoparole (1,51) e aumenta l'efficienza di compressione (2,88 caratteri/token) rispetto ai tokenizzatori di modelli come Qwen3 o Llama-3.2, portando a un risparmio computazionale stimato del 30%.

C. Strategie di Addestramento

• Pretraining da zero: Addestramento di un modello base da 0,6B parametri (Tucano2-0.6B-Base) su 408 miliardi di token con una ricetta a tre stadi (warmup, stabile, decadimento) che bilancia dati educativi portoghesi, inglesi e sintetici.
• Continual Pretraining (CPT): Adattamento dei modelli base Qwen3 (0,6B, 1,7B, 4B) al portoghese.
  • Trapianto del Tokenizzatore (OMP): Utilizzo dell'algoritmo Orthogonal Matching Pursuit per sostituire il vocabolario multilingue di Qwen3 (151k token) con quello ottimizzato per il portoghese (49k token) senza riaddestramento, riducendo i parametri di embedding del 68%.
  • Adattamento su dati puramente portoghesi (50-100 miliardi di token) con un costo computazionale minimo (<0,13% del pretraining originale).

D. Post-Training e Allineamento

• SFT (Supervised Fine-Tuning): Creazione di GigaVerbo-v2 SFT (4,1M esempi) coprendo 12 tipi di task (codice, ragionamento, tool use, ecc.).
• Preferenze: Costruzione di GigaVerbo-v2 Preferences (28k coppie) per l'ottimizzazione delle preferenze (APO), distinguendo tra modelli Instruct (generali) e Think (specializzati nel ragionamento con catena di pensiero in portoghese).

E. Framework di Valutazione

• Sviluppo di una suite di valutazione unificata divisa in Easy Set (segnali affidabili nelle prime fasi, <200B token) e **Hard Set** (valutazione avanzata, >660B token), risolvendo il problema della volatilità dei benchmark precedenti.

3. Risultati Chiave

• Prestazioni Superiori: I modelli Tucano2-qwen-3.7B-Base e Instruct superano i modelli multilingue di dimensioni simili o maggiori (come Qwen3-4B, Qwen2.5-7B e SmolLM3-3B) su diversi benchmark portoghesi, ottenendo un punteggio NPM aggregato di 59,21 (vs 57,86 di Qwen3-4B).
• Efficienza Computazionale: Il modello Tucano2-0.6B-Base addestrato da zero ha raggiunto prestazioni superiori rispetto a modelli più grandi (es. Curió-1.1B) consumando il 92% in meno di energia e carbonio.
• Capacità di Ragionamento: La variante Tucano2-qwen-3.7B-Think dimostra capacità di ragionamento a catena (Chain-of-Thought) interamente in portoghese, superando modelli di riferimento su task di conoscenza e ragionamento, nonostante un contesto limitato a 4.096 token.
• Riproducibilità: Tutti gli artefatti (modelli, dataset, ricette di addestramento, codice di valutazione) sono stati rilasciati pubblicamente sotto licenze permissive.

4. Contributi Principali

1. Corpus GigaVerbo-v2: Il più grande corpus portoghese aperto e annotato (320B token + 9,3B sintetici) con metadati di qualità e tossicità.
2. Pipeline di Filtraggio: Classificatori educativi e di tossicità addestrati e rilasciati per la comunità.
3. Dataset SFT e Preferenze: Risorse diversificate per l'addestramento di modelli Instruct e Think, inclusi dati di ragionamento e tool use.
4. Suite di Valutazione Portoghese: Un nuovo framework di benchmarking robusto che separa le fasi di valutazione in "Easy" e "Hard" set.
5. Modelli Tucano 2: Una famiglia di modelli open source (0,5B - 3,7B) che stabilisce nuovi standard per le prestazioni nel portoghese, superando le controparti multilingue.

5. Significato e Impatto

Questo lavoro dimostra che è possibile costruire modelli linguistici di alta qualità per lingue a bassa risorsa utilizzando strategie di curazione dei dati rigorosa, tokenizzazione ottimizzata e continual pretraining efficiente, senza necessitare di budget computazionali enormi come quelli delle grandi aziende tecnologiche.

• Democratizzazione: Fornisce alla comunità NLP portoghese risorse fondamentali e riproducibili, riducendo la dipendenza da modelli chiusi.
• Sostenibilità: L'approccio adottato (specialmente il continual pretraining con trapianto di tokenizzatore) offre un percorso energeticamente efficiente per l'adattamento linguistico.
• Futuro: Apre la strada a sviluppi futuri in ambiti come il ragionamento complesso, l'uso di strumenti e l'interazione agente-utente in portoghese, colmando il divario tra le lingue ad alta e bassa risorsa.

In sintesi, Tucano 2 rappresenta un passo significativo verso l'equità linguistica nell'IA, fornendo un blueprint completo e open source per lo sviluppo di LLM in lingue non inglesi.