Language Models for Portuguese: A Systematic Mapping Study

Immagina Internet come una gigantesca e frenetica biblioteca dove ogni libro è scritto in una lingua diversa. Per molto tempo, i computer più intelligenti di questa biblioteca — quelli che sanno leggere, scrivere e chiacchierare come gli esseri umani — sono stati per lo più addestrati su libri in inglese. Sono diventati incredibilmente fluidi in inglese, ma quando chiedevi loro storie di altre terre, spesso inciampavano, si confondevano o semplicemente inventavano cose. Questo perché il "cervello" di questi computer è costruito con le parole che hanno letto; se non hanno letto abbastanza libri in una lingua specifica, non possono comprendere veramente la cultura, le battute o la storia dietro quelle parole. Recentemente, gli scienziati hanno iniziato a costruire computer speciali per il portoghese, la lingua parlata da centinaia di milioni di persone in Brasile, Portogallo e parti dell'Africa e dell'Asia. Ma proprio come una biblioteca con libri sparsi, le informazioni su questi nuovi computer in portoghese sono disordinate, nascoste in posti diversi e difficili da trovare tutti insieme.

Questo articolo è come un bibliotecario super organizzato che decide di riordinare l'intera sezione in portoghese. Gli autori, un team di un'università brasiliana, sono partiti per una caccia massiccia per trovare ogni singolo modello di computer progettato per parlare portoghese che sia stato pubblicato tra il 2020 e il 2025. Non si sono limitati a contarli; hanno aperto le scatole, controllato i manuali e cercato di capire come fossero stati costruiti, cosa avessero imparato e se qualcuno potesse effettivamente usarli. Hanno trovato 46 diversi modelli, che vanno dai chatbot generici a specialisti che parlano solo di legge, medicina o petrolio e gas. La loro grande scoperta? Sebbene ci siano progressi entusiasmanti, la "biblioteca" è ancora un po' caotica. Molti di questi modelli sono come ricette segrete che solo lo chef conosce (il codice non è condiviso), alcuni sono stati istruiti usando libri tradotti che non catturano del tutto il sapore locale, e pochissimi di essi sono stati controllati per vedere se sono equi o sicuri da usare. Gli autori suggeriscono che, per rendere questi computer davvero utili per tutti coloro che parlano portoghese, dobbiamo smettere di fare affidamento sulle traduzioni, condividere i nostri progetti in modo più aperto e assicurarci che i computer comprendano la ricca diversità della lingua, non solo la versione più popolare di essa.

La Grande Caccia ai Modelli di Portoghese

Pensa al mondo dell'Intelligenza Artificiale (IA) come a un enorme cantiere edile. Per anni, i grattacieli più grandi e impressionanti sono stati costruiti usando mattoni inglesi. Questi sono i "Large Language Models" (LLM), i computer intelligenti che possono scrivere saggi, rispondere a domande e persino scrivere codice. Ma gli operai in questo cantiere si sono resi conto che, se costruisci solo con mattoni inglesi, non puoi costruire una casa che faccia sentire a casa qualcuno che parla portoghese. Così, tra il 2020 e il 2025, una nuova ondata di costruttori ha iniziato a costruire case specificamente per i parlanti portoghese.

Il problema era che queste nuove case erano sparse un po' ovunque sulla mappa. Alcune erano descritte in eleganti riviste scientifiche, altre erano solo note su un sito web, e altre ancora erano nascoste in rapporti tecnici che nessuno leggeva. Era come cercare di trovare un giocattolo specifico in una stanza dove i giocattoli erano stati gettati in pile diverse, alcune etichettate, altre no. Gli autori di questo articolo hanno deciso di riordinare la stanza. Hanno eseguito uno "studio di mappatura sistematica", che è un modo elegante per dire che hanno creato un elenco maestro di ogni modello linguistico in portoghese che riuscivano a trovare.

Hanno trovato 46 modelli in totale. Sono un sacco di computer diversi! Li hanno smistati come un collezionista che smista francobolli. Hanno guardato quale "modello base" ciascuno avesse come punto di partenza (come se fosse stato costruito su una base di BERT, Llama o T5), per cosa fosse progettato (chiacchierata generale, consulenza legale, diagnosi medica o analisi di tweet) e quanto fosse grande (variando da modelli minuscoli con 12 milioni di parametri fino a quelli massicci con 72 miliardi).

L' "Albero Genealogico" dell'IA in Portoghese

Una delle cose più interessanti che gli autori hanno fatto è stata disegnare un "albero filogenetico". Immagina un albero genealogico per questi computer. Inveve di mostrare come gli esseri umani siano imparentati con i loro nonni, questo albero mostra come questi modelli di IA siano imparentati con i loro "genitori".

Hanno scoperto che la maggior parte dei modelli in portoghese sono discendenti di alcuni famosi modelli "antenati". Il ramo familiare più grande proviene da BERT, che è come il bisnonno di molti di questi modelli; 20 dei 46 modelli trovati sono stati costruiti direttamente sopra BERT o i suoi cugini. La seconda famiglia più grande è quella di Llama, che è l'antenato nuovo e di tendenza su cui si basa un altro 10 modelli.

L'albero mostra anche come questi modelli si siano evoluti. Alcuni sono nati come computer generici (buoni per tutto) e poi hanno ricevuto un addestramento specializzato per diventare esperti in campi specifici. Ad esempio, c'è un ramo dove un modello è iniziato come lettore generico, poi ha studiato libri di medicina per diventare un "CardioBERTpt" (un'IA medico cardiologo), e poi un'altra versione ha studiato documenti legali per diventare un "JurisBERT" (un'IA avvocato). È come uno studente che inizia in una scuola generale e poi frequenta college specializzati per diventare un medico o un avvocato.

Il Problema della "Porta Aperta"

Gli autori hanno anche controllato le porte di queste 46 case per vedere se qualcuno potesse entrare. Hanno cercato tre cose:

1. Il Codice: Puoi vedere i progetti (blueprint)?
2. Il Modello: Puoi scaricare il cervello del computer finito?
3. I Dati: Puoi vedere i libri su cui il computer è stato addestrato?

Le notizie qui sono un po' miste. Dei 46 modelli, solo 11 avevano il codice sorgente (i progetti) disponibile per tutti. Circa 5 modelli erano completamente chiusi — non potevi usarli affatto. E per quanto riguarda i dati di addestramento (i libri), solo 17 modelli utilizzavano dati liberamente scaricabili. Il resto utilizzava dati che erano o nascosti dietro un paywall, o richiedevano permessi speciali per essere richiesti, o erano tenuti segreti dall'azienda che li aveva costruiti.

Gli autori hanno anche controllato se questi modelli avessero una "Model Card", che è come un'etichetta nutrizionale per l'IA. Ti dice cosa il modello sa fare bene, cosa sa fare male e se ha dei pregiudizi. Sorprendentemente, solo 3 dei 46 modelli avevano un'etichetta nutrizionale completa e perfetta. La maggior parte aveva etichette a metà, e 10 non avevano alcuna etichetta. Questo significa che se usi questi modelli, potresti non sapere esattamente a cosa vai incontro.

La "Trappola della Traduzione" e le Voci Mancanti

Uno dei risultati più importanti riguarda il modo in cui questi modelli hanno imparato a parlare. Gli autori hanno notato che molti modelli sono stati istruiti usando libri tradotti dall'inglese al portoghese. Immagina di cercare di imparare la cultura brasiliana leggendo un libro che è stato originariamente scritto a New York e poi tradotto parola per parola. Potresti azzeccare la grammatica, ma perderesti lo slang, le battute e i sentimenti locali.

L'articolo suggerisce che fare affidamento sui dati tradotti sia un problema. Significa che questi modelli potrebbero non comprendere le sfumature culturali uniche dei parlanti portoghese in Brasile, Portogallo o Africa. Inoltre, gli autori sottolineano che quasi tutti i modelli trovati si concentrano solo su due versioni del portoghese: il portoghese brasiliano e il portoghese europeo. Hanno completamente ignorato gli altri sette paesi in cui il portoghese è una lingua ufficiale, come l'Angola, il Mozambico e Capo Verde. Gli autori sostengono che questo sia una forma di "pregiudizio linguistico": presumere che, poiché un modello parla portoghese brasiliano ed europeo, possa parlare per tutti coloro che parlano la lingua. Suggeriscono che i futi modelli debbano essere addestrati su dati che rappresentino veramente la diversità di tutte le nazioni di lingua portoghese.

Cosa C'è Dopo?

Gli autori concludono che, sebbene si sia fatto molta strada, ne abbiamo ancora molta da fare. Suggeriscono che la prossima generazione di IA in portoghese debba:

• Smettere di usare dati tradotti e iniziare a usare libri e conversazioni originali in portoghese provenienti da tutto il mondo.
• Condividere i propri progetti (codice) in modo che altri scienziati possano controllare il loro lavoro e migliorarlo.
• Includere più voci dai parlanti portoghesi dell'Africa e dell'Asia, non solo del Brasile e del Portogallo.
• Aggiungere più sensi. Al momento, la maggior parte di questi modelli comprende solo il testo. Gli autori vedono una grande opportunità nel costruire modelli che possano anche comprendere immagini e suoni (modelli multimodali) specificamente per il portoghese, come un computer che può guardare una foto di una strada brasiliana e descriverla usando lo slang locale.

In breve, la biblioteca dell'IA in portoghese sta crescendo rapidamente, ma ha bisogno di una migliore organizzazione, di porte più aperte e di una maggiore varietà di voci per servire davvero i milioni di persone che parlano la lingua.