Il linguaggio è il ponte che connette le persone, permettendo loro di commerciare, imparare e condividere idee oltre i confini. Eppure, per oltre un miliardo di persone nel continente africano, questo ponte è spesso interrotto o del tutto assente nel mondo digitale. Sebbene l'intelligenza artificiale abbia compiuto passi incredibili negli ultimi anni, aiutando i computer a comprendere e parlare molte lingue, ha ampiamente saltato le diverse parlate dell'Africa subsahariana. Questo divario crea un divario digitale, lasciando molte comunità impossibilitate ad accedere agli strumenti di produttività e collaborazione che l'IA offre. Il problema centrale non è solo la mancanza di interesse, ma una carenza di dati di alta qualità. Per insegnare a un computer a tradurre, i ricercatori hanno bisogno di enormi quantità di testo in cui le frasi in una lingua siano accoppiate perfettamente con le loro traduzioni in un'altra. Per molte lingue africane, tali dati puliti e su larga scala semplicemente non esistono nel mondo aperto, costringendo i ricercatori a fare affidamento su frammenti disordinati e non strutturati provenienti da internet o su piccoli dataset costosi che sono troppo limitati per insegnare bene a un computer.

Un team di ricercatori presso Tether AI Research si è posto l'obiettivo di correggere questo squilibrio costruendo una nuova base per la traduzione automatica. Hanno introdotto un progetto chiamato TranslatePsy-AfriSLM, che fornisce un toolkit completo per tradurre tra l'inglese e diciannove diverse lingue dell'Africa subsahariana. Inveve di cercare di costruire un enorme e costoso cervello informatico che fatica con queste lingue, si sono concentrati sulla creazione di un modello più piccolo e altamente efficiente. Il loro approccio non consisteva solo nel raccogliere più dati, ma nell'essere incredibilmente selettivi. Hanno sviluppato un metodo rigoroso per setacciare milioni di coppie di frasi, scartando la stragrande maggioranza di quelle rumorose o di scarsa qualità, e mantenendo solo gli esempi migliori. Combinando questi dati accuratamente curati con un tipo specifico di testo generato dal computer, hanno addestrato un modello di soli 0,8 miliardi di parametri. Nonostante sia minuscolo rispetto ai modelli giganti utilizzati dalle grandi aziende tecnologiche, il loro piccolo modello ha superato sistemi che sono decine di volte più grandi, dimostrando che la qualità dei dati conta molto più della dimensione pura del cervello informatico.

Il viaggio verso questo risultato è iniziato con il riconoscimento che le fonti di dati esistenti erano difettose. I ricercatori hanno esaminato le enormi biblioteche di testo disponibili su internet, che contengono miliardi di coppie di frasi. Tuttavia, hanno trovato queste collezioni simili a una biblioteca dove i libri sono gettati in un mucchio senza ordine; contenevano duplicati, errori e frasi che non corrispondevano bene. Hanno anche esaminato dataset più piccoli, creati dall'uomo, che erano puliti ma troppo piccoli per insegnare efficacemente a un modello. Per risolvere questo, il team ha costruito una pipeline a più fasi per pulire e organizzare i dati. Hanno iniziato raccogliendo testo grezzo da fonti aperte e poi hanno utilizzato un sofisticato sistema di punteggio per valutare la qualità di ogni singola coppia di frasi. Questo sistema non si affidava a un solo modo per giudicare la qualità, ma combinava gli approfondimenti di tre diversi strumenti di valutazione per creare un punteggio singolo e affidabile. Ciò ha permesso loro di filtrare fino al 96 percento dei dati di addestramento senza perdere alcun valore di apprendimento. In sostanza, hanno capito che il computer non aveva bisogno di leggere milioni di cattivi esempi per imparare; aveva solo bisogno di leggere alcuni migliaia di esempi perfetti.

Una parte cruciale della loro scoperta è stata capire come generare nuovi dati. Poiché le traduzioni umane di alta qualità erano scarse, il team ha utilizzato un potente modello informatico per creare dati sintetici traducendo grandi quantità di testo dall'inglese alle lingue africane. Hanno scoperto che questi dati generati dal computer, quando filtrati attraverso i loro severi controlli di qualità, erano in realtà superiori ai dati grezzi trovati su internet. Erano più puliti, più coerenti e fornivano un segnale più forte da cui il modello potere imparare. Hanno anche scoperto che la direzione in cui si valutavano i dati era immensamente importante. Se giudicavano una coppia di frasi nell'ordine sbagliato rispetto a come il modello avrebbe eventualmente utilizzato, le prestazioni diminuivano significativamente. Allineando i loro controlli di qualità con la direzione finale della traduzione, hanno garantito che ogni pezzo di dato fornito al modello fosse rilevante e di alta qualità.

I risultati di questa attenta cura sono stati sorprendenti. Il team ha addestrato una serie di piccoli modelli linguistici, con il più piccolo che aveva solo 0,8 miliardi di parametri. Quando testato su benchmark standard, questo minuscolo modello ha battuto sistemi molto più grandi, inclusi un modello da 27 miliardi di parametri e un enorme modello da 122 miliardi di parametri che sono considerati all'avanguardia. Ha persino superato modelli di traduzione specializzati che erano stati progettati specificamente per questo compito. I ricercatori hanno scoperto che il loro modello non solo traduceva meglio, ma manteneva anche la capacità di sostenere conversazioni, una caratteristica che spesso si perde quando i modelli vengono addestrati esclusivamente su dati di traduzione. Hanno anche testato il modello su lingue che non aveva mai visto prima, e ha mostrato una capacità di generalizzazione notevole, migliorando le sue prestazioni su nuove lingue non viste. Ciò suggerisce che le lezioni apprese dalle diciannove lingue target hanno aiutato il modello a comprendere la struttura sottostante del linguaggio in un modo che si è trasferito ad altre lingue.

Forse la scoperta più sorprendente è stata che l'aggiunta di una piccola quantità di dati da altre lingue, come quelle dell'Asia e dell'Europa, ha aiutato il modello a ricordare come parlare quelle lingue senza dimenticarle. Questo ha prevenuto un problema comune nell'intelligenza artificiale noto come oblio catastrofico, in cui l'apprendimento di una nuova abilità causa la perdita di una vecchia da parte del computer. Includendo questo mix diversificato, il modello è diventato più robusto e versatile. I ricercatori hanno anche notato che, sebbene i loro dati fossero eccellenti, presentavano comunque dei limiti. Hanno riconosciuto che senza una valutazione umana, è difficile sapere se le traduzioni siano veramente perfette in ogni sfumatura culturale, e che i dati potrebbero favorire le forme scritte standard rispetto ai dialetti regionali. Tuttavia, il loro lavoro dimostra che con il giusto approccio alla qualità dei dati, è possibile costruire strumenti potenti ed efficienti per le lingue che sono state lasciate indietro.

Questo lavoro segna un passo significativo verso la chiusura del divario digitale per le lingue africane. Dimostra che la strada da seguire non è necessariamente costruire computer sempre più grandi, ma essere più intelligenti riguardo ai dati che li alimentiamo. Concentrandosi sulla qualità piuttosto che sulla quantità e utilizzando un filtraggio rigoroso per creare un ambiente di apprendimento pulito, i ricercatori possono costruire modelli che siano sia efficienti che efficaci. Il team ha reso i propri dati e modelli pubblici, invitando altri a costruire su questa base. Il loro successo suggerisce che, con un impegno continuo e una cura attenta, la barriera all'ingresso per l'alta qualità della traduzione automatica nelle lingue a basse risorse può essere abbassata, aprendo nuove possibilità di comunicazione e collaborazione in tutto il continente. Il futuro dell'intelligenza artificiale in Africa potrebbe non dipendere dall'avere l'hardware più potente, ma dall'avere i dati più riflessivi.