A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emersa una nuova generazione di programmi informatici in grado di comprendere e generare il linguaggio umano con una fluidità sorprendente. Questi sistemi, spesso chiamati modelli di base (foundation models), sono costruiti alimentando enormi quantità di testo in strutture matematiche complesse note come reti neurali. L'idea prevalente in questo campo è stata che più grande sia meglio: più dati un modello vede e più grande è la sua struttura interna, più intelligente diventa. Questa spinta verso la scala ha portato a modelli con miliardi di parametri, capaci di eseguire compiti senza un addestramento specifico per essi, semplicemente riconoscendo schemi nel testo che hanno consumato. Tuttavia, questa corsa alle dimensioni comporta un costo nascosto. La massiccia potenza di calcolo necessaria per addestrare questi modelli consuma enormi quantità di elettricità, e l'impatto ambientale di tale uso energetico è diventato una preoccupazione pressante. Mentre il mondo affronta la crisi climatica, comprendere la vera impronta di carbonio di questi giganti digitali non è più solo un dettaglio tecnico, ma una parte necessaria per valutarne il valore per la società.

Un team di ricercatori del Technology Innovation Institute di Abu Dhabi e di LightOn a Parigi ha deciso di guardare oltre i numeri consueti. Invece di contare solo l'elettricità utilizzata per addestrare un singolo modello, hanno condotto una rendicontazione completa, end-to-end, di un progetto chiamato Noor. Questo progetto mirava a costruire i modelli linguistici più grandi mai creati per la lingua araba, con dimensioni che vanno da 1,5 a 13 miliardi di parametri. I ricercatori volevano conoscere il prezzo ambientale totale per dare vita a questi modelli, dal primissimo passo della raccolta dei dati fino al momento in cui i modelli potrebbero essere utilizzati dalle persone in futuro. Hanno tracciato ogni fonte di consumo energetico, inclusa la conservazione di enormi dataset, gli esperimenti preliminari necessari per perfezionare il design, il processo di addestramento principale e persino i viaggi necessari affinché il team internazionale potesse collaborare. Il loro obiettivo era dipingere un quadro completo delle emissioni di carbonio generate da un'impresa così ambiziosa.

Il viaggio è iniziato con i dati. Per insegnare ai modelli la lingua araba, il team ha dovuto assemblare una collezione personalizzata di testi contenente 150 miliardi di parole. Ciò ha comportato il download di enormi quantità di dati dal web, la rimozione di contenuti di bassa qualità e l'organizzazione degli stessi affinché i computer potessero leggerli. Conservare e spostare questi terabyte di informazioni richiedeva un'energia significativa, ancor prima che l'effettivo addestramento iniziasse. I ricercatori hanno calcolato che l'energia utilizzata solo per archiviare e trasferire questi dati, insieme al lavoro preliminare di pulizia e preparazione, rappresentava una parte sostanziale dell'uso energetico totale del progetto. Hanno scoperto che l'impegno per preparare i dati non era un compito secondario, ma un importante contributore al costo ambientale complessivo.

Una volta pronti i dati, il team è passato alla fase di addestramento, dove i computer imparano a prevedere la parola successiva in una frase. Questa è la parte più energivora del processo. Il team ha addestrato quattro modelli diversi di dimensioni crescenti su un supercomputer potente. Hanno scoperto che le emissioni di carbonio derivanti da questo addestramento dipendevano fortemente da dove si trovavano i computer. Quando hanno utilizzato un data center in Lussemburgo, che funziona con elettricità molto pulita, le emissioni sono state sorprendentemente basse. Tuttavia, quando hanno utilizzato il proprio cluster di calcolo ad alte prestazioni negli Emirati Arabi Uniti, le emissioni sono state molto più elevate perché il mix elettrico locale includeva fonti più intensive di carbonio. Lo studio ha dimostrato che la posizione del lavoro computazionale è importante quanto la quantità di lavoro svolto. In totale, l'addestramento dei quattro modelli ha consumato la maggior parte dell'energia, ma non era l'unico fattore.

I ricercatori hanno anche esaminato l'elemento umano del progetto. Il team era composto da scienziati che lavoravano sia in Francia che negli Emirati Arabi Uniti, i quali dovevano viaggiare tra i due paesi per tenere workshop e sessioni di brainstorming. Hanno calcolato le emissioni di carbonio derivanti da questi voli e hanno scoperto che queste costituivano una parte significativa dell'impronta totale. Infatti, il viaggio da solo ha rappresentato quasi un quinto delle emissioni di carbonio totali del progetto. Questo risultato ha messo in discussione l'assunto comune secondo cui l'unica cosa che conta è il tempo di calcolo del computer. Lo studio ha evidenziato che in un mondo in cui i data center stanno diventando più efficienti e l'elettricità sta diventando più pulita, le emissioni derivanti dai viaggi umani e da altri costi indiretti potrebbero diventare la parte dominante dell'impatto ambientale di un progetto.

Guardando al futuro, il team ha anche stimato cosa potrebbe accadere quando questi modelli saranno effettivamente utilizzati dalle persone. Hanno calcolato l'energia necessaria affinché i modelli generino testo in risposta ai prompt degli utenti. Hanno scoperto che se questi modelli venissero utilizzati ampiamente, l'energia consumata durante l'uso quotidiano potrebbe eventualmente superare l'energia utilizzata per addestrarli in origine. Questa è un'intuzione cruciale perché l'addestramento avviene una sola volta, ma l'uso può avvenire milioni di volte. I ricercatori hanno osservato che se i modelli vengono implementati su computer alimentati da energia pulita, l'impatto sarebbe basso, ma se funzionano su reti alimentate da combustibili fossili, il costo ambientale potrebbe essere molto elevato.

Il conteggio finale per il progetto Noor è stato di 36,5 tonnellate di equivalente di anidride carbonica. Per mettere questo dato in prospettiva, la persona media negli Stati Uniti genera circa 20 tonnellate di emissioni di carbonio all'anno, il che significa che l'intero progetto di ricerca ha prodotto l'equivalente di poco più di due anni di emissioni per una persona. Sebbene ciò possa sembrare piccolo rispetto all'inquinamento industriale, è significativo per un singolo sforzo di ricerca. Lo studio ha concluso che il principale motore di questa impronta è stata l'intensità di carbonio dell'elettricità utilizzata per l'addestramento. Scegliendo di eseguire i propri calcoli in una località con energia più pulita, il team ha stimato che avrebbe potuto ridurre l'impronta totale di oltre la metà.

Il documento non suggerisce che dovremmo smettere di costruire grandi modelli linguistici, ma sostiene che dobbiamo essere più riflessivi su come li costruiamo. I ricercatori raccomandano che i progetti futuri debbano tracciare sistematicamente tutte le fonti di emissioni, non solo il tempo di addestramento. Suggeriscono che scegliere data center con energia pulita, minimizzare i viaggi non necessari e utilizzare hardware informatico più efficiente può ridurre drasticamente il costo ambientale. Sottolineano inoltre che man mano che la tecnologia migliora e il processo di addestramento diventa più efficiente, l'attenzione deve spostarsi sugli altri costi, come i viaggi e l'uso a lungo termine dei modelli. Adottando una visione olistica, la comunità scientifica può continuare ad avanzare nell'intelligenza artificiale mantenendo al contempo un occhio attento sul suo impatto sul pianeta.