Wasted large language models: A life cycle thinking approach
Questo articolo propone l'applicazione del quadro della gerarchia dei rifiuti dell'UE ai modelli linguistici di grandi dimensioni (LLM) come approccio basato sul pensiero del ciclo di vita per mitigare il loro crescente impatto ambientale, sottolineando che prevenire l'uso non necessario e l'addestramento di nuovi modelli è la strategia più efficace per ridurre la loro impronta di carbonio.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Viviamo in un'epoca in cui le macchine possono scrivere poesie, risolvere equazioni complesse e generare codice informatico con una velocità sorprendente. Queste macchine sono alimentate da modelli linguistici di grandi dimensioni, un tipo di intelligenza artificiale che apprende elaborando enormi quantità di informazioni. Sebbene questi strumenti promettano di rivoluzionare il nostro modo di lavorare, comportano un prezzo elevato: consumano enormi quantità di elettricità per l'addestramento e l'esecuzione, lasciando un'impronta carbonica significativa sul pianeta. Per anni, gli scienziati hanno cercato di rendere questi modelli più efficienti dal punto di vista energetico, sperando di ridurne l'impatto ambientale. Tuttavia, un fenomeno noto come paradosso di Jevons spesso mina questi sforzi; man mano che i modelli diventano più efficienti ed economici da gestire, tendiamo a usarli di più, non di meno, portando a un aumento netto del consumo totale di energia. Ciò crea la necessità urgente di un tipo diverso di soluzione, una che guardi oltre la semplice efficienza e consideri l'intero ciclo di vita della tecnologia, dalla sua creazione al suo eventuale smaltimento.
Un team di ricercatori di SINTEF Digital in Norvegia ha proposto un nuovo modo di pensare a questo problema applicando un concetto solitamente riservato ai rifiuti fisici: la gerarchia dei rifiuti. Nell'Unione Europea, le leggi riguardanti i rifiuti fisici danno priorità a cinque fasi: prevenire la creazione di rifiuti, riutilizzare gli oggetti, riciclarli in nuovi materiali, recuperare energia da essi e, infine, smaltirli responsabilmente. I ricercatori suggeriscono che dovremmo considerare i modelli linguistici di grandi dimensioni non solo come software, ma come prodotti che possono diventare rifiuti. Proprio come una bottiglia di plastica può essere scartata quando non è più utile, un modello linguistico può diventare un rifiuto quando viene sostituito da una versione più recente o semplicemente abbandonato. Trattando questi strumenti digitali come prodotti dotati di un ciclo di vita, gli autori sostengono che possiamo trovare nuovi modi per ridurre il loro impatto ambientale che vadano oltre il semplice rendere i modelli più veloci o piccoli.
Il nucleo dell'argomentazione dei ricercatori è che il modo più efficace per ridurre l'impatto climatico dell'intelligenza artificiale sia prevenire lo spreco evitando la creazione non necessaria di nuovi modelli. Quando viene addestrato un nuovo modello, sono necessarie enormi quantità di energia per l'elaborazione dei dati, la sperimentazione e il processo di apprendimento effettivo. Se riusciamo a prolungare la vita di un modello esistente o a trovare modi per riutilizzarlo per compiti diversi, evitiamo la necessità di bruciare energia per costruirne uno nuovo da zero. Il documento evidenzia che, a differenza degli oggetti fisici, il software non può rompersi o usurarsi, quindi il motivo principale per cui i modelli diventano rifiuti è che vengono sostituiti da versioni più recenti e veloci. Questo rapido turnover è guidato da un mercato competitivo in cui i laboratori rilasciano costantemente modelli aggiornati, rendendo spesso quelli precedenti obsoleti prima che siano stati pienamente utilizzati. I ricercatori suggeriscono che spostare il focus dalla ricerca delle prestazioni assolute al trovare ciò che è "abbastanza buono" potrebbe rallentare significativamente questo ciclo di sostituzione e ridurre l'energia spesa per l'addestramento.
Per gestire i rifiuti che si verificano, gli autori esplorano come le altre fasi della gerarchia dei rifiuti possano applicarsi ai modelli digitali. Il riutilizzo è l'approccio più diretto; poiché i modelli digitali possono essere copiati senza costi, dovremmo massimizzare il loro uso in diverse applicazioni prima di considerarli obsoleti. Il documento cita tecniche come il "fine-tuning", in cui a un modello esistente viene fornito una piccola quantità di nuovo addestramento per specializzarlo in un compito specifico, come una forma di riciclo. Ciò consente al modello originale, che richiede un dispendio energetico elevato, di essere adattato invece di essere scartato. Allo stesso modo, il "recupero" consiste nel trovare modi per rendere questi modelli utili più a lungo, come collegarli a database esterni per migliorarne l'accuratezza senza doverli riaddestrare da zero. Anche l'ultima fase dello smaltimento, che di solito significa buttare via qualcosa, ha un ruolo qui. Sebbene la cancellazione di un file digitale non lasci alcun residuo fisico, i server che memorizzano i modelli non più utilizzati consumano comunque elettricità. Pertanto, eliminare attivamente i modelli che non sono più necessari è un modo pratico per risparmiare energia e rispettare le risorse investite nella loro creazione.
I ricercatori mettono inoltre in guardia contro la "mentalità del monouso" che la comodità digitale favorisce. Poiché eliminare un modello sembra privo di costi, gli sviluppatori e gli utenti spesso trascurano l'immensa energia e il tempo investiti nella sua creazione. Il documento osserva che esiste attualmente una lacuna nel modo in cui interagiamo con questi strumenti; le interfacce spesso incoraggiano l'uso costante senza aiutare gli utenti a comprendere il costo ambientale o guidarli verso alternative più efficienti. Gli autori suggeriscono che dobbiamo diventare più consapevoli di quando un modello linguistico di grandi dimensioni è effettivamente necessario rispetto a quando basterebbe uno strumento più semplice e meno energivoro. Sostengono che, sebbene la tecnologia sia potente, il suo valore deve essere pesato rispetto al suo costo, e che seguire ciecamente la tendenza dei continui aggiornamenti dei modelli potrebbe portarci a sprecare risorse in prodotti che offrono pochi benefici netti.
In definitiva, questo studio non sostiene di aver risolto la crisi climatica dell'intelligenza artificiale, né suggerisce di smettere del tutto di sviluppare nuovi modelli. Al contrario, offre un quadro per pensare con più cura al ciclo di vita di questi strumenti. Vedendo i modelli linguistici di grandi dimensioni come prodotti che possono diventare rifiuti, possiamo identificare opportunità per prevenire l'addestramento non necessario, prolungare la vita utile dei modelli esistenti e smaltire responsabilmente quelli non utilizzati. Gli autori propongono che questo cambio di prospettiva sia essenziale per muoversi verso un futuro più sostenibile per l'intelligenza artificiale, esortandoci a valorizzare le risorse che abbiamo già speso prima di affrettarci a creare qualcosa di nuovo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.