DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

Il mondo dell'intelligenza artificiale sta correndo velocemente, alimentato da enormi chip per computer chiamati GPU che fungono da motori per l'addestramento e l'esecuzione di complessi modelli linguistici. Questi modelli possono scrivere storie, risolvere problemi e sostenere conversazioni, ma richiedono enormi quantità di potenza di calcolo. Per stare al passo, i data center aggiornano costantemente il proprio hardware, ritirando chip funzionanti per fare spazio a componenti più veloci e nuovi. Questo ciclo lascia dietro di sé un accumulo crescente di acceleratori capaci ma "vecchi", creando un mercato secondario dove questi componenti scartati vengono venduti per una frazione del loro prezzo originale. La domanda che i ricercatori e gli ingegneri si pongono è se queste macchine ritirate possano avere una seconda vita produttiva per servire compiti di IA moderna, o se la loro età le renda troppo inefficienti e dispendiose per essere utili.

Un team di ricercatori ha deciso di rispondere a questo quesito costruendo un massiccio cluster di calcolo partendo interamente da zero utilizzando solo parti usate. Non si sono limitati ad acquistare schede grafiche usate; hanno reperito processori, memorie, schede madri ed equipaggiamento di rete usati per costruire un sistema di 128 GPU NVIDIA V100 ritirate. Questa collezione, che hanno chiamato "DumpsterCluster", è stata progettata per testare se l'hardware vecchio potesse gestire il pesante carico di lavoro dell'esecuzione di grandi modelli linguistici, nello specifico un modello con 70 miliardi di parametri noto come LLaMA-70B. Il team ha trascorso un anno facendo girare questo cluster in un ambiente reale, servendo vere richieste di utenti, per vedere se l'approccio fosse economicamente sostenibile e ambientalmente sostenibile. I loro risultati rivelano una storia di sorprendente potenziale che però arriva con un insieme rigoroso di condizioni: sebbene l'hardware possa funzionare, il suo successo dipende interamente da dove viene collocato e da come viene gestito.

Il caso economico di questo approccio è sorprendente. I ricercatori hanno assemblato l'intero sistema da 128 GPU per circa 22.000 dollari, un prezzo che è sceso da 32.000 dollari nel corso dello studio a causa della svalutazione del mercato. Al contrario, un sistema moderno con solo otto delle GPU di ultima generazione costa circa 600.000 dollari. Questa enorme differenza nel costo iniziale significa che, anche se i chip più vecchi sono meno potenti individualmente, l'enorme numero di essi permette al cluster di elaborare un volume significativo di dati. Facendo girare il sistema per un anno, il team ha dimostto di poter servire il modello linguistico in modo efficace, raggiungendo una velocità di generazione del testo che, sebbene più lenta rispetto ai super-chip più recenti, era sufficiente per molte applicazioni pratiche. La chiave per far funzionare il tutto non è stata solo l'acquisto delle parti, ma la riscrittura del software che le fa girare.

Il software standard per l'esecuzione di questi modelli è progettato per l'hardware più recente, che possiede connessioni molto veloci tra i chip. Le vecchie GPU V100 del DumpsterCluster hanno connessioni più lente e meno memoria, il che normalmente causerebbe loro un blocco durante l'elaborazione di modelli grandi. Per risolvere il problema, i ricercatori hanno sviluppato un motore personalizzato che cambia il modo in cui il lavoro viene suddiviso. Invece di cercare di forzare i chip a comunicare costantemente tra loro, hanno organizzato il modello in modo che ogni chip gestisca una sezione specifica del calcolo in una lunga catena, passando i risultati lungo la linea. Hanno anche ottimizzato il sistema in modo che il processore centrale del computer gestisca i trasferimenti di dati in background mentre le schede grafiche continuano a lavorare, evitando che il sistema rimanga inattivo. Questa strategia ha permesso ai 128 vecchi chip di funzionare come un'unica unità coesa capace di eseguire un modello che non entrerebbe affatto in un singolo chip.

Tuttavia, lo studio rivela che questa soluzione non è una soluzione universale per i problemi energetici e ambientali dell'industria dell'IA. I ricercatori hanno scoperto che, sebbene il costo iniziale sia basso, il costo per far girare le macchine nel tempo dipende fortemente dal prezzo dell'elettricità e dalla fonte di tale energia. I chip più vecchi sono meno efficienti dal punto di vista energetico rispetto a quelli moderni, il che significa che consumano più energia per generare la stessa quantità di testo. Se questo cluster viene fatto girare in una regione in cui l'elettricità proviene da combustibili fossili, le emissioni di carbonio totali prodotte per parola generata possono essere decine di volte superiori rispetto all'uso di un sistema nuovo ed efficiente. Il beneficio ambientale del riutilizzo dell'hardware viene completamente annullato se l'elettricità utilizzata per alimentarlo è sporca. Il sistema diventa veramente sostenibile solo quando è situato in aree con energia abbondante, economica e pulita, come le regioni alimentate da energia eolica o idroelettrica. In quelle località specifiche, il basso costo dell'elettricità compensa l'inefficienza dei vecchi chip, rendendo il costo totale di proprietà basso e l'impronta di carbonio gestibile.

Anche l'affidabilità dell'hardware ha presentato sfide che il team ha dovuto gestire. Nel corso dell'anno, il cluster ha subito numerosi intoppi tecnici, ma la stragrande maggioranza erano glitch software che potevano essere risolti con un semplice riavvio piuttosto che con una riparazione fisica. I veri guasti dell'hardware, in cui un chip o un componente si è effettivamente rotto, sono stati rari, verificandosi in meno del 14 percento degli incidenti. Ciò suggerisce che, con un'attenta sperimentazione e un po' di capacità extra costruita per gestire i guasti, l'hardware usato può essere abbastanza affidabile per l'uso in produzione. I ricercatori hanno osservato che il sistema è più adatto a rispondere a domande e generare testo, piuttosto che per l'addestramento di nuovi modelli da zero, che richiede un tipo diverso di potenza di calcolo e stabilità.

In definitiva, il documento dimostra che dare una seconda vita alla tecnologia obsoleta è possibile, ma non si tratta semplicemente di collegare vecchie parti. Il successo di un tale "DumpsterCluster" dipende da un delicato equilibrio di ingegneria, economia e geografia. Richiede software specializzati per superare i limiti dell'hardware datato, una posizione con elettricità economica e pulita per mantenere bassi i costi di gestione e le emissioni, e una tolleranza per un tasso di manutenzione leggermente superiore rispetto ai sistemi nuovi di zecca. Quando queste condizioni sono soddisfatte, l'approccio offre una via percorribile per espandere la capacità dell'IA senza i massicci costi finanziari e ambientali della continua produzione di nuovi chip. Suggerisce un futuro in cui il ciclo di vita dell'hardware informatico viene esteso, a patto che siamo disposti a far corrispondere gli strumenti giusti alle fonti energetiche giuste.