A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

Nel mondo dell'intelligenza artificiale, i progressi più visibili derivano spesso dal software, ma il motore che li alimenta è l'hardware. Per insegnare a un computer a riconoscere un gatto in una fotografia o a tradurre una frase in un'altra lingua, gli ingegneri devono addestrare complessi modelli matematici. Questo processo di addestramento è incredibilmente esigente, richiedendo al computer di eseguire miliardi di calcoli in un tempo brevissimo. Per gestire questo carico di lavoro, i ricercatori si affidano a chip specializzati chiamati unità di elaborazione grafica, o GPU, progettati per elaborare molti compiti simultaneamente. Tuttavia, aggiungere semplicemente più di questi potenti chip non rende sempre il lavoro più veloce. Proprio come un grande team di lavoratori può rallentare un progetto se l'ufficio è troppo piccolo o se gli strumenti sono condivisi male, l'aggiunta di più GPU può talvolta creare colli di bottiglia in cui i chip passano più tempo ad aspettare i dati che a lavorare effettivamente. La sfida per scienziati e ingegneri è trovare il punto di equilibrio in cui l'hardware viene utilizzato in modo efficiente, bilanciando velocità con il costo e la complessità del sistema.

Un team di ricercatori dell'Università delle Isole Baleari ha sviluppato un nuovo modo per risolvere questo enigma. Hanno creato un metodo per esaminare diverse configurazioni informatiche utilizzate per addestrare un popolare modello di riconoscimento delle immagini noto come ResNet-50. Invece di guardare solo a quale sistema ha completato il lavoro più velocemente, volevano capire quali sistemi fossero i più efficienti. Hanno trattato le prestazioni di queste macchine come un paesaggio, cercando schemi nel modo in cui il tempo di addestramento, la velocità e l'uso delle risorse cambiavano all'aumentare del numero di chip. Raggruppando sistemi simili e confrontandoli, hanno scoperto che le configurazioni più potenti non sono sempre quelle con il maggior numero di chip.

I ricercatori hanno iniziato raccogliendo dati da uno standard industriale ampiamente utilizzato chiamato MLPerf Training benchmark. Questo dataset contiene i risultati di molte diverse organizzazioni che testano il proprio hardware sullo stesso compito di riconoscimento delle immagini. Il team ha esaminato dettagli specifici per ogni sistema, come il tipo di chip grafici utilizzati, quanti ne erano installati, quanto tempo ha richiesto l'addestramento e quanti immagini il sistema poteva elaborare ogni secondo. Hanno poi utilizzato una tecnica informatica per misurare quali di questi dettagli contassero di più. Analizzando i dati disponibili, hanno identificato un insieme di variabili che avevano un impatto significativo sulle prestazioni e sull'efficienza del sistema, concentrandosi sui driver chiave della scalabilità che potevano essere misurati. Hanno scoperto che la relazione tra il numero di chip e la velocità guadagnata non era una linea retta. In un mondo ideale, raddoppiare il numero di chip dimezzerebbe il tempo di addestramento. Nella realtà, i ricercatori hanno osservato che, man mano che i sistemi diventavano più grandi, il guadagno di velocità derivante da ogni nuovo chip iniziava a diminuire.

Per dare un senso a questi dati complessi, i ricercatori hanno raggruppato le diverse configurazioni informatiche in cinque categorie distinte in base alle loro prestazioni. Hanno scoperto che un gruppo specifico si distingueva come il più efficace. Questi sistemi utilizzavano un numero moderato di chip grafici di ultima generazione, tipicamente tra quattro e sedici unità, abbinati a potenti processori centrali. Queste configurazioni raggiungevano un equilibrio straordinario: addestravano il modello molto velocemente pur utilizzando le proprie risorse con un'alta efficienza. Al contrario, i sistemi con il maggior numero di chip, alcuni dei quali utilizzavano migliaia di unità, completavano il compito nel minor tempo assoluto, ma erano molto meno efficienti. In queste configurazioni massicce, i chip non lavoravano al massimo delle loro possibilità perché erano in attesa di dati o l'uno dell'altro, il che significa che gran parte dell'hardware costoso rimaneva inattivo.

Lo studio suggerisce che il miglior approccio per addestrare i modelli di intelligenza artificiale non sia semplicemente quello di lanciare più hardware contro il problema. Invece, i sistemi più efficaci sono quelli in cui i diversi componenti lavorano in armonia. I ricercatori hanno scoperto che le configurazioni ottimali utilizzavano connessioni ad alta velocità tra i chip e processori potenti per fornire i dati senza ritardi. Ciò permetteva ai chip grafici di rimanere occupati e produttivi. I risultati indicano che un sistema più piccolo e ben calibrato può spesso superare uno enorme e sbilanciato. Per le organizzazioni che costruiscono questi sistemi, ciò significa che investire in un numero accuratamente selezionato di chip di alto livello e garantire che siano collegati correttamente può essere una scelta più intelligente rispetto all'acquisto del più grande cluster di hardware possibile. La ricerca fornisce una guida chiara per la selezione degli strumenti giusti, mostrando che l'efficienza e le prestazioni si ottengono meglio attraverso l'equilibrio piuttosto che attraverso la pura scala.