The Big Send-off: Scalable and Performant Collectives for Deep Learning

Il paper introduce PCCL, una libreria di comunicazione collettiva ottimizzata per il deep learning distribuito che, grazie a un design gerarchico e algoritmi adattivi, supera significativamente le prestazioni di soluzioni esistenti come RCCL e NCCL su supercomputer GPU su larga scala, accelerando fino a 4,9 volte l'addestramento di modelli di produzione.

L'essenziale

Immagina di dover organizzare una festa enorme con migliaia di amici (i computer) che devono scambiarsi ricette (i dati) per cucinare insieme un piatto gigante (l'Intelligenza Artificiale).

Questo articolo parla di un nuovo modo per gestire questo scambio di ricette, chiamato PCCL, che risolve i problemi delle vecchie librerie usate oggi nei supercomputer.

Ecco la spiegazione semplice, passo dopo passo:

1. Il Problema: Il Collo di Bottiglia

Oggi, quando i computer imparano cose nuove (come i modelli di intelligenza artificiale), devono condividere enormi quantità di dati.

• L'analogia: Immagina di avere 2.000 persone in una stanza. Ognuno deve passare un foglio di carta a tutti gli altri.
• Il problema attuale: Le librerie che usiamo oggi (come RCCL o NCCL) funzionano come una coda singola. La persona 1 passa il foglio alla 2, la 2 alla 3, e così via. Se sei in fondo alla coda, aspetti un'eternità. Inoltre, se il foglio è molto grande (come una ricetta con 100 pagine), la coda si blocca completamente.
• Il risultato: Più computer aggiungi, più il sistema diventa lento invece di diventare veloce. È come se aggiungessi più cassieri a un supermercato, ma tutti dovessero usare lo stesso unico bancone.

2. La Soluzione: PCCL (La Libreria Intelligente)

Gli autori hanno creato PCCL, che è come un organizzatore di feste super-efficiente. Invece di usare una sola coda, usa tre trucchi magici:

Trucco A: La Gerarchia (Il "Capo" e i "Sottoposti")

Invece di far parlare tutti con tutti direttamente, PCCL divide il lavoro in due livelli:

1. Livello Locale: Prima, i computer nello stesso "edificio" (o nodo) si scambiano i dati velocemente tra loro (come amici che si passano i fogli seduti allo stesso tavolo).
2. Livello Globale: Poi, i "capitani" di ogni edificio si scambiano i dati con gli altri edifici.

• L'analogia: Invece di far parlare 2.000 persone tutte insieme, fai parlare prima i gruppi di 8 persone, poi i leader dei gruppi. Questo riduce il caos e usa tutte le porte della stanza, non solo una.

Trucco B: Le Strade Veloci (Algoritmi Diversi)

PCCL sa che non esiste una strada perfetta per ogni situazione.

• Se il pacco è piccolo e ci sono poche persone, usa una strada veloce a "doppio senso" (algoritmo ricorsivo).
• Se il pacco è enorme e ci sono poche persone, usa una strada a "cerchio" (algoritmo ad anello).
• L'analogia: È come avere un'auto che cambia automaticamente il tipo di gomme: gomme da neve per la montagna, gomme da corsa per l'asfalto. PCCL sceglie la strada migliore in base alla situazione.

Trucco C: L'Intelligenza Artificiale che Sceglie (Il "Cervello")

Questa è la parte più geniale. PCCL ha un piccolo "cervello" (un modello di apprendimento automatico) che guarda la situazione in tempo reale.

• Si chiede: "Quanti computer stiamo usando? Quanto è grande il dato? Quale libreria è più veloce ora?".
• Poi decide istantaneamente se usare la vecchia libreria (se funziona bene) o il nuovo sistema PCCL.
• L'analogia: È come un navigatore GPS che, invece di darti sempre la stessa strada, controlla il traffico in tempo reale e ti dice: "Oggi usa la strada vecchia, domani usa quella nuova".

3. I Risultati: Quanto è veloce?

Gli autori hanno testato PCCL sui due supercomputer più potenti del mondo (Frontier e Perlmutter) con migliaia di schede grafiche (GPU).

• Il confronto: Hanno messo PCCL contro i vecchi sistemi.
• Il risultato:
  • In alcuni casi, PCCL è stato fino a 168 volte più veloce dei vecchi sistemi!
  • Immagina di dover aspettare 168 minuti per un'operazione che ora dura solo 1 minuto.
  • Anche nei casi "meno estremi", ha raddoppiato o triplicato la velocità.

4. Perché è importante per noi?

Non si tratta solo di numeri. Se i supercomputer sono più veloci:

• Gli scienziati possono addestrare modelli di Intelligenza Artificiale molto più grandi e intelligenti in meno tempo.
• Le ricerche mediche o climatiche che richiedono calcoli enormi diventano più rapide.
• Si risparmia energia, perché i computer finiscono il lavoro prima e si spengono.

In sintesi

Il paper dice: "Le vecchie regole per scambiare dati tra migliaia di computer non funzionano più bene. Noi abbiamo creato un nuovo sistema (PCCL) che organizza il traffico in modo intelligente, usa strade diverse a seconda del bisogno e sceglie automaticamente la strategia migliore. Il risultato? Un'Intelligenza Artificiale che impara molto più velocemente."

Sommario tecnico

Titolo

The Big Send-off: Collettivi Scalabili e Performanti per il Deep Learning

1. Il Problema

Con l'aumento dei carichi di lavoro di Intelligenza Artificiale distribuita, la comunicazione collettiva (come all-gather, reduce-scatter e all-reduce) è diventata un collo di bottiglia critico nei data center e nei supercomputer. Le librerie esistenti, come NCCL (NVIDIA), RCCL (AMD) e Cray-MPICH, mostrano limitazioni significative di prestazioni e scalabilità quando operano su migliaia di GPU con dimensioni dei messaggi elevate (decine o centinaia di MB), tipiche del training di modelli di grandi dimensioni (LLM).

Le analisi preliminari hanno rivelato tre problemi principali:

• Cray-MPICH: Sottoutilizza le risorse di rete (utilizza una sola NIC per le operazioni di scrittura e un'altra per la lettura invece di distribuirle su tutte le interfacce disponibili) e sposta le operazioni di riduzione sulla CPU invece che sulla GPU, introducendo un overhead computazionale eccessivo.
• NCCL e RCCL: Si basano quasi esclusivamente sull'algoritmo "ring" (ad anello) per le operazioni di all-gather e reduce-scatter. Sebbene efficiente per carichi limitati da larghezza di banda, l'algoritmo ring ha una latenza che scala linearmente con il numero di processi ($O(p)$), rendendolo inefficiente su grandi scale (migliaia di GPU) o con messaggi più piccoli, dove la latenza diventa il fattore dominante.

2. Metodologia: La Libreria PCCL

Gli autori hanno sviluppato PCCL (Performant Collective Communication Library), una libreria ottimizzata specificamente per i carichi di lavoro di Deep Learning distribuito. La soluzione si basa su tre pilastri fondamentali:

A. Design Gerarchico a Due Livelli

PCCL scompone le operazioni collettive globali in fasi intra-nodo e inter-nodo per sfruttare al meglio l'architettura hardware:

1. Fase Inter-nodo: Le comunicazioni tra i nodi vengono gestite utilizzando algoritmi a bassa latenza (come recursive doubling per all-gather e recursive halving per reduce-scatter) implementati tramite MPI point-to-point. Questo riduce il numero di step di comunicazione da lineare a logaritmico ($O(\log p)$).
2. Fase Intra-nodo: Le comunicazioni all'interno dello stesso nodo sfruttano librerie vendor ottimizzate (NCCL o RCCL) che utilizzano interconnessioni ad alta velocità (NVLink, Infinity Fabric) e memoria condivisa.
3. Shuffle Locale: Una fase finale di riordinamento dei dati (shuffle) eseguita localmente su ogni GPU tramite kernel CUDA.

Questo approccio risolve il problema del sottoutilizzo delle NIC: distribuendo il traffico inter-nodo su tutte le interfacce di rete disponibili (es. 4 NIC per nodo su Frontier), si massimizza la banda disponibile.

B. Implementazioni Ottimizzate

• Offloading GPU: A differenza di Cray-MPICH, PCCL esegue le operazioni di riduzione (riduzione vettoriale) direttamente sulle GPU, evitando il trasferimento dati CPU-GPU e l'elaborazione sulla CPU.
• Algoritmi Ibridi: Per le operazioni inter-nodo, PCCL implementa sia algoritmi basati su ring (ottimi per grandi messaggi e pochi processi) sia algoritmi ricorsivi (ottimi per molti processi e messaggi più piccoli).

C. Dispatcher Adattivo Basato su Apprendimento

Poiché non esiste un algoritmo o una libreria che sia sempre la migliore per ogni configurazione, PCCL integra un dispatcher intelligente basato su Support Vector Machines (SVM).

• Il dispatcher analizza in tempo reale le caratteristiche del carico di lavoro (dimensione del messaggio e numero di GPU).
• Utilizza un modello SVM addestrato su dati empirici per selezionare dinamicamente il backend più performante tra le opzioni disponibili: librerie esistenti (NCCL, RCCL, Cray-MPICH) o le nuove implementazioni gerarchiche di PCCL (PCCL_ring, PCCL_rec).
• Il modello ha dimostrato un'accuratezza di previsione superiore all'80-90% su configurazioni non viste durante l'addestramento.

3. Risultati Sperimentali

Le valutazioni sono state condotte su due supercomputer di classe leader: Frontier (AMD MI250X, rete Slingshot-11) e Perlmutter (NVIDIA A100).

Prestazioni delle Primitive Collettive

• Su Frontier (2048 GCDs):
  • Reduce-scatter: Speedup fino a 168× rispetto a RCCL.
  • All-gather: Speedup fino a 33× rispetto a RCCL.
  • All-reduce: Speedup fino a 10× rispetto a RCCL.
  • PCCL mantiene una scalabilità quasi perfetta (linea piatta), mentre RCCL e Cray-MPICH degradano linearmente all'aumentare dei processi.
• Su Perlmutter:
  • Speedup fino a 5.7× rispetto a NCCL, specialmente in scenari sensibili alla latenza (molti processi, messaggi moderati).

Impatto sul Training di Modelli Deep Learning

I guadagni nelle primitive si traducono direttamente in velocità di training:

• DeepSpeed ZeRO-3: Su Frontier, PCCL ha fornito un speedup fino a 4.9× rispetto a RCCL nel training di modelli GPT da 7B e 13B parametri su 2048 GCDs.
• PyTorch DDP: Su Frontier, speedup fino a 2.4× rispetto a RCCL nel training di un modello da 1.3B parametri.
• Su Perlmutter, PCCL ha mostrato miglioramenti significativi (fino a 1.37×) su 2048 GPU, superando NCCL quando la scala aumenta.

4. Contributi Chiave

1. Analisi Critica: Identificazione delle inefficienze specifiche di Cray-MPICH (sottoutilizzo NIC e CPU-bound reduction) e di NCCL/RCCL (mancanza di algoritmi a bassa latenza scalabili per all-gather/reduce-scatter).
2. Progettazione PCCL: Sviluppo di un'implementazione gerarchica che combina algoritmi ricorsivi inter-nodo con librerie vendor intra-nodo, offloadando il calcolo alla GPU.
3. Intelligenza Adattiva: Integrazione di un dispatcher basato su machine learning (SVM) per la selezione automatica dell'algoritmo ottimale in base al contesto.
4. Validazione su Scala Industriale: Dimostrazione di miglioramenti drastici non solo in micro-benchmark, ma in carichi di lavoro reali di training di LLM su supercomputer di punta.

5. Significato e Impatto

Il lavoro dimostra che le librerie di comunicazione standard, progettate per un'era precedente o per carichi di lavoro HPC tradizionali, non sono più sufficienti per la nuova generazione di modelli di AI su larga scala.

• Scalabilità: PCCL abilita un training efficiente su migliaia di GPU, superando i limiti di scalabilità delle soluzioni attuali.
• Efficienza delle Risorse: Ottimizza l'uso delle interfacce di rete e delle GPU, riducendo i tempi di inattività e i costi computazionali.
• Futuro dell'AI: Man mano che i modelli diventano più grandi (miliardi di parametri), l'uso di comunicazioni collettive "intelligenti" e consapevoli dell'architettura (come PCCL) diventerà un abilitatore essenziale per l'addestramento di modelli di intelligenza artificiale su supercomputer di prossima generazione.

In sintesi, PCCL rappresenta un passo avanti fondamentale nell'ottimizzazione dell'infrastruttura software per il Deep Learning distribuito, colmando il divario tra le prestazioni teoriche dell'hardware e le prestazioni reali ottenute nelle applicazioni di produzione.