🤖 machine learning

Model Parallelism With Subnetwork Data Parallelism

Questo articolo introduce il Subnetwork Data Parallelism (SDP), un framework di addestramento distribuito che suddivide i modelli in sottoreti strutturate addestrate tra i worker senza scambiare attivazioni, ottenendo riduzioni di memoria significative (28%-60%) pur mantenendo o migliorando le prestazioni attraverso varie architetture e scale.

Autori originali: Vaibhav Singh, Zafir Khalid, Pietro Cagnasso, Edouard Oyallon, Eugene Belilovsky

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Vaibhav Singh, Zafir Khalid, Pietro Cagnasso, Edouard Oyallon, Eugene Belilovsky

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot enorme, brillante ma incredibilmente affamato (un grande modello di IA) come parlare o riconoscere le immagini. Il problema è che questo robot richiede una cucina così grande e costosa che solo poche persone possono permettersi di costruirla. Nel mondo dell'IA, questa "cucina" è la memoria del computer (RAM) sulle potenti schede grafiche (GPU).

Il documento presenta un nuovo modo per addestrare questi enormi robot chiamato Subnetwork Data Parallelism (SDP). Ecco come funziona, spiegato attraverso semplici analogie.

Il Vecchio Modo: Il Problema della "Replica Completa"

Tradizionalmente, per addestrare una grande IA, i ricercatori utilizzano un metodo chiamato Data Parallelism (DDP).

L'Analogia: Immagina di avere un team di 8 chef (GPU) che cercano di cucinare un banchetto massiccio. Nel vecchio metodo, ogni singolo chef riceve una copia completa e integrale dell'intero libro di ricette e di ogni singolo ingrediente. Tutti cucinano l'intero pasto, lo assaggiano e poi si scambiano le proprie note per concordare su come migliorare la ricetta per il round successivo.
Il Problema: Questo è incredibilmente dispendioso. Ogni chef ha bisogno di una cucina enorme solo per contenere la propria copia della ricetta e degli ingredienti. Se la ricetta è troppo grande, la cucina esplode (esaurisce la memoria) e gli chef non riescono a cucinare affatto.

Il Nuovo Modo: Il "Team Specializzato" (SDP)

Gli autori propongono il Subnetwork Data Parallelism (SDP). Invece di dare a ogni chef l'intera ricetta, dividono la ricetta in sezioni specifiche e assegnano diverse sezioni a chef diversi.

L'Analogia: Ora, lo Chef A è responsabile solo degli antipasti, lo Chef B delle zuppe e lo Chef C dei piatti principali.
- Nessuna Condivisione dell'Intero Pasto: Fondamentalmente, non devono passare l'intero piatto avanti e indietro. Parlano solo degli ingredienti specifici su cui stanno lavorando.
- La Cucina si Restringe: Poiché lo Chef A deve solo contenere la ricetta dell'antipasto, la sua cucina può essere molto più piccola. Questo ti permette di far entrare un banchetto massiccio in una cucina molto più piccola e meno costosa.
- Il Risultato: Puoi addestrare un robot molto più grande (o addestrarlo più velocemente) senza aver bisogno di una cucina super costosa.

Due Modi per Dividere il Lavoro

Il documento testa due modi diversi per assegnare queste "sotto-ricette" agli chef:

Forward Masking (L'approccio "Taglia gli Ingredienti"):
- Come funziona: Lo chef letteralmente scarta gli ingredienti che non dovrebbe usare prima di iniziare a cucinare. Cucina solo la parte del piatto che gli è stata assegnata.
- Il Vantaggio: Questo risparmia la maggior parte dello spazio perché non devono nemmeno conservare gli ingredienti non utilizzati. È come cucinare una zuppa comprando solo le carote e le cipolle di cui hai bisogno, ignorando completamente il resto della lista della spesa.
- L'Ostacolo: Poiché stanno ignorando parti della ricetta, devono cucinare qualche batch in più per assicurarsi di apprendere l'immagine completa.
Backward Masking (L'approccio "Leggi Tutto il Libro, Scrivi Solo le Tue Note"):
- Come funziona: Lo chef legge l'intero libro di ricette (il modello completo) per comprenderne il contesto, ma quando scrive le sue note su come migliorare il piatto, scrive solo della sezione di cui è responsabile.
- Il Vantaggio: Questo è un po' più "onesto" dal punto di vista matematico perché lo chef comprende comunque l'intero pasto, ma salva spazio solo sulle note che scrive. È un modo più sicuro e stabile per imparare.

Cosa Hanno Scoperto?

I ricercatori hanno testato questo approccio su due tipi di IA molto diversi:

Modelli di Linguaggio (LLM): Come i modelli "LLaMA" che scrivono testi. Hanno provato ad addestrare modelli con 500 milioni e 1 miliardo di "neuroni" (parametri).
- Risultato: Hanno ridotto la memoria necessaria del 28% - 60%. In alcuni casi, potevano far entrare un modello che prima richiedeva una cucina enorme in una cucina molto più piccola, senza alcuna perdita nella capacità di parlare dell'IA.
- Bonus: Hanno scoperto che l'SDP funziona perfettamente con altri trucchi di risparmio della memoria (come l'"Activation Checkpointing" e l'"FSDP"). È come incastrare i blocchi Lego; puoi combinare l'SDP con altri metodi per ridurre l'uso della memoria in modo massiccio, fino all'85%.
Classificatori di Immagini: Modelli che riconoscono le immagini (come ResNet e Swin Transformers).
- Risultato: Hanno addestrato questi modelli su dataset di immagini standard (CIFAR). Anche con molta meno memoria (a volte solo il 40% dell'originale), l'IA era brava quanto la versione a dimensione intera nel riconoscere le immagini. In alcuni casi, l'approccio del "team specializzato" ha persino aiutato l'IA a imparare meglio, agendo come una forma di "regolarizzazione" (un modo per evitare l'overthinking).

In Sintesi

Questo documento non sostiene di aver inventato un nuovo tipo di IA o un nuovo modo per usare l'IA negli ospedali o nelle auto a guida autonoma. Invece, risolve un problema di logistica.

Pensa a un nuovo modo per organizzare una squadra di costruzione. Invece di dare a ogni lavoratore un set completo di progetti per un grattacielo (che occupa troppo spazio nelle tasche), dai a ogni lavoratore solo i progetti per il suo specifico piano. Costruiranno comunque lo stesso grattacielo, ma avranno bisogno di meno spazio in tasca e potrai costruire edifici più alti con le stesse risorse.

Punti Chiave:

SDP divide un grande modello di IA in pezzi più piccoli distribuiti su diversi computer.
Elimina la necessità per ogni computer di contenere l'intero modello, risparmiando il 28%–60% di memoria.
Funziona con i modelli di IA esistenti (come LLaMA e ResNet) senza cambiare il modo in cui vengono utilizzati.
Può essere combinato con altri trucchi di risparmio della memoria per risparmiare ancora più spazio (fino all'85%).
L'IA performa altrettanto bene (o a volte meglio) rispetto al metodo tradizionale, nonostante utilizzi meno memoria.

Riepilogo Tecnico: Subnetwork Data Parallelism (SDP)

Problematica

La rapida scalabilità delle reti neurali profonde ha creato una domanda di memoria senza precedenti sugli acceleratori, rendendo spesso necessari strategie di addestramento distribuito. Sebbene il Data Parallelism (DDP) sia ampiamente utilizzato, esso replica il modello completo su ogni GPU, portando a un elevato overhead di memoria e a una costosa sincronizzazione dei gradienti. Al contrario, il Model Parallelism (ad esempio, Pipeline Parallelism, Tensor Parallelism) suddivide il modello tra i dispositivi per ospitare architetture più grandi, ma introduce costi di comunicazione significativi per le attivazioni e spesso soffre di pipeline bubble e squilibri di carico.

Le soluzioni attuali come il Fully Sharded Data Parallelism (FSDP) e ZeRO riducono la memoria per dispositivo tramite lo sharding di parametri, gradienti e stati dell'ottimizzatore, eppure incorrono ancora in un overhead di comunicazione sostanziale, in particolare durante la sincronizzazione dei gradienti. Rimane una sfida aperta nel ridurre la larghezza di banda delle attivazioni e l'uso della memoria per nodo senza sacrificare la qualità della convergenza o richiedere interconnessioni ad alta velocità.

Metodologia: Subnetwork Data Parallelism (SDP)

Gli autori propongono il Subnetwork Data Parallelism (SDP), un framework di addestramento distribuito che partiziona un modello in sottoreti strutturate addestrate attraverso i worker senza scambiare attivazioni. A differenza degli approcci a pipeline che suddividono il calcolo in modo sequenziale, l'SDP assegna a ogni worker una porzione strutturalmente completa del modello (una sottorete) che preserva un percorso completo dall'input alla perdita (loss), consentendo il calcolo indipendente dei gradienti.

Meccanismi Core

Costruzione della Sottorete:
- Livello di Blocco (B-SDP): Rimuove interi blocchi architettonici (ad esempio, blocchi Transformer o blocchi base di ResNet).
- Livello di Neurone/Canale (N-SDP): Rimuove neuroni specifici negli strati completamente connessi o canali negli strati convoluzionali, garantendo la coerenza tra gli strati adiacenti.
- I worker sincronizzano i parametri sovrapposti attraverso la media a passi successivi (stepwise averaging).
Regimi di Masking:
Il documento investiga due strategie di masking complementari per definire come le sottoreti vengono utilizzate durante l'addestramento:
- Forward-Masking: Il modello viene valutato utilizzando parametri mascherati ( $m_{fwd} = m$ ). Questo rimuove parametri, attivazioni e gradienti per le componenti mascherate, producendo sostanziali risparmi di memoria e di calcolo. Tuttavia, i gradienti riflettono il passaggio forward mascherato.
- Backward-Masking: Il passaggio forward utilizza il modello completo ( $m_{fwd} = m_{uni}$ ), mentre la sparsità è applicata solo durante la backpropagation e l'aggregazione ( $m_{bwd} = m$ ). Ciò mantiene stime dei gradienti non distorte (teoricamente fondate) e offre una baseline rigorosa, sebbene risparmi memoria principalmente su gradienti e stati dell'ottimizzatore piuttosto che sulle attivazioni.
Base Teorica:
Gli autori forniscono un'analisi della convergenza per il regime backward-masked in contesti $L$ -smooth. Dimostrano che il tasso di convergenza è governato dall' "errore di masking", definito come la distanza tra il masking uniforme e la specifica distribuzione di maschera. L'analisi collega la qualità della convergenza al gap spettrale del grafo di maschera, mostrando che l'assegnazione di parametri sovrapposti con media periodica mantiene una sincronizzazione parziale.

Contributi Chiave

Nuovo Paradigma: Introduzione dell'SDP come un paradigma di addestramento distribuito efficiente dal punto di vista della memoria, che distribuisce l'addestramento di sottoreti tra i nodi, riducendo la memoria per dispositivo del 28%–60% mantenendo o migliorando le prestazioni.
Garanzie Teoriche: Una base teorica che lega la convergenza dell'SDP backward-masked a una condizione di gap spettrale sul grafo di maschera, provando che i gradienti non distorti sono mantenuti sotto specifiche condizioni di masking.
Componibilità: Dimostrazione che l'SDP è ortogonale alle tecniche esistenti di risparmio della memoria. Esso rimuove fisicamente le componenti del modello, restringendo simultaneamente parametri, gradienti, stati dell'ottimizzatore e attivazioni. Ciò consente all'SDP di comporsi pulitamente con FSDP (ZeRO-3) e Activation Checkpointing (AC).
Generalizzabilità: Validazione dell'SDP attraverso diverse architetture, inclusi i grandi modelli linguistici (LLaMA) e i modelli di classificazione di immagini (ResNet, Swin Transformer), dimostrando che è un'alternativa "drop-in" al data parallelism standard.

Risultati Sperimentali

Grandi Modelli Linguistici (LLaMA)

Gli esperimenti sono stati condotti su FineWeb con modelli LLaMA da 134M, 500M e 1B di parametri.

Efficienza della Memoria: Alla scala di 1B, B-SDP con il 69% di componenti attive ( $C=0.69$ ) ha ridotto il picco di memoria della GPU del 28% rispetto al DDP, ottenendo al contempo una loss di validazione uguale o inferiore. Alla scala di 500M, B-SDP con il 50% di componenti attive ha ridotto la memoria del 40%.
Prestazioni sui Task Downstream: Su cinque benchmark downstream (ARC-E, BoolQ, HellaSwag, OBQA, SciQ), tutte le varianti SDP hanno eguagliato le prestazioni del DDP entro circa 1 punto sulle medie macro, con alcune varianti (B-SDP) che mostrano lievi miglioramenti su specifici task.
Componibilità: Combinando B-SDP con FSDP e Activation Checkpointing si è ottenuto un uso di memoria di picco di 9.7 GB per dispositivo per il modello da 1B, una riduzione dell'85% rispetto al DDP (70.9 GB) e strettamente inferiore a FSDP+AC da solo (11.0 GB).
Comunicazione: L'SDP ha ridotto il volume di comunicazione per step di circa il 28% (spostando 2.253 MB rispetto ai 3.143 MB del DDP). In configurazioni inter-nodo, la combinazione di B-SDP e FSDP ha ridotto il tempo di addestramento (wall-clock time) del 19.9% rispetto al DDP.

Classificazione di Immagini

Gli esperimenti sono stati eseguiti su CIFAR-10 e CIFAR-100 utilizzando ResNet-18, WideResNet-18 e Swin-Tiny.

ResNet-18: Le configurazioni SDP hanno raggiunto un'accuratezza competitiva o superiore rispetto al DDP utilizzando solo il 40% del budget di memoria del DDP. L'N-SDP (livello di neurone) ha mostrato un forte effetto di regolarizzazione, superando il DDP con il 64% di utilizzo della memoria.
Swin Transformer: L'B-SDP ha eguagliato l'accuratezza del DDP su CIFAR-10 con il 68% della memoria e ha migliorato l'accuratezza del 2% su CIFAR-100 con una riduzione della memoria del 32%.
Limiti di Sparsità: Mentre il forward masking (B-SDP/N-SDP) ha performato bene a livelli di sparsità moderata, il Backward-Masking (Bb-SDP) si è dimostrato superiore a livelli di estrema sparsità (ad esempio, $C=3/8$ ), prevenendo il collasso del modello dove altre varianti sono fallite.

Significato e Rivendicazioni

Il documento afferma che l'SDP offre un pratico "terzo asse" di parallelismo, complementare al data e al model parallelism. Il suo significato primario risiede nella capacità di:

Decouple la Memoria dalla Banda: Eliminando la necessità di scambiare attivazioni tra i worker, l'SDP mitiga i colli di bottiglia della larghezza di banda che spesso limitano il pipeline e il tensor parallelism.
Abilitare lo Scaling FLOP-Matched: L'SDP consente di addestrare modelli più grandi o sequenze più lunghe sotto lo stesso budget hardware. La leggera riduzione del tasso di convergenza per iterazione è compensata dalla capacità di aumentare il numero di iterazioni (FLOP-matched) grazie alla riduzione del calcolo e della comunicazione per step.
Fornire una Soluzione Drop-in: L'SDP funziona come una sostituzione diretta del data parallelism standard, richiedendo nessun cambiamento nell'infrastruttura distribuita sottostante oltre alla logica di masking.

Gli autori sottolineano che l'SDP è particolarmente prezioso in scenari in cui la memoria e la larghezza di banda sono i vincoli primari, offrendo una via scalabile per addestrare grandi modelli su acceleratori con memoria limitata senza la complessità di complessi scheduling di pipeline o l'overhead di comunicazione dello sharding completo.