CRAFT: Cost-aware Expert Replica Allocation with Fine-Grained Layerwise Estimations

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere un ristorante di lusso molto affollato, dove i clienti (i "token" del testo) arrivano in continuazione e devono essere serviti da una squadra di chef specializzati (gli "expert" del modello).

In un ristorante normale, tutti gli chef fanno più o meno lo stesso lavoro. Ma in questo ristorante speciale, c'è una regola strana: ogni cliente chiede un piatto molto specifico.

Alcuni chef sono super-famosi (gli "expert caldi"): ricevono 90% degli ordini perché tutti vogliono il loro piatto speciale.
Altri chef sono sotto-occupati (gli "expert freddi"): ricevono pochissimi ordini.

Il Problema: Il Collo di Bottiglia

Quando il ristorante si riempie, gli chef famosi vanno in tilt. Lavorano così tanto che i loro clienti devono aspettare ore (il sistema si blocca). Nel frattempo, gli chef meno famosi stanno a guardare, con le mani in mano. Questo è il problema che i ricercatori chiamano "squilibrio del carico".

Per risolvere questo, i ristoranti moderni usano due strategie:

Ridistribuzione: Cercano di mettere gli chef famosi e quelli meno famosi su tavoli diversi per bilanciare il lavoro. Funziona bene se il carico è uniforme, ma se tutti vogliono lo stesso piatto, non basta.
Copie degli Chef (Replicazione): La soluzione più comune è assumere copie degli chef famosi. Se "Chef Mario" è il più richiesto, ne assumi 4 copie. Così, il lavoro viene diviso tra 4 persone.

Il problema di questa soluzione? Assumere 4 copie di Mario costa tantissimo! Occupano spazio nella cucina (memoria GPU) e se ne assumi troppi, la cucina diventa così piccola che non riesci più a preparare i piatti velocemente. Inoltre, spesso si assumono troppe copie di chef che non ne avevano bisogno, sprecando soldi e spazio.

La Soluzione: CRAFT (Il Manager Intelligente)

Gli autori di questo paper hanno creato CRAFT, un nuovo "manager" per il ristorante. CRAFT non assume copie a caso. Fa un'analisi precisa per capire chi ha davvero bisogno di aiuto e quanto.

Ecco come funziona, passo dopo passo, con una metafora semplice:

1. L'Analisi dei Ricercatori (La Mappatura)

Prima di aprire il ristorante, CRAFT guarda le statistiche degli ultimi 3.000 giorni.

Si rende conto che per il "Piatto A" (Layer 1), 1 copia extra è sufficiente.
Per il "Piatto B" (Layer 2), servono 4 copie perché è un disastro.
Per il "Piatto C" (Layer 3), non serve nessuna copia perché il carico è già perfetto.

L'idea geniale: Invece di dare a tutti lo stesso numero di copie (come facevano i manager precedenti), CRAFT dà a ciascuno esattamente quello che gli serve. È come se dicesse: "Mario, ti serve una copia. Giulia, ti servono tre copie. Luca, stai tranquillo, non ti serve nessuno."

2. Il Budget (La Memoria GPU)

Immagina di avere un budget limitato per assumere personale.

Il vecchio metodo (chiamato EPLB) diceva: "Assumiamo una copia per ogni chef, ovunque!". Risultato? La cucina era piena di chef, ma non c'era spazio per le pentole (la memoria per i dati dei clienti, o "KV Cache"). Il ristorante rallentava perché non c'era spazio per lavorare.
CRAFT dice: "Usiamo il budget per assumere copie solo dove servono davvero". Risparmiamo spazio nella cucina, permettendo di avere più pentole e più clienti contemporaneamente.

3. Il Risultato: Un Ristorante più Veloce

Grazie a questo approccio intelligente:

Nessuno aspetta: Gli chef famosi non sono più sovraccarichi.
Nessuno spreca: Non abbiamo chef in più che non lavorano.
Più clienti: Il ristorante riesce a servire più persone nello stesso tempo (il "throughput" aumenta del 14-20%).

In Sintesi

Il paper spiega che i modelli di Intelligenza Artificiale moderni (come quelli che scrivono testi o creano immagini) sono come questi ristoranti caotici.
CRAFT è il sistema che ottimizza il lavoro:

Non sprecano memoria (soldi) creando copie inutili.
Non lasciano che gli chef più importanti si blocchino.
Risultato: L'IA risponde più velocemente, costa meno da gestire e funziona meglio anche quando il ristorante è strapieno di clienti.

È come passare da un sistema in cui "tutti ricevono lo stesso regalo" (spesso inutile) a un sistema in cui "ognuno riceve esattamente ciò di cui ha bisogno per essere felice ed efficiente".

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema: Squilibrio del Carico nei Modelli MoE

I modelli Mixture-of-Experts (MoE) sono diventati lo standard per scalare i Large Language Models (LLM) mantenendo costi computazionali per token quasi costanti. Tuttavia, il loro deployment su larga scala introduce una sfida critica: lo squilibrio del carico degli esperti (Expert Load Imbalance).

Causa: Il routing dinamico nei MoE, basato sulla distribuzione di Zipf dei token naturali, tende a inviare un numero sproporzionato di token a pochi "esperti caldi" (hot experts), lasciando gli altri "freddi" (cold experts).
Conseguenze: Questo squilibrio crea colli di bottiglia sulle GPU che ospitano gli esperti caldi, causando tempi di attesa (stall) sulle GPU con carico basso e congestione di rete durante le operazioni all-to-all.
Soluzioni Esistenti e Limiti:
- Expert Placement: Cerca di bilanciare gli esperti caldi e freddi sullo stesso dispositivo. Funziona bene in molti casi, ma fallisce quando pochi esperti dominano quasi tutto il carico.
- Expert Replication (es. EPLB): Replica gli esperti caldi su più dispositivi per distribuire il carico. Sebbene efficace, le tecniche attuali (come EPLB) utilizzano una replicazione uniforme (es. una replica per layer per GPU). Questo approccio è inefficiente:
  1. Sovra-replicazione: Molte repliche offrono benefici marginali o nulli.
  2. Overhead di Memoria: Le repliche consumano memoria GPU preziosa, riducendo la dimensione della KV Cache (necessaria per contesti lunghi) e degradando il throughput complessivo a causa della contesa delle risorse.

2. Metodologia: Il Framework CRAFT

CRAFT è un framework di allocazione delle repliche degli esperti consapevole dei costi (Cost-Aware) che mira a massimizzare l'equilibrio del carico entro un budget di memoria definito, utilizzando stime fine-grained per layer.

Osservazioni Chiave alla base del design

Gli autori hanno identificato due fenomeni fondamentali:

Rendimenti decrescenti: All'aumentare del numero di repliche, il guadagno in equilibrio del carico diminuisce rapidamente.
Eterogeneità per Layer: Non tutti i layer beneficiano allo stesso modo della replicazione.
- Layer ad alto skew (High-skew): Pochi esperti dominano il carico; la replicazione offre benefici enormi.
- Layer a basso skew (Low-skew): Il carico è già distribuito; la replicazione offre benefici minimi o nulli.

Flusso di Lavoro di CRAFT

CRAFT opera in tre fasi principali:

Stima del Beneficio per Layer (Offline):
- Analizza la distribuzione del carico degli esperti (ottenuta tramite profiling offline).
- Stimare il "beneficio di replicazione" (guadagno in equilibrio) per diversi numeri di repliche (in progressione geometrica) per ogni singolo layer.
- Genera una matrice che quantifica quanto ogni layer guadagna aggiungendo repliche.
Allocazione Ottimale delle Repliche (Ottimizzazione):
- Trasforma il problema di allocazione in un Multiple-Choice Knapsack Problem (MCKP).
- L'obiettivo è massimizzare il guadagno totale di equilibrio mantenendo il numero totale di repliche entro il budget di memoria (definito dal fattore di replicazione $R$ ).
- Utilizza la programmazione dinamica per selezionare il numero ottimale di repliche per ogni layer (es. 4 repliche per un layer molto skew, 0 per uno già bilanciato).
Assegnazione e Placement Consapevole della Capacità:
- Poiché il numero di repliche varia per layer, l'assegnazione agli GPU non è banale.
- CRAFT utilizza un algoritmo greedy con due obiettivi:
  - Assegnare esperti aggiuntivi alle GPU con il minor numero di esperti (per bilanciare la capacità di memoria).
  - Distribuire gli esperti in modo interleaved tra i nodi per bilanciare il carico a livello di nodo e minimizzare la frammentazione della memoria KV Cache.

3. Contributi Chiave

Prima caratterizzazione dettagliata: È il primo lavoro che analizza come il throughput e l'equilibrio del carico scalino con il numero di repliche, dimostrando che le tecniche uniformi attuali sono inefficienti.
Framework End-to-End (CRAFT): Un sistema che integra la replicazione fine-grained nei framework di serving esistenti (come SGLang) senza richiedere ri-addestramento o modifiche al modello.
Ottimizzazione del Trade-off Memoria/Performance: CRAFT risolve il dilemma tra memoria occupata dalle repliche e capacità di bilanciare il carico, allocando risorse solo dove sono realmente necessarie.

4. Risultati Sperimentali

Il framework è stato valutato su cluster AWS (fino a 12 nodi) con modelli MoE su larga scala (DeepSeek-R1-671B e Kimi-K2-1000B) e diversi dataset.

Throughput: CRAFT aumenta il throughput di servizio end-to-end di 1.14x in media (fino a 1.2x) rispetto alle tecniche di replicazione esistenti (EPLB).
Efficienza della Memoria: Rispetto a EPLB, CRAFT utilizza 7.25x - 7.5x meno repliche per ottenere benefici di equilibrio simili. Questo risparmio di memoria permette di mantenere una KV Cache più grande, migliorando la gestione di contesti lunghi.
Robustezza: CRAFT mostra guadagni significativi sia su dataset altamente skew (dove il baseline fallisce) che su dataset meno skew (dove EPLB soffre di sovra-replicazione).
Scalabilità: CRAFT scala efficientemente all'aumentare della dimensione del cluster, mentre le soluzioni basate solo su placement o replicazione uniforme degradano le prestazioni su cluster più grandi a causa dello squilibrio di carico o della scarsità di memoria.
Overhead: L'overhead di runtime è nullo. L'unico costo è una stima offline di circa 10 secondi durante l'inizializzazione, che è trascurabile rispetto al tempo di avvio del framework.

5. Significato e Impatto

CRAFT rappresenta un passo avanti significativo nell'ottimizzazione dei sistemi MoE per la produzione. Dimostra che una gestione intelligente e granulare delle risorse (repliche) è superiore alle strategie uniformi "one-size-fits-all".

Riduzione dei Costi Operativi: Massimizzando l'utilizzo delle GPU e riducendo la contesa della memoria, CRAFT permette di servire più richieste con la stessa infrastruttura hardware.
Adattabilità: Essendo indipendente dal modello e dal framework di training, può essere adottato immediatamente in infrastrutture esistenti.
Sostenibilità: Migliorando l'efficienza computazionale, contribuisce a ridurre l'impronta energetica dei grandi modelli di intelligenza artificiale.

In sintesi, CRAFT risolve il problema dello squilibrio di carico nei MoE non aggiungendo più hardware o memoria, ma allocando le risorse esistenti in modo molto più intelligente e mirato.