Diagnosing Overhead in Dispatch Operations: Cross-architecture Observatory

Riepilogo Tecnico: Diagnosi dell'Overhead nelle Operazioni di Dispatch: Cross-architecture Observatory (DODOCO)

Enunciato del Problema
Il dispatch AlltoAll rappresenta il collo di bottiglia dominante nel parallelismo degli esperti (EP) per i modelli Mixture-of-Experts (MoE). La comunità degli interconnetti ha proposto quattro famiglie di mitigazioni: posizionamento predittivo dei campioni, ridisposizione adattiva degli esperti, collettivi gerarchici e topologia consapevole dell'EP. Queste soluzioni si basano su due assunzioni non esaminate:

1. Correggibilità (Assunzione A): Lo squilibrio di instradamento è una proprietà del carico di lavoro che un livello di sistema sufficientemente intelligente può ridurre.
2. Validità dei Benchmark (Assunzione B): I benchmark basati su token fittizi (che utilizzano ID uniformi casuali) rappresentano fedelmente il comportamento di instradamento in produzione.
   Il documento sostiene che queste assunzioni non sono state testate frontalmente, portando potenzialmente a design di sistema ottimizzati per carichi di lavoro fantasma.

Metodologia
Gli autori introducono DODOCO, uno studio empirico progettato per testare queste assunzioni utilizzando un disegno fattoriale 5×6 su cinque architetture MoE distinte e sei condizioni di dati.

• Architetture: Lo studio copre cinque design di sequence-mixer che attraversano le principali famiglie di modelli:

  • DeepSeek-V2-Lite: Multi-head Latent Attention (MLA).
  • DeepSeek-MoE-16B: Standard Multi-Head Attention (MHA).
  • Qwen3-30B-A3B: Grouped-Query Attention (GQA).
  • Nemotron-30B-A3B: Mamba-2 (State Space Model).
  • Qwen3.5-35B-A3B: Gated Delta Networks (GDN).
  • Nota: La coppia MLA e MHA costituisce un confronto controllato, condividendo il numero di esperti, top-k, gating e strategie di bilanciamento del carico, differendo solo nel meccanismo di attenzione.

• Condizioni dei Dati: Sei condizioni isolano proprietà indipendenti dei flussi di token:

  1. Mock: ID di token uniformi casuali (predefinito standard dei benchmark).
  2. Shuffled: Token reali di wikitext con permutazione globale (preserva la frequenza, distrugge la sequenza).
  3. Remapped: Sequenze reali con ID di vocabolario permutati (preserva la sequenza, distrugge gli embedding).
  4. Romansh: Testo reale in una lingua romanza a risorse limitate (struttura linguistica non vista).
  5. Opus: Tracce di ragionamento in inglese post-cutoff (contenuto non visto).
  6. Wikitext: Wikipedia in inglese (struttura e contenuto familiari).

• Hardware e Scala: Gli esperimenti sono eseguiti su GPU H100 (supercomputer Helma NHR@FAU) con NVLink intra-nodo e InfiniBand inter-nodo. Lo studio include una scansione EP a finestra abbinata (4, 8, 16, 32 rank) e una scansione della dimensione del batch globale (GBS) da 64 a 2048.

• Metriche: Lo studio utilizza tre riassunti scalari della matrice dei conteggi di invio ($S$):

  • Rapporto max/medio per esperto: Per misurare la distorsione delle decisioni di instradamento indipendentemente dalla mappatura esperto-rank.
  • Coefficiente di Gini: Per misurare lo squilibrio di carico per rank.
  • $\alpha$ di Dirichlet Simmetrico Adattato: Per risolvere le differenze nei regimi quasi uniformi dove il Gini comprime i valori.

Risultati Chiave

1. Il Scaling EP Non Riduce gli Stragglers (Q1)
Contrariamente all'assunzione che l'aumento dei gradi EP appiani la distribuzione del carico, lo studio rileva che lo scaling EP non riduce lo squilibrio di instradamento.

• All'interno di ciascuna architettura, il rapporto token max/medio per esperto rimane essenzialmente piatto (variazioni $\le$ 5%) nell'intervallo EP (da 4 a 32).
• Lo straggler è intrinseco alla decisione di instradamento che il modello prende, non a come gli esperti sono mappati sui rank. Lo scaling EP cambia quale rank detiene un esperto specifico, ma non quali esperti ricevono token.
• Pertanto, il grado EP non è una leva per migliorare l'equilibrio di instradamento; la distorsione è limitata inferiormente da una concentrazione invariante rispetto all'EP.

2. I Token Mock Sovrastimano lo Squilibrio e Falsificano le Tendenze (Q2)
I benchmark basati su token fittizi rappresentano in modo errato l'instradamento in produzione.

• Entità dell'Errore: I token mock sovrastimano il Gini di instradamento fino a 2,35× rispetto al testo reale (Wikitext). Sul modello Nemotron, il divario nella metrica Dirichlet $\alpha$ raggiunge 47×.
• Artefatto della Dimensione del Batch: I dati mock mostrano una falsa tendenza per cui lo squilibrio aumenta con la dimensione del batch (GBS). I dati reali mostrano un Gini essenzialmente piatto attraverso le dimensioni del batch. I praticanti che si affidano a dati mock potrebbero concludere erroneamente che batch più grandi peggiorano lo squilibrio.
• Meccanismo: Il router richiede sia struttura sequenziale che embedding appresi. Il testo reale mescolato (frequenza preservata, sequenza distrutta) o rimappato (sequenza preservata, embedding distrutti) performa peggio quanto i token mock.

3. Classi di Architettura Emergenti (Q3)
Le cinque architetture non si comportano in modo intercambiabile; si dividono in due bande stabili in base a come i dati reali influenzano l'instradamento:

• Resilienti ai Dati (MHA, Mamba-2): Questi modelli raggiungono un basso Gini sotto testo reale (rispettivamente 0,105 e 0,150) e mostrano un miglioramento significativo dai dati mock a quelli reali. Il loro instradamento si avvicina all'uniformità.
• Persistentemente Concentrati (MLA, GDN): Questi modelli rimangono altamente concentrati indipendentemente dalla condizione dei dati, rimanendo sopra Gini 0,24 anche su Wikitext e raggiungendo 0,29–0,38 sui dati mock.
• Intermedie (GQA): Si colloca tra i due estremi, mostrando un miglioramento moderato ma rimanendo nella banda centrale.
• Analisi della Profondità: La coppia "resiliente ai dati" inizia quasi uniformemente al primo strato MoE e si concentra con la profondità (forma a U), mentre la coppia "persistentemente concentrata" è concentrata fin dal primo strato.

Significato e Affermazioni
Il documento afferma che il modello di carico di lavoro utilizzato per progettare e valutare gli interconnetti consapevoli di MoE è al meglio un'approssimazione a fattore costante e al peggio un fantasma.

• Implicazioni per il Design di Sistema: La "tassonomia a due classi" (resiliente ai dati vs persistentemente concentrata) è un input più utile per il design di sistema rispetto al grado EP o ai profili basati su dati mock.
  • Per i modelli resilienti ai dati, il traffico è prevalentemente limitato dalla banda; modelli a carico uniforme sono sufficienti.
  • Per i modelli persistentemente concentrati, sono necessari dispatch consapevoli della località e design di topologia che sfruttino la concentrazione su coppie specifiche inter-nodo.
• Benchmarking: Gli autori raccomandano che i benchmark di comunicazione MoE riportino sia condizioni di dati mock che reali per esporre l'artefatto di scaling della dimensione del batch e le differenze tra classi di architettura.
• Limitazioni: Lo studio caratterizza le decisioni di instradamento e le statistiche AlltoAll ma non misura l'accelerazione dell'addestramento end-to-end derivante da interventi di sistema. Non afferma che lo squilibrio sia irrilevante, ma piuttosto che le assunzioni sulla sua correggibilità e misurazione sono difettose.

Il documento conclude che lo squilibrio di instradamento è una proprietà del modello e dei dati che il livello di sistema può localizzare e sfruttare parzialmente, ma non può rendere uniforme mediante lo scaling EP da solo. I benchmark sintetici attualmente in uso mancano questa realtà in due modi specifici: sovrastimando lo squilibrio e falsificando tendenze di scaling inesistenti.