Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

Riepilogo Tecnico: Quali mancanie di esperti meritano l'attesa?

Definizione del problema
I modelli linguistici Mixture-of-Experts (MoE), come Qwen3-Next-80B-A3B, offrono un'alta capacità ma richiedono la memorizzazione di tutti gli esperti in memoria, superando la VRAM delle GPU consumer (ad es. 24 GB). L'offloading degli esperti alla memoria CPU o agli SSD consente di eseguire questi modelli su hardware consumer, ma introduce latenza quando vengono necessari esperti con "cache-miss" (quelli non attualmente presenti nella memoria GPU). Le soluzioni tradizionali includono il recupero di ogni mancanza (alta latenza), il calcolo sulla CPU (aritmetica lenta) o il prefetching (rischio di cattiva predizione). Approcci alternativi modificano il calcolo sostituendo un esperto mancante con uno residente. Tuttavia, rimane poco chiaro quali sostituzioni causino una perdita significativa di qualità nei modelli con centinaia di esperti per livello, se un singolo metrica possa guidare le politiche di cache e quando una cache debba ammettere un esperto che viene ripetutamente sostituito.

Metodologia
Lo studio si concentra su Qwen3-Next-80B-A3B (512 esperti per livello, selezionandone 10) con circa il 25% degli esperti residenti nella memoria GPU. La ricerca impiega tre strumenti distinti per valutare le politiche di sostituzione:

1. Emulazione: Un'implementazione PyTorch che calcola esattamente gli output del modello per tutte le politiche sugli stessi sequenze di token, idealizzando la latenza di recupero per isolare l'impatto della sostituzione sulla qualità (misurata tramite la perplexity con teacher-forcing).
2. Simulatore di Router-Logit: Uno strumento in C++ che riproduce i logit del router per confrontare rapidamente le politiche senza calcolare l'intero modello, stimando il tempo per token e gli stati della cache.
3. Engine: Un'implementazione modificata di llama.cpp che esegue il reale recupero degli esperti, la sostituzione e il caching su GPU consumer (RTX 3090).

Lo studio definisce la massa del gate sostituito ($m$) come la somma pesata normalizzata del peso del gate degli esperti sostituiti. Testa diverse politiche:

• Recupera ogni mancanza: Il baseline di riferimento.
• Regola 0.15: Recupera sincronicamente gli esperti mancanti se sono la prima scelta del router o se hanno un peso del gate $\ge 0.15$; sostituisce tutti gli altri.
• Regola della prima scelta: Recupera solo la prima scelta mancante; sostituisce tutti gli altri.
• Ammissione in background: Una regola che accumula la massa del gate degli esperti sostituiti nel tempo e li ammette nella cache una volta raggiunta una soglia (ad es. 0.5).

Contributi chiave e risultati

1. Fonte della perdita di qualità: Nell'emulazione, la maggior parte della perdita di qualità deriva dalla sostituzione di pochi esperti fortemente pesati (prime scelte o quelli con pesi del gate elevati), piuttosto che dal numero assoluto di sostituzioni. Per Qwen3-Next, la regola 0.15 ha sostituito il 7,5% delle chiamate (rispetto all'8,5% recuperando ogni mancanza) ma ha ridotto l'aumento della perplexity dal 5,67% allo 0,35%. Ciò suggerisce che proteggere gli esperti ad alto peso è critico, anche se molti esperti a basso peso vengono sostituiti.
2. La Massa come metrica comparativa: Lo studio propone l' "Ipotesi della Massa": tra le politiche che recuperano sempre la prima scelta, una maggiore massa del gate sostituito correla con un maggiore aumento della perplexity sugli stessi input. Nell'engine, questa correlazione era forte (Pearson $r \approx 0.92$) tra diverse politiche sugli stessi dati. Tuttavia, la massa non ha predetto quali input specifici avrebbero perso qualità, né ha retto nel confronto tra politiche che sostituivano le prime scelte.
3. Composizione delle sostituzioni: Un esperimento (Esperimento B) che varia la composizione delle sostituzioni a parità di massa ha rilevato che poche sostituzioni pesanti causano più perdita rispetto a molte sostituzioni leggere, sebbene la regola decisionale statistica pianificata non abbia prodotto un giudizio definitivo a causa della bassa massa realizzata nella condizione primaria.
4. Politica di Ammissione in Background: Una regola che ammette un esperto nella cache una volta che la sua massa sostituita accumulata raggiunge una soglia di 0,5 ha ridotto la perplexity dello 0,3–1,5%, con i guadagni più significativi che si verificano immediatamente dopo i cambi di argomento.
5. Performance delle Politiche Selezionate: Due politiche sono state selezionate sulla base di questi risultati:
   • Quality-First: Regola 0.15 + Evizione basata sulla frequenza + Ammissione in background ($\beta=0.5$).
   • Speed-First: Regola della prima scelta + Evizione basata sulla frequenza + Ammissione in background ($\beta=0.5$).
     Su due host, queste politiche sono state 2,5–3,0 volte più veloci per token rispetto al recupero di ogni mancanza, con un aumento della perplexity di soli 0,7–1,5%. Rispetto alla sola regola 0.15, la politica Quality-First ha ridotto ulteriormente la perplexity (di circa ~0,5–0,8%) a un costo temporale leggermente superiore, mentre la Speed-First ha ridotto il tempo di circa il 5% senza un aumento statisticamente significativo della perplexity.
6. Confronto con lo stock di llama.cpp: Su una macchina con circa 16 GB di RAM disponibile, l'engine usando la regola 0.15 ha decodificato 2,8–3,0 volte più velocemente rispetto allo stock llama.cpp configurato per usare la stessa VRAM, con un aumento della perplexity di soli 1,6%.

Significatività e affermazioni
Il documento afferma di fornire la prima misurazione diretta di quali sostituzioni di esperti causino la perdita di qualità nei MoE con centinaia di esperti per livello. Stabilisce che:

• Strategia di Sostituzione: Proteggere gli esperti ad alto peso (tramite la regola 0.15) è più efficace rispetto alla semplice riduzione del numero totale di sostituzioni.
• Utilità della Metrica: La massa del gate sostituito è una metrica utile per confrontare le politiche sugli stessi input, ma non è un predittore di perdita tra diversi input.
• Efficienza Pratica: È possibile eseguire grandi MoE su GPU consumer con una degradazione minima della qualità (aumento della perplexity dello 0,7–1,5%) ottenendo al contempo accelerazioni di 2,5–3,0 volte rispetto alle strategie standard di offloading.

Limitazioni e Modestia
L'autore dichiara esplicitamente che le sue conclusioni sono modeste e condizionali:

• Ambito: I risultati si basano principalmente su Qwen3-Next-80B-A3B e sulla perplexity con teacher-forcing. Il test di generazione (GSM8K e HumanEval) ha supportato le predizioni solo parzialmente; ad esempio, la correlazione tra massa e accordo su HumanEval è fallita.
• Causalità: Lo studio non separa gli effetti del rango dell'esperto dal suo peso, né afferma che il peso del gate in sé causi la perdita.
• Confronti: Le politiche non sono state confrontate con il prefetching o con metodi a precisione inferiore.
• Generalizzabilità: I rapporti di velocità e i valori specifici di perplexity sono riportati per gli specifici host hardware misurati e potrebbero non valere su altre macchine.
• Stato Sperimentale: A parte il test di generazione e l'Esperimento B, le analisi sono esplorative. Il documento riporta predizioni fallite (ad es. riguardo alle correlazioni tra massa e problemi) e conclusioni che sono cambiate al crescere dei campioni (ad es. la correlazione tra massa e perdita).

In sintesi, il lavoro dimostra che politiche intelligenti di sostituzione e ammissione in background possono mitigare significativamente la latenza dell'offloading di grandi MoE su hardware consumer, a condizione che gli esperti ad alto peso siano prioritari per il recupero.