💻 computer science

Predatory MoE: Serving Mixture-of-Experts with a Sequence-Local Expert Roster

Questo articolo propone una strategia di roster degli esperti locale alla sequenza che fissa un piccolo insieme di esperti per sequenza per ridurre drasticamente l'impronta di memoria e i trasferimenti di esperti durante il serving di modelli MoE, ottenendo un throughput vicino alla piena residenza con significativamente meno pesi residenti applicando questo vincolo in modo coerente sia durante l'addestramento che durante l'inferenza.

Autori originali: ChaeWoo Son

Pubblicato 2026-08-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: ChaeWoo Son

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I moderni sistemi di intelligenza artificiale che generano testo si affidano spesso a un design chiamato "miscela di esperti" (mixture of experts). Immaginate una vasta biblioteca di lavoratori specializzati in conoscenze specifiche, dove ogni lavoratore è un esperto in un argomento ristretto e particolare. Quando il sistema deve rispondere a una domanda, non attiva tutti i lavoratori contemporaneamente. Invece, seleziona solo un piccolo manipolo dei più rilevanti esperti per quel preciso momento. Questo approccio permette al sistema di essere incredibilmente grande e capace pur utilizzando una potenza di calcolo relativamente ridotta per ogni parola che produce. Tuttavia, esiste un significativo collo di bottiglia nel modo in cui questi sistemi vengono gestiti sui computer standard. Anche se vengono utilizzati solo pochi esperti in un dato momento, la memoria del computer deve contenere l'intera biblioteca di esperti pronta all'uso, poiché il sistema non sa in anticipo quali saranno necessari successivamente. Questo requisito costringe la dimensione totale della memoria a corrispondere alla dimensione dell'intera biblioteca, anziché solo al piccolo gruppo in uso, rendendo difficile eseguire questi modelli potenti su dispositivi con memoria limitata.

I ricercatori hanno cercato di risolvere questo problema memorizzando gli esperti non utilizzati su un disco rigido e caricandoli in memoria solo quando necessario. Ma questo crea un nuovo problema: poiché il sistema sceglie gli esperti in modo sparso e imprevedibile, finisce per richiederne continuamente di nuovi, rallentando il processo. Un team guidato dal ricercatore indipendente ChaeWoo Son ha posto una domanda diversa: invece di cercare di rendere il computer più veloce nel recuperare esperti sparsi, si potrebbe cambiare il sistema in modo che aderisca naturalmente a un piccolo e costante gruppo di esperti per la durata di una singola conversazione? Volevano vedere se potevano addestrare il sistema a diventare "sequenza-locale", ovvero che una volta iniziata una conversazione, lo stesso piccolo team di esperti gestisca l'intero thread, permettendo al computer di mantenere solo quel team in memoria.

I ricercatori hanno prima tentato di insegnare questo comportamento direttamente al sistema. Hanno cercato di addestrare il modello a favorire gli esperti che aveva già utilizzato nella conversazione corrente, sperando che questa abitudine diventasse una parte permanente dell'intelligenza del sistema. Hanno scoperto che, sebbene questo trucco funzionasse durante l'addestramento, il comportamento non rimaneva. Non appena la pressione dell'addestramento veniva rimossa, il sistema tornava alle sue vecchie abitudini sparse. Anche quando hanno cercato di rinforzare il comportamento facendo sì che il sistema imparasse dalle proprie scelte distorte, il processo è diventato instabile e la qualità del testo ne ha sofferto. Lo studio ha concluso che il sistema non stava imparando una nuova abilità, ma stava semplicemente reagendo a una regola temporanea. I ricercatori si sono resi conto che cercare di forzare il sistema a interiorizzare questo comportamento era l'approccio sbagliato.

Invece di cercare di cambiare il cervello del sistema, i ricercatori hanno deciso di cambiare le regole del gioco. Hanno imposto una regola rigida e permanente che si applicava sia durante l'addestramento che durante l'uso effettivo del sistema. Sotto questa nuova regola, ogni conversazione viene assegnata a un piccolo team fisso di esperti basato sulle prime parole del testo. Una volta selezionato questo team, al sistema non è permesso passare a nessun altro per il resto di quella conversazione. Questa regola agisce come un budget: il computer deve mantenere solo quel piccolo team specifico nella sua memoria veloce, mentre il resto della biblioteca può rimanere sull'unità di archiviazione più lenta. Poiché il team è fisso per l'intera conversazione, il computer non ha bisogno di scambiare costantemente esperti in entrata e in uscita.

I risultati di questo approccio sono stati sorprendenti. Quando i ricercatori hanno applicato questa regola a un modello di prova e gli hanno concesso un breve periodo di riaddestramento per adattarsi ai nuovi vincoli, il sistema ha performato quasi come faceva senza la regola, ma con una riduzione massiccia dell'uso della memoria. Nei loro test, sono stati in grado di mantenere solo un quarto del totale degli esperti in memoria e hanno comunque ottenuto quasi la stessa velocità di quando li avrebbero mantenuti tutti. Il sistema ha ridotto il numero di volte in cui doveva recuperare dati dall'unità di archiviazione lenta di un fattore di trentadue rispetto al vecchio metodo. Sebbene la qualità del testo sia scesa leggermente — di circa il cinque per cento nello scenario di massimo risparmio di memoria — il compromesso ha permesso al modello di girare su hardware molto più piccoli e accessibili.

Lo studio ha anche rivelato un'intuizione inaspettata su come questi sistemi apprendono. I ricercatori hanno scoperto che più un modello viene addestrato senza questi vincoli di memoria, più diventa difficile forzarlo in questo schema efficiente in un secondo momento. La tendenza naturale del sistema a disperdere la propria attenzione sembra rafforzarsi nel tempo, rendendo più costoso adattarsi ai limiti di memoria in un secondo momento. Ciò suggerisce che, se vogliamo che questi modelli siano efficienti sui dispositivi quotidiani, potremmo dover insegnare loro a essere efficienti fin dall'inizio, piuttosto che cercare di correggere il problema dopo che si è già diffuso.

Questo lavoro non sostiene di aver risolto il problema per ogni possibile situazione, e i ricercatori sono stati attenti a notare che i loro test sono stati condotti su dati sintetici e modelli più piccoli. Hanno osservato che se una conversazione cambia argomento bruscamente nel mezzo, il team fisso di esperti potrebbe avere difficoltà, sebbene i loro test abbiano dimostrato che anche con un cambio di argomento, il sistema può adattarsi con una piccola penalità nella qualità. Lo studio funge da prova di concetto che, trattando il vincolo di memoria come una regola piuttosto che come un obiettivo di apprendimento, possiamo rendere questi enormi modelli molto più pratici da utilizzare. Sposta l'attenzione dalla costruzione di hardware più veloci al design di regole più intelligenti su come il sistema utilizza le proprie risorse, aprendo la porta affinché la potente intelligenza artificiale possa girare su dispositivi che attualmente sono troppo piccoli per contenerla.

Riepilogo Tecnico: Predatory MoE: Serving di un Mixture-of-Experts con un Roster di Esperti Localizzato sulla Sequenza

Problema

I modelli Mixture-of-Experts (MoE) open-weight raggiungono un'elevata capacità attivando solo una piccola frazione dei loro parametri totali per ogni token. Tuttavia, in scenari con vincoli di memoria e su singolo acceleratore, servire questi modelli richiede tipicamente di mantenere tutti gli esperti residenti in memoria, il che significa che l'impronta di memoria scala con il numero totale di parametri anziché con quello attivo.

Le soluzioni standard prevedono l'offloading degli esperti inattivi nella memoria host o su disco e il loro recupero su richiesta. I sistemi esistenti si adattano alla domanda di routing man mano che si verifica (ad esempio, utilizzando cache LRU o prefetching predittivo). Tuttavia, il routing non vincolato è spesso "ostile" alle cache limitate: i router a livello di token possono selezionare qualsiasi esperto in qualsiasi momento, causando frequenti trasferimenti di pesi. Nel testbed dell'autore con 32 esperti, un modello non vincolato ha acceduto in media a 28 esperti su 32 per ogni sequenza di 256 token. Il paper si chiede se il pattern della domanda di routing possa essere cambiato per diventare sequenza-locale, tale per cui ogni sequenza sia servita da un piccolo roster fisso di esperti, permettendo alla memoria residente di seguire un budget di roster piuttosto che il numero totale di esperti.

Metodologia

Il paper investiga due approcci primari per ottenere la sequenza-località: istituirla nei pesi del modello o imporla come regola di routing.

1. Tentativo di addestrare la Sequenza-Località

L'autore ha prima esplorato se la sequenza-località potesse essere instillata come obiettivo di addestramento utilizzando un bias di selezione "ricco-diventa-più-ricco" (un bias amplificatore). Questo bias favoriva gli esperti già utilizzati all'interno di una sequenza per il resto di quella sequenza.

Risultati: Sebbene il bias riducesse la dimensione del working set durante l'attività, la località risultante non era persistente.
- Sensibilità temporale: Il bias rimodellava il routing in modo duraturo solo se applicato dall'inizio dell'addestramento; applicarlo tardivamente produceva solo effetti di selezione immediata senza ulteriore adattamento.
- Reversione: Se il bias veniva rimosso a metà addestramento, la continuazione dell'addestramento non biased causava il ritorno del routing a un pattern dispersivo, ripristinando l'originale dimensione del working set.
- Fallimento della distillazione: I tentativi di interiorizzare il bias tramite auto-distillazione (addestrare il router per imitare le proprie selezioni polarizzate) hanno prodotto un obiettivo mobile che destabilizzava il routing e degradava la qualità del modello.
Conclusione: La sequenza-località si comportava come una proprietà della procedura di routing, non come una proprietà dei pesi appresi.

2. La Regola di Routing del Roster

Sulla base del fallimento degli approcci basati sull'addestramento, l'autore ha imposto la sequenza-località come una regola di routing applicata identicamente durante l'addestramento e il serving.

Meccanismo:
- Ogni sequenza mantiene un conteggio corrente delle selezioni di esperti per livello.
- Un roster $R$ è formato dai top- $m$ esperti più utilizzati.
- Fase di Esplorazione: Finché non vengono utilizzati $m$ esperti distinti, non viene applicato alcun bias.
- Fase di Barriera: Una volta che il roster è pieno, i membri ricevono un bonus di selezione $+\delta$ , mentre i non membri ricevono un $-\delta$ . I non membri devono superare un deficit di punteggio di $2\delta$ per entrare nel roster, sostituendo il membro meno utilizzato.
- Pinning (Serving): In fase di deployment, il roster viene congelato dopo un breve prefisso (ad esempio, il 20% della sequenza). Il successivo decoding è limitato a questo roster bloccato (pinned).
Retrofitting: Per i modelli pre-addestrati, l'autore propone una fase di fine-tuning di 600 step sotto la regola applicata (con il pinning attivo). Ciò consente agli esperti di adattarsi ai pattern di traffico creati dalla regola senza richiedere al router di apprendere la località in sé.

Contributi Chiave

Analisi Empirica della Località basata sull'Addestramento: Un'analisi controllata che dimostra come la sequenza-località resista all'essere addestrata come obiettivo persistente a causa della sensibilità temporale, della reversione sotto l'addestramento continuo e dell'instabilità autoreferenziale della distillazione del router.
Regola di Routing del Budget del Roster: Un meccanismo che tratta la località come un vincolo procedurale con un equilibrio esplicito (il budget $m$ ), piuttosto che come un comportamento emergente. Questa regola mantiene dinamiche di addestramento stabili e mantiene i working set per sequenza vicini al budget $m$ .
Ricetta di Retrofit: Un metodo per adattare i modelli pre-addestrati alla regola del roster tramite un breve fine-tune (600 step). Questo processo eguaglia le prestazioni dei modelli addestrati da zero sotto la regola, eliminando efficacementmente il costo qualitativo dell'applicazione della regola a un modello pre-addestrato.
Analisi del Serving: Una simulazione guidata da tracce che mostra come il modello con roster riduca drasticamente i trasferimenti di esperti rispetto alle strategie di caching standard sotto budget di memoria corrispondenti.

Risultati

Trade-off tra Qualità e Budget

Addestramento da Zero: L'addestramento sotto la regola del roster con $m=4$ (su 8 esperti) ha prodotto un working set di $\approx 4.18$ con un incremento della perplexity di soli $+0.27\%$ rispetto al baseline.
Retrofitting: Applicare la regola a un modello pre-addestrato senza fine-tuning ha causato un grande salto della perplexity ( $+32\%$ ). Tuttavia, un fine-tune di 600 step sotto la regola del pinning ha ridotto questo costo a $+0.9\%$ (con $m=4$ ) e $+5.0\%$ (con $m=8$ per un modello a 32 esperti).
Scala: Nel testbed a 32 esperti, il fine-tuning ha ridotto il costo del pinning di $m=8$ (riduzione del 75% della memoria) a una perplexity di $+5.0\%$ , rispetto a un moltiplicatore di perplexity di $\sim 9\times$ per l'attacco zero-shot.
Erosione della Servibilità: L'autore ha osservato che l'addestramento non vincolato erode gradualmente l'idoneità di un modello per il serving tramite roster. Anche dopo la convergenza della perplexity, l'addestramento continuo aumenta il costo del serving sotto un roster bloccato, suggerendo che i vincoli di serving debbano essere esposti durante l'addestramento.

Prestazioni di Serving (Simulazione Guidata da Tracce)

Sotto budget di memoria corrispondenti (25% dei pesi degli esperti residenti):

Riduzione dei Trasferimenti: Il modello servito con roster ha ridotto i trasferimenti di esperti fino a 32 volte rispetto a una cache LRU che serve un modello non vincolato.
Throughput: Il modello servito con roster ha recuperato il 94% del throughput di decoding a piena residenza, mentre il modello non vincolato servito con LRU ha raggiunto solo il 33%.
Latenza: L'approccio roster ha ridotto il tempo di stall a quasi zero (0.01 ms/token) rispetto ai 30.3 ms/token del baseline LRU.

Significato e Rivendicazioni

Il paper sostiene che la località degli esperti per sequenza è più naturalmente gestita come parte della procedura di routing (specificata, con budget e presente durante l'addestramento) piuttosto che come un comportamento che un modello è chiamato a imparare.

Impatto Pratico: Il metodo proposto consente di servire grandi modelli MoE con solo una frazione della memoria degli esperti residente (ad esempio, il 25%) recuperando quasi l'intero throughput di residenza, a costo di un modesto incremento della perplexity (ad esempio, +5.0%).
Ambito e Limitazioni: L'autore è esplicito nel dichiarare che i risultati quantitativi derivano da un testbed sintetico a dominio singolo (fino a 32 esperti). Non afferma che i risultati si generalizzino direttamente ai modelli su scala di produzione o al serving batch multi-stream senza ulteriore validazione.
Lavoro Futuro: Il paper delinea un percorso per la validazione, includendo l'analisi dei trace di routing di esistenti MoE open-weight e il fine-tuning di piccoli MoE open su dati reali per testare la ricetta di retrofit e l'ipotesi di "erosione".
Estrapolazione: Sebbene l'autore fornisca stime aritmetiche che suggeriscono come, per un modello da 2.4T di parametri, il serving con roster potrebbe ridurre l'impronta a una scala da workstation (ad esempio, ~97 GB con $m=32$ ), sottolinea che queste sono stime dell'ordine di grandezza basate su assunzioni non verificate riguardanti i pattern di routing del mondo reale e le specificità dell'architettura.

In sintesi, il paper propone uno spostamento dall'ingegneria di sistemi per gestireya richieste di routing ostili verso l'ingegneria della domanda di routing stessa affinché sia servibile, dimostrando che una "regola del roster" procedurale combinata con un breve fine-tuning può ottenere significativi guadagni in termini di memoria e throughput in contesti controllati.