🤖 machine learning

SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs

SHAPE è un framework di pruning esperto guidato dal task per i modelli LLM Sparse Mixture-of-Experts che modella la cooperazione intra-layer tra esperti come un gioco cooperativo per identificare e mantenere sottoinsiemi collaborativi essenziali tramite attribuzione in stile Shapley, riducendo così l'impronta di memoria pur mantenendo l'accuratezza senza ulteriore addestramento.

Autori originali: Yuhao Zhang

Pubblicato 2026-06-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yuhao Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina una cucina enorme e ad alta potenza (un Large Language Model) progettata per cucinare risposte complesse. Invece di avere un unico grande chef che faccia tutto, questa cucina utilizza un sistema Mixture-of-Experts (MoE). Immaginala come una squadra di 100 sous-chef specializzati (gli "esperti").

Quando un cliente ordina un piatto (un prompt), un caposala (il "router") esamina l'ordine e sceglie i 3 chef migliori per lavorarci insieme. La magia è che la cucina non ha bisogno che tutti i 100 chef siano attivi contemporaneamente; ne usa solo i 3 specifici necessari per quel momento. Questo rende la cucina molto veloce ed efficiente.

Il Problema: Il "Muro della Memoria"
Anche se solo 3 chef cucinano in ogni secondo, il propriet della cucina deve tenere tutti i 100 chef pronti in sala, completamente vestiti e pronti a partire. Perché? Perché il caposala potrebbe aver bisogno di chiunque di loro per l'ordine successivo.

L'Problema: Se hai una cucina da 100 chef, hai bisogno di una stanza enorme ed costosa (memoria GPU) per farli stare tutti dentro. Questo rende impossibile far girare queste cucine potenti in spazi più piccoli e meno costosi (come un singolo laptop o un piccolo server).
La Vecchia Soluzione: I tentativi precedenti di rimpicciolire la cucina erano come un manager che diceva: "Licenziamo i chef che non hanno cucinato molto questa settimana". Questo è un approccio fallace perché uno chef potrebbe non cucinare spesso, ma quando lo fa con un particolare partner, creano un capolavoro. Licenziarli rompe quel speciale lavoro di squadra.

La Soluzione: SHAPE (Il Detective del Lavoro di Squadra)
Il documento presenta SHAPE, un nuovo modo per rimpicciolire la cucina senza rovinare il cibo. Invece di contare semplicemente quanto spesso un chef viene chiamato, SHAPE osserva quanto bene lavorano insieme.

Ecco come funziona SHAPE, usando un'analogia semplice:

L'Osservazione del "Gioco": SHAPE osserva la cucina per un breve periodo (usando un piccolo "set di calibrazione" di ordini). Non si limita a guardare chi viene chiamato; osserva quali gruppi di 3 chef vengono chiamati insieme e quanto spesso quei gruppi hanno successo.
Lo Score "Shapley" (Equità): Immagina che un gruppo di 3 chef crei un piatto perfetto. Quanto credito viene dato a ciascuno di loro?
- Se lo Chef A è bravissimo da solo, ma lo Chef B è inutile senza lo Chef C, un semplice conteggio potrebbe mancare il punto.
- SHAPE utilizza un concetto matematico chiamato Valore di Shapley (pensa a un "calcolatore di equità"). Si chiede: "Se rimuoviamo lo Chef A da questo specifico trio, il piatto va in pezzi?"
- Se il piatto va in pezzi, lo Chef A è essenziale per quel team, anche se non è il più famoso.
- Se il piatto ha lo stesso sapore senza lo Chef A, allora lo Chef A è ridondante e può essere mandato via.
La Regola della "Copertura della Qualità": SHAPE non si limita a licenziare il 20% degli chef in base a un singolo punteggio. Assicura che ogni "piano" della cucina (ogni livello del modello) mantenga abbastanza chef per coprire le combinazioni di lavoro di squadra più importanti. Utilizza un metodo di "bisezione" (un gioco intelligente di tentativi ed errori) per trovare il numero perfetto di chef da tenere in modo che la cucina rimanga piccola ma cucini il 99% degli stessi piatti perfettamente.

I Risultati
I ricercatori hanno testato questo sistema su tre diverse "cucine" moderne (Qwen, GPT-OSS, DeepSeek).

L'Esito: Sono riusciti a licenziare dal 20% al 40% degli chef (riducendo significativamente la memoria necessaria) senza che il cibo avesse un sapore peggiore.
Perché ha funzionato: Mantenendo gli chef che sono essenziali per il lavoro di squadra piuttosto che quelli che sono solo più impegnati, la cucina è rimasta stabile.
Il Bonus: Poiché hanno licenziato così tanti chef, la stanza (memoria GPU) necessaria per far girare la cucina è diventata molto più piccola, rendendo possibile far girare questi modelli potenti su hardware meno costoso.

In Breve
SHAPE è come un manager intelligente che si rende conto che licenziare lo chef "silenzioso" che è il segreto collante di un team vincente è una cattiva idea. Inveve, licenzia gli chef "chiassosi" che sono facilmente sostituibili. Questo riduce la dimensione del team e lo spazio dell'ufficio necessario, mantenendo però la qualità del lavoro esattamente la stessa.

Sintesi Tecnica: SHAPE – Pruning di Esperti Consapevole delle Coalizioni per Modelli LLM Sparse Mixture-of-Experts

1. Definizione del Problema

Le architetture Sparse Mixture-of-Experts (SMoE) sono diventate fondamentali per scalare i Large Language Models (LLM) a centinaia di miliardi o trilioni di parametri, mantenendo al contempo costi di addestramento sub-lineari e una bassa latenza di inferenza per token. Tuttavia, l'implementazione di questi modelli massicci affronta un critico "Memory Wall" (muro della memoria). Sebbene il calcolo condizionale assicuri che solo un sottoinsieme sparso di esperti sia attivo per ogni token, l'intero pool di esperti deve rimanere residente nella memoria GPU per supportare decisioni di routing dinamiche e dipendenti dal token. Questo requisito crea impronte di memoria proibitive (ad esempio, terabyte di VRAM per modelli come DeepSeek-V3.2), limitandone l'utilizzabilità in ambienti con risorse limitate.

Le strategie di compressione esistenti, come il pruning degli esperti, mirano a ridurre l'impronta dei parametri rimuovendo gli esperti ridondanti. Tuttavia, le attuali metodologie di pruning soffrono di un fondamentale gap di modellazione: esse adottano prevalentemente una prospettiva per singolo esperto, valutando gli esperti indipendentemente in base a metriche come la frequenza di attivazione o l'ampiezza del gating. Questo approccio trascura la natura intrinsecamente coalizionale dell'inferenza MoE, dove l'output del modello è generato da una composizione non lineare di una specifica coalizione top- $k$ di esperti. Di conseguenza, la valutazione indipendente rischia di smantellare collaborazioni tra esperti ad alta utilità, portando a un degrado sproporzionato delle prestazioni su compiti complessi, anche se i singoli esperti appaiono ridondanti se considerati in isolamento.

2. Metodologia: Framework SHAPE

Gli autori propongono SHAPE (Shapley-guided, Coalition-Aware Expert Pruning), un framework guidato dai task che modella esplicitamente la cooperazione intra-layer tra gli esperti. SHAPE opera senza riaddestramento, facendo affidamento su un piccolo set di calibrazione per guidare le decisioni di pruning. La metodologia consiste in tre componenti principali:

A. Calibrazione Guidata dai Task e Tracce di Routing

SHAPE esegue un passaggio offline su un piccolo dataset di calibrazione specifico per il task ( $D_{cal}$ ) utilizzando il modello non prunato. Registra le decisioni di routing (selezioni degli esperti top- $k$ ) per ogni token attraverso tutti i layer MoE. Ciò produce un insieme di combinazioni di esperti osservate (coalizioni) e le loro frequenze di attivazione, che fungono da statistiche empiriche che caratterizzano la cooperazione tra esperti condizionata dal task.

B. Utilità Basata sulle Coalizioni e Valutazione in Stile Shapley

Invece di trattare gli esperti come unità indipendenti, SHAPE formula il processo di inferenza come un gioco cooperativo empirico.

Definizione di Utilità: L'utilità di una coalizione (un set specifico di $k$ esperti) è definita dalla sua frequenza di attivazione osservata sul dataset di calibrazione.
Contributo Marginale: Per determinare il valore di un esperto, SHAPE stima il suo contributo marginale all'utilità della coalizione. Poiché la rimozione di un esperto da una coalizione top- $k$ risulta in un sottoinsieme $(k-1)$ che non è direttamente osservato sotto il routing top- $k$ , SHAPE approssima l'utilità di questi sotto-coalizioni utilizzando le statistiche di co-occorrenza.
Approssimazione in Stile Shapley: Il framework calcola un punteggio in stile Shapley ( $\phi$ ) per ogni esperto. Questo punteggio media il contributo marginale dell'esperto attraverso tutte le coalizioni di cui partecipa, pesato per la dimensione della coalizione.
Correzione della Monotonicità: Per garantire che l'approssimazione rispetti il requisito di monotonicità dei giochi cooperativi (ovvero, l'utilità di una coalizione non dovrebbe essere inferiore a quella delle sue sotto-coalizioni), SHAPE introduce un fattore di scala conservativo ( $\alpha$ ) derivato dalle frequenze osservate. Ciò evita di sovrastimare la sostituibilità degli esperti.

C. Selezione della Copertura della Qualità di Shapley

Per determinare quali esperti mantenere, SHAPE impiega una regola di selezione della copertura della qualità piuttosto che una semplice soglia basata sul conteggio.

Copertura per Layer: Per ogni layer, il framework ordina gli esperti in base ai loro punteggi Shapley non negativi. Seleziona il sottoinsieme minimo di esperti tale che la loro massa Shapley cumulativa copra una frazione $\alpha$ del contributo totale del layer.
Corrispondenza del Budget Globale: Una ricerca binaria (bisezione) viene utilizzata per trovare la soglia di copertura ottimale $\alpha$ che soddisfi un target globale di tasso di mantenimento (ad esempio, mantenere il 60% o l'80% degli esperti).
Preservazione Strutturale: Questo approccio assicura che i layer con una concentrazione di valore elevata mantengano meno esperti, mentre i layer con contributi diffusi ne mantengano di più, evitando il "collasso del layer" dove il pruning colpisce in modo sproporzionato specifici layer.

3. Contributi Chiave

Valutazione Coalizionale degli Esperti: Il paper riformula il pruning MoE dalla stima dell'importanza indipendente alla modellazione del contributo consapevole delle coalizioni. Introduce un meccanismo principato utilizzando i valori di Shapley per attribuire i contributi degli esperti condizionati alle coalizioni di routing, distinguendo tra esperti selezionati frequentemente e quelli essenziali per le collaborazioni ad alta utilità.
Strategia di Pruning Preservante la Struttura: SHAPE propone un meccanismo di selezione consapevole della topologia che preserva la capacità cooperativa per layer. Imponendo un vincolo di copertura della qualità basato sul valore di Shapley cumulativo, evita gli squilibri strutturali causati dal ranking globale o dai conteggi fissi per layer.
Validazione Empirica: Esperimenti estesi dimostrano che preservare la cooperazione tra esperti è critico per un pruning efficace. Il framework raggiunge una compressione significativa (fino al 40%) con un degrado delle prestazioni trascurabile sui benchmark intensivi di ragionamento, superando sia i baseline euristici che i metodi di pruning allo stato dell'arte privi di addestramento.

4. Risultati Sperimentali

Gli autori hanno valutato SHAPE su tre backbone MoE moderni: Qwen3-30B-A3B, GPT-OSS-20B e DeepSeek-V2-Lite. La valutazione ha coperto diversi benchmark inclusi il ragionamento matematico (GSM8K, MATH-500), la generazione di codice (HumanEval), la conoscenza QA (GPQA-Diamond) e la QA medica.

Ritenzione delle Prestazioni: Sotto un rapporto di pruning del 20%, SHAPE ha mantenuto prestazioni comparabili, e in alcuni casi leggermente superiori, ai baseline non prunati. Con un rapporto di pruning del 40%, SHAPE ha costantemente superato i metodi baseline (inclusi il pruning casuale, basato sulla frequenza, basato sul gating, RAEP ed EASY-EP), in particolare nei task di ragionamento intensivo dove la cooperazione tra esperti è critica.
Robustezza: Sebbene i task di ragionamento (ad esempio, GSM8K, GPQA-Diamond) abbiano mostrato una maggiore sensibilità al pruning, l'approccio consapevole delle coalizioni di SHAPE ha preservato l'accuratezza significativamente meglio delle euristiche basate sul singolo esperto. I modelli più grandi (Qwen3, GPT-OSS) hanno dimostrato una maggiore resilienza, ma SHAPE è rimasto efficace anche su il più compatto DeepSeek-V2-Lite.
Efficienza della Memoria: Il pruning ha ridotto direttamente l'impronta di memoria GPU di picco. Lo studio ha evidenziato che servire l'intero pool di esperti comporta un carico di memoria sostanziale indipendentemente dalla sparsità di attivazione. SHAPE ha permesso riduzioni chiare dell'uso della VRAM (proporzionali al rapporto di pruning) senza ulteriori addestramenti o modifiche architettoniche.
Studi di Ablazione: I confronti con il ranking globale e il pruning indipendente per layer hanno confermato che il vincolo di copertura della qualità è vitale. Il pruning globale ha portato a uno squilibrio strutturale, mentre il pruning per layer non è riuscito a tenere conto della distribuzione della capacità specifica per task. L'approccio bilanciato di SHAPE ha prodotto le prestazioni più stabili attraverso tutti i rapporti di pruning.

5. Significato e Rivendicazioni

Il paper sostiene che SHAPE affronti un limite critico nell'attuale compressione MoE: il fallimento nel considerare la natura cooperativa dell'inferenza degli esperti. Spostando il focus dalle metriche del singolo esperto alla utilità coalizionale, SHAPE fornisce una soluzione robusta e priva di addestramento per l'implementazione di modelli MoE massicci in ambienti con risorse di memoria limitate.

Gli autori sottolineano che il loro lavoro non richiede riaddestramento o modifiche architettoniche, rendendolo un'ottimizzazione pratica orientata alla distribuzione. I risultati suggeriscono che una parte significativa del pool di esperti nei moderni modelli MoE contribuisce con un'utilità marginale limitata se considerato in isolamento, ma è la struttura della loro collaborazione ciò che sostiene le prestazioni del modello. SHAPE identifica e preserva con successo queste strutture collaborative critiche, consentendo un favorevole compromesso tra capacità del modello e impronta delle risorse. Il codice open-source è fornito per facilitare ulteriori ricerche e applicazioni in questo dominio.