💬 NLP

MobileMoE: Scaling On-Device Mixture of Experts

Il documento introduce MobileMoE, una famiglia di modelli linguistici Mixture-of-Experts on-device con meno di un miliardo di parametri, che ottimizzano architettura e addestramento per ottenere prestazioni ed efficienza superiori rispetto alle basi dense e MoE esistenti, consentendo un'inferenza rapida su smartphone commerciali.

Autori originali: Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

Pubblicato 2026-05-27

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Principale: Portare "Super-Cervelli" nella tua Tasca

Immagina di avere una massiccia biblioteca di conoscenze (un Large Language Model, o LLM). Di solito, per ottenere le risposte migliori, devi inviare le tue domande a un enorme data center basato sul cloud. Ma cosa succederebbe se potessi portare quel cervello nella tua tasca, sul tuo telefono, senza bisogno di internet?

Per molto tempo, l'unico modo per far stare un cervello intelligente su un telefono era renderlo "denso"—come un singolo studente super-diligente che cerca di ricordare tutto e fare tutto per ogni singola domanda. Questo è lento e occupa molto spazio.

MobileMoE è una nuova famiglia di modelli AI di Meta che cambia le regole del gioco. Invece di un singolo studente diligente, utilizzano un team di specialisti. Questo approccio, chiamato Mixture of Experts (MoE), permette al telefono di eseguire un cervello molto più intelligente che è più veloce, consuma meno batteria e si adatta alla memoria degli smartphone moderni.

1. Il Problema: Il Collo di Bottiglia "One-Size-Fits-All"

Pensa a un AI standard per telefono (come quelli attualmente sul mercato) come a un generalista.

L'Analogia: Immagina un singolo cuoco in una cucina minuscola. Se chiedi sushi, lui taglia il pesce. Se chiedi una torta, la cuoce. Se chiedi una bistecca, la griglia. Deve essere bravo in tutto, quindi porta con sé tutti gli utensili della cucina.
Il Problema: Questo cuoco è lento perché deve cambiare utensili per ogni compito, e la cucina (la memoria del tuo telefono) si affolla con tutti gli strumenti che potrebbe aver bisogno, anche se non li sta usando in quel momento.

2. La Soluzione: Il "Team di Specialisti" (MoE)

MobileMoE sostituisce il singolo cuoco con un team di esperti.

L'Analogia: Ora, immagina una cucina con un Router (un manager) e 64 diversi Cuochi Specialisti.
- Un cuoco sa solo come cuocere le torte.
- Uno sa solo come grigliare le bistecche.
- Uno sa solo come preparare il sushi.
Come funziona: Quando fai una domanda, il Router la guarda rapidamente e dice: "Oh, questa è una domanda di matematica! Mandala al Cuoco Matematico". Il Cuoco Matematico fa il lavoro, mentre gli altri 63 cuochi prendono una pausa.
Il Vantaggio: Anche se l'intero team è enorme (molta conoscenza totale), solo una minuscola frazione di loro sta effettivamente lavorando in un dato momento. Questo significa che il telefono non deve fare tanto lavoro pesante, risparmiando batteria e tempo.

3. Il "Punto Dolce": Trovare la Dimensione Perfetta del Team

I ricercatori non hanno solo indovinato; hanno usato una Legge di Scalabilità (una ricetta matematica) per trovare la dimensione perfetta del team per un telefono.

La Scoperta: Hanno scoperto che per un telefono, non vuoi un team troppo piccolo (non abbastanza intelligente) o troppo grande (troppo pesante).
Il Risultato: Hanno trovato un "punto dolce" con 8 esperti principali, dove ogni esperto è in realtà composto da 8 piccoli sub-esperti (a grana fine), più uno "specialista Generalista" che è sempre pronto a gestire tutto ciò che gli specialisti potrebbero perdere.
Perché è importante: Questo mix specifico permette al modello di essere incredibilmente intelligente rimanendo abbastanza piccolo da stare nella memoria di un telefono con 3–5 GB di memoria (che è lo standard su telefoni come l'iPhone 16 Pro o il Samsung S25).

4. L'Addestramento: Un Campo di Addestramento in Quattro Fasi

Per far funzionare perfettamente questo team, li hanno addestrati in quattro fasi specifiche, come un rigoroso campo di addestramento:

Pre-training: Il team legge una massiccia biblioteca di libri (6 trilioni di parole) per imparare il linguaggio generale.
Mid-training: Si concentrano su argomenti specifici e di alta qualità come matematica, codice e scienza per affinare le loro abilità.
Instruction Fine-Tuning: Imparano a seguire le istruzioni umane (come "scrivi una poesia" o "risolvi questa equazione").
Quantizzazione (La Compressione): Questo è il trucco magico. Riducono l'impronta di memoria del modello di 4 volte (trasformandolo nel formato "INT4") senza perdere molta intelligenza, così che si adatti facilmente a un telefono.

5. I Risultati: Più Veloce e Più Intelligente su Telefoni Reali

Il team ha testato MobileMoE su telefoni flagship reali (Samsung Galaxy S25 e iPhone 16 Pro) e lo ha confrontato con il miglior AI per telefono esistente (MobileLLM-Pro).

Velocità: MobileMoE è da 2 a 4 volte più veloce nella generazione di testo rispetto ai modelli densi.
- Analogia: Se il vecchio modello era un camion delle consegne bloccato nel traffico, MobileMoE è una moto che si infila tra le auto.
Intelligenza: Corrisponde o supera le prestazioni di modelli molto più grandi. Ad esempio, la versione "Media" di MobileMoE è più intelligente di modelli che sono 3–4 volte più grandi.
Efficienza: Consuma meno batteria e memoria perché "sveglia" solo gli esperti specifici necessari per il compito.

6. L'"Ultimo Miglio": Farlo Girare sul Tuo Telefono

Il paper evidenzia un ostacolo maggiore: la maggior parte dei telefoni non ha software integrato per eseguire questo "team di esperti" in modo efficiente.

La Soluzione: I ricercatori hanno costruito un motore personalizzato (un kernel software speciale) che agisce come un controllore del traffico. Organizza i dati in modo che il processore del telefono possa gestire gli specialisti in modo efficiente.
La Prova: Hanno dimostrato che questo funziona sull'hardware reale. Su un iPhone 16 Pro, il nuovo modello ha generato testo 3,4 volte più velocemente del vecchio modello denso, utilizzando meno memoria.

Riepilogo

MobileMoE dimostra che non serve un enorme server cloud per avere un AI intelligente sul tuo telefono. Utilizzando un team di specialisti invece di un singolo generalista, e regolando attentamente la dimensione del team e il processo di addestramento, hanno creato un AI che è:

Più intelligente dei modelli attuali per telefoni.
Più veloce (fino a 4 volte più veloce).
Efficiente (sta nella memoria del tuo telefono e risparmia batteria).

Questo apre la porta ad assistenti AI potenti, privati e istantanei che vivono interamente sul tuo dispositivo, senza bisogno di connettersi a internet.

Riepilogo Tecnico: MobileMoE: Scalare la Mixture of Experts su Dispositivo

Enunciato del Problema

Mentre le architetture Mixture-of-Experts (MoE) sono diventate lo standard per scalare i Large Language Models (LLM) a centinaia di miliardi di parametri sui server cloud, il loro potenziale su scale sub-miliardo per il deployment su dispositivo rimane largamente inesplorato. Gli attuali LLM su dispositivo (ad es. MobileLLM, MobileLLM-Pro) sono schiacciantemente densi, richiedendo un aumento del numero di parametri attivi e del calcolo per l'inferenza per migliorare la qualità. Ciò crea un collo di bottiglia per l'AI edge, dove i dispositivi affrontano vincoli rigorosi su memoria (DRAM) e calcolo (durata della batteria, latenza). Sebbene le capacità DRAM degli smartphone recenti siano aumentate (ad es. 12–16 GB), non è stata ancora stabilita una metodologia fondata per scalare le architetture MoE sotto questi specifici vincoli mobili, bilanciando la dimensione totale del modello, i parametri attivi e il costo dell'inferenza.

Metodologia

1. Legge di Scalabilità MoE su Dispositivo

Gli autori formulano una legge di scalabilità MoE su dispositivo generalizzata per ottimizzare congiuntamente l'architettura sotto vincoli di memoria e calcolo. La funzione di perdita $L$ è modellata come funzione dei parametri attivi ( $N_{act}$ ), della dimensione dei dati di addestramento ( $D$ ), di una trasformazione monotona del numero di esperti ( $\hat{E}$ ) e delle scelte architetturali ( $x$ , inclusa la granularità degli esperti $g$ e gli esperti condivisi $s$ ).

L'obiettivo di ottimizzazione minimizza la perdita soggetta a:

Vincoli di Calcolo: FLOPs di addestramento ( $F_{train} = 6N_{act}D$ ) e FLOPs di inferenza per token ( $F_{inf} = 2N_{act}$ ).
Vincoli di Memoria: Impronta di memoria totale $M(N_{total}, T)$ , che include i pesi quantizzati ( $b_w$ -bit) e la cache KV ( $b_{kv}$ -bit) alla lunghezza del contesto $T$ .

2. Progettazione Architetturale tramite Divide-and-Conquer

Utilizzando la legge di scalabilità, gli autori identificano un "punto dolce" ottimale per la MoE su dispositivo attraverso tre studi di ablazione controllati:

Numero di Esperti ( $E$ ): Una sparsità moderata è ottimale. Aumentare $E$ riduce la perdita ma con rendimenti decrescenti oltre $E=8$ . $E=8$ è selezionato come il punto dolce pratico per dispositivi vincolati dalla memoria.
Granularità degli Esperti ( $g$ ): Esperti a grana fine (dividendo ogni esperto in $g$ sub-esperti) consentono percorsi di instradamento più diversificati. Lo studio individua $g=8$ come la granularità ottimale per il calcolo, offrendo una significativa riduzione della perdita rispetto agli esperti a grana grossa senza incorrere in un eccessivo sovraccarico.
Esperto Condiviso ( $s$ ): Incorporare un esperto condiviso sempre attivo (un percorso denso) completa gli specialisti instradati. La configurazione con un esperto condiviso ( $s=\checkmark$ ) raggiunge una perdita inferiore rispetto alla controparte solo-instradata sotto calcolo fisso.

Architettura Risultante: La famiglia MobileMoE derivata consiste in tre scale (S, M, L) con parametri attivi di 0,3B, 0,5B e 0,9B, e parametri totali di 1,3B, 2,8B e 5,3B, rispettivamente. Il progetto utilizza $E=8$ , $g=8$ (64 esperti instradati a grana fine) e un esperto condiviso con instradamento top-4.

3. Ricetta di Addestramento in Quattro Fasi

Per realizzare i vantaggi architetturali, viene impiegata una pipeline di addestramento completa su dataset open-source:

Pre-addestramento: ~6T token con una miscela pesante sul web per garantire una copertura linguistica ampia e una specializzazione degli esperti. Le tecniche includono bilanciamento senza perdita ausiliaria, router z-loss e kernel MLP raggruppati (GMM) per l'efficienza.
Mid-training: ~500B token focalizzati su dati specifici di dominio di alta qualità (matematica, codice, conoscenza) per estendere il contesto a 8k e affinare la specializzazione degli esperti.
Instruction Fine-tuning (SFT): ~80M campioni su domini diversificati utilizzando l'invio di token senza abbandoni (dropless) per preservare i segnali strutturati delle istruzioni.
Quantization-Aware Training (QAT): Quantizzazione dei pesi INT4 (dimensione del gruppo 32) con attivazioni dinamiche INT8. Crucialmente, i pesi del router sono mantenuti in FP32 per mantenere la stabilità dell'instradamento, aggiungendo un sovraccarico di memoria trascurabile.

4. Inferenza Efficiente su Dispositivo

Per colmare il divario verso il deployment, gli autori implementano un kernel MoE fuso personalizzato in ExecuTorch. Questo kernel:

Converte l'invio di esperti sparsi in GEMM densi raggruppati riordinando i token.
Fonde tutte le sotto-operazioni (instradamento, invio, proiezioni, attivazione, scatter) in un singolo operatore per ammortizzare l'avvio del kernel e il sovraccarico di quantizzazione.
Abilita un'inferenza efficiente su CPU di smartphone commerciali (Snapdragon 8 Elite, Apple A18 Pro) e GPU.

Risultati Chiave

Prestazioni sui Benchmark

Su 14 benchmark fondamentali (senso comune, conoscenza, scienza, lettura, ragionamento), MobileMoE stabilisce una nuova frontiera di Pareto:

Efficienza vs. Modelli Densi: MobileMoE-S/M eguaglia o supera i principali LLM densi su dispositivo (ad es. MobileLLM-Pro, Llama 3.2 1B) utilizzando 2–4× meno FLOPs di inferenza a impronte di memoria comparabili.
Efficienza vs. Modelli MoE: MobileMoE-M eguaglia l'accuratezza dello stato dell'arte OLMoE-1B-7B con ~60% in meno di parametri attivi e totali. MobileMoE-L supera OLMoE-1B-7B con 30% in meno di parametri attivi e un'impronta di memoria 23% più piccola.
Efficienza dei Token: MobileMoE-L raggiunge prestazioni superiori con soli ~6T token di pre-addestramento, superando le basi dense addestrate su 1,5–2× token in più (ad es. Llama 3.2 1B a 9T).

Profilazione Runtime su Dispositivo

Deployato su Samsung Galaxy S25 e iPhone 16 Pro con pesi INT4:

Latenza: MobileMoE-S raggiunge un prefill 1,8–3,8× più veloce e un decode 2,2–3,4× più veloce rispetto alla baseline densa MobileLLM-Pro a memoria di pesi INT4 comparabile.
Memoria: A contesto 8k, MobileMoE-S consuma fino al 22% in meno di RAM di picco rispetto alla baseline densa. MobileMoE-L si adatta entro 5 GB di DRAM a contesto 8k, confermando la fattibilità per smartphone moderni.
Accuratezza: MobileMoE-L offre un'accuratezza sostanzialmente più alta (Media 57,8 vs. 45,5 per MobileLLM-Pro) con un solo costo runtime moderato, che diminuisce all'aumentare della lunghezza del contesto.

Significato e Affermazioni

Il paper afferma di presentare la prima famiglia MoE sub-miliardo-attiva ottimizzata specificamente per il deployment edge, derivata da una nuova legge di scalabilità su dispositivo. Il suo significato risiede in tre contributi principali:

Fondamento Teorico: Fornisce un quadro fondato per la progettazione MoE sotto vincoli congiunti di memoria e calcolo, identificando la sparsità moderata ( $E=8$ ), gli esperti a grana fine ( $g=8$ ) e gli esperti condivisi come la configurazione ottimale per i dispositivi mobili.
Efficienza di Addestramento: Dimostra che le architetture MoE possono raggiungere prestazioni all'avanguardia su dispositivo con significativamente meno token di addestramento (~6T) rispetto alle controparti dense, validando l'efficienza di apprendimento delle MoE su scale sub-miliardo.
Deployment Pratico: Colma l'"ultimo miglio" verso il deployment mobile fornendo la prima inferenza MoE efficiente su smartphone commerciali. I risultati confermano che MoE non è solo un'architettura su scala cloud, ma un percorso pratico ed efficiente per la prossima generazione di AI edge, abilitando applicazioni a bassa latenza, che preservano la privacy e a basso costo su smartphone e dispositivi indossabili.

Gli autori concludono che, sebbene gli attuali modelli su dispositivo rimangano prevalentemente densi, MobileMoE dimostra che MoE offre un'alternativa superiore per l'edge, stabilendo una nuova frontiera di Pareto che bilancia accuratezza, memoria e latenza.