Riepilogo Tecnico: Lever – Inferenza Speculativa di LLM su Smartphone

Enunciato del Problema

Il deployment di Large Language Models (LLM) di alta qualità su smartphone è fondamentalmente limitato dalla capacità ridotta della DRAM. Sebbene i modelli all'avanguardia contengano miliardi di parametri, gli smartphone commerciali offrono tipicamente solo ~10 GB di DRAM, gran parte della quale è condivisa con il sistema operativo e altre applicazioni. Sebbene lo scaricamento dei pesi del modello sulla memoria flash permetta di utilizzare modelli più grandi, ciò introduce un grave collo di bottiglia nelle prestazioni: la decodifica autoregressiva richiede invocazioni ripetute del modello, e il caricamento dei pesi dalla flash per ogni generazione di token comporta una latenza I/O proibitiva.

I metodi esistenti di decodifica speculativa, che utilizzano un piccolo modello bozza per proporre token e un modello target più grande per verificarli, sono inadatti a questo ambiente. Sono progettati per hardware di classe server, dove entrambi i modelli risiedono in memoria ad alta larghezza di banda e la verifica sfrutta un parallelismo abbondante. Sui dispositivi mobili, questi metodi falliscono perché:

1. Comunicazione Vincolata alla Flash: La verifica richiede il caricamento dei pesi target dalla flash, rendendo la latenza I/O il costo dominante anziché il calcolo.
2. Calcolo Limitato dal Parallelismo: Le NPU mobili offrono significativamente meno parallelismo rispetto alle GPU server, rendendo la verifica di grandi alberi di token computazionalmente costosa.
3. Esecuzione Irregolare: La speculazione ad albero di token introduce ramificazioni irregolari e strutture dinamiche che non si allineano bene con le operazioni tensoriali fisse e regolari ottimizzate per le NPU mobili.

Metodologia: Il Sistema Lever

Gli autori presentano Lever, un sistema end-to-end che ottimizza congiuntamente le tre fasi della decodifica speculativa (bozza, verifica ed esecuzione) specificamente per la gerarchia di memoria eterogenea DRAM-flash e l'hardware CPU-NPU mobile.

1. Costruzione della Bozza Ottimizzata per Mobile

Lever ridefinisce l'obiettivo della costruzione dell'albero di token. Invece di massimizzare il tasso di accettazione dei token bozza (come nei metodi lato server), Lever ottimizza per i token di output attesi per unità di latenza del ciclo speculativo.

• Modellazione Guadagno-Costo: Lever stima il guadagno marginale (probabilità che un token venga accettato) e il costo marginale (latenza della generazione della bozza + verifica target) per ogni potenziale espansione dell'albero.
• Espansione Gredda: Utilizzando un algoritmo greedy, Lever espande l'albero di token selezionando i nodi di frontiera con il rapporto guadagno-costo più alto. Ciò garantisce che la dimensione dell'albero sia bilanciata: abbastanza grande da ammortizzare l'I/O flash costoso, ma abbastanza piccola da non sovraccaricare le risorse di calcolo mobili con un eccessivo onere di verifica.
• Arresto Adattivo: L'espansione si interrompe quando il guadagno marginale del miglior candidato successivo scende al di sotto del tasso di guadagno medio dell'albero corrente, evitando vincoli di budget fissi.

2. Potatura della Verifica Basata su Predittore

Per mitigare il collo di bottiglia computazionale della verifica di grandi alberi di token sui SoC mobili, Lever introduce un meccanismo di uscita anticipata.

• Predittore Intermedio: Una rete neurale predittiva leggera è collegata a un livello intermedio del modello target. Essa assegna un punteggio ai rami bozza basandosi sugli stati nascosti per prevedere quali rami sono probabili sopravvivere alla verifica finale.
• Candidati Ombra e Normalizzazione: Per garantire l'affidabilità del punteggio anche quando un nodo genitore ha pochi figli, Lever include "candidati ombra" (token bozza non presenti nell'albero) nel processo di normalizzazione. Ciò previene punteggi elevati banali per nodi con un solo figlio.
• Potatura Conservativa: I rami con punteggi predetti bassi vengono potati prima di attraversare i restanti livelli target. Viene preservato un "percorso dorsale" per garantire che l'albero mantenga la profondità, e meccanismi di sicurezza prevengono una potatura eccessivamente aggressiva che eliminerebbe sequenze valide. Ciò riduce il calcolo di verifica mantenendo la correttezza dell'output, poiché l'accettazione finale del token è ancora determinata dal modello target completo.

3. Accelerazione dell'Esecuzione Ibrida Hardware

Lever ristruttura il flusso di esecuzione per massimizzare l'utilizzo sia della CPU che della NPU.

• Bozza Consapevole dei Lotti: Sebbene la bozza sia tradizionalmente vincolata alla CPU, Lever identifica che, man mano che l'albero di token cresce, più nodi di frontiera ad alto valore possono essere espansi simultaneamente. Pianifica queste espansioni in lotti sulla NPU per migliorare il throughput, gestendo al contempo piccole espansioni dinamiche sulla CPU.
• Separazione a Livello di Layer nella Verifica: Lever disaccoppia i livelli transformer dalla proiezione di output.
  • NPU: Esegue i livelli transformer per tutti i nodi preservati in modo batched.
  • CPU: Esegue la proiezione di output (generazione dei logit) su richiesta solo lungo il percorso effettivamente accettato. Ciò evita il calcolo ridondante dei logit per i rami che vengono infine rifiutati, una fonte significativa di cicli sprecati sulle NPU mobili con forme di batch fisse.

Contributi Chiave

1. Analisi a Livello di Sistema: Il documento identifica che la decodifica speculativa sui dispositivi mobili richiede un passaggio dall'ottimizzazione algoritmica al co-design algoritmo-sistema, affrontando specificamente i compromessi tra latenza I/O flash, parallelismo limitato e pattern di esecuzione irregolari.
2. Il Sistema Lever: Un sistema innovativo che integra tre componenti ottimizzati:
   • Un obiettivo guadagno-costo per la costruzione di alberi di token consapevole del mobile.
   • Un meccanismo di potatura basato su predittore per ridurre il calcolo di verifica.
   • Una strategia di esecuzione ibrida CPU-NPU che minimizza il calcolo ridondante e massimizza l'utilizzo dell'hardware.
3. Valutazione Completa: Esperimenti estensivi che dimostrano l'efficacia di Lever su più modelli (Llama-3.1-8B, varianti Qwen3), task (codice, matematica, dialogo) e piattaforme hardware (Snapdragon 8 Gen 3, 8 Elite).

Risultati

Le valutazioni sono state condotte su smartphone commerciali (OnePlus 12, Honor 500 Pro, Honor Magic V5) utilizzando modelli quantizzati Q4_0.

• Riduzione della Latenza: Lever riduce la latenza di inferenza di una media di 2,93× rispetto all'inferenza autoregressiva basata su flash (Flash-AR) di base.
• Miglioramento rispetto alla Decodifica Speculativa: Lever raggiunge un aumento di velocità di 1,50× rispetto ai metodi convenzionali di decodifica speculativa (Chain-SD) e di 1,27× rispetto a EdgeLLM, una baseline specifica per mobile.
• Efficienza: Il sistema riduce con successo il divario di latenza tra inferenza supportata da flash e inferenza residente in memoria. Gli studi di ablazione confermano che tutti e tre i componenti (ottimizzazione della bozza, potatura ed esecuzione ibrida) sono necessari per ottenere questi guadagni.
• Robustezza: Lever mantiene le prestazioni attraverso diversi budget DRAM (0% - 100% dei livelli in DRAM), diverse qualità del modello bozza e diverse lunghezze di output.

Significato

Il documento afferma che Lever dimostra la fattibilità dell'esecuzione diretta su smartphone di LLM di alta qualità e con molti parametri, senza fare affidamento su server cloud. Trattando la decodifica speculativa come un problema di sistema piuttosto che puramente algoritmico, Lever gestisce efficacemente i vincoli delle gerarchie di archiviazione mobile e delle unità di calcolo eterogenee. Ciò abilita applicazioni LLM interattive, che preservano la privacy e sono economicamente vantaggiose (come l'assistenza alla digitazione e la modifica interattiva), che in precedenza erano impraticabili a causa di limitazioni di memoria e latenza.