Multi-DNN Inference of Sparse Models on Edge SoCs

Il paper introduce SparseLoom, un sistema dimostrativo che utilizza la "model stitching" per ricombinare sottografi di modelli sparsi senza riaddestramento, permettendo l'inferenza multi-DNN su SoC edge e riducendo significativamente le violazioni degli SLO, migliorando il throughput e diminuendo l'overhead di memoria rispetto agli stati dell'arte.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "SparseLoom: Multi-DNN Inference of Sparse Models on Edge SoCs", pensata per chiunque, anche senza un background tecnico.

Immagina il tuo telefono o il tuo smartwatch come un piccolo chef che lavora in una cucina affollata (il chip del dispositivo). Questo chef deve preparare contemporaneamente diversi piatti complessi: riconoscere la tua voce, classificare le foto, capire se sei felice o triste, e riconoscere i tuoi movimenti.

Il Problema: La Cucina Troppo Piccola

Ogni piatto (ogni compito di intelligenza artificiale) ha requisiti diversi:

• Alcuni devono essere pronti immediatamente (bassa latenza), anche se il gusto è leggermente meno perfetto.
• Altri devono essere perfetti (alta precisione), anche se ci vogliono più minuti.

Il problema è che la cucina (il processore) è piccola e ha strumenti diversi: un coltello veloce (CPU), un forno potente (GPU) e un robot specializzato (NPU).
Fino ad oggi, i sistemi esistenti erano come chef che avevano un solo ricettario fisso per ogni piatto. Se il cliente chiedeva "velocissimo", lo chef usava lo stesso ricettario, ma spesso il piatto veniva bruciato o non era abbastanza buono. Se il cliente chiedeva "perfetto", il piatto arrivava troppo tardi. Risultato: molti clienti insoddisfatti (violazione degli obiettivi di servizio).

La Soluzione: "Model Stitching" (Il Ricamo dei Ricetti)

Gli autori del paper, Jiawei Luo e il suo team, hanno introdotto una tecnica geniale chiamata "Model Stitching" (Ricamo del Modello).

Immagina di avere tre versioni diverse dello stesso piatto:

1. Versione Lussuosa: Ingredienti pregiati, ci vuole molto tempo (Modello Denso).
2. Versione Veloce: Ingredienti tagliati a pezzi, ci vuole poco tempo (Modello Potato/Pruned).
3. Versione Leggera: Ingredienti in polvere, velocissima ma meno saporita (Modello Quantizzato).

Invece di scegliere una sola versione intera, lo chef prende pezzi diversi da ogni ricetta e li cuce insieme per creare un nuovo piatto su misura.

• Prende l'inizio della ricetta Lussuosa (per la qualità).
• Prende il centro della ricetta Veloce (per la velocità).
• Prende la fine della ricetta Leggera (per risparmiare spazio).

Questo è il "Ricamo": creare nuove varianti di modelli unendo i pezzi migliori di quelli esistenti, senza dover ricucinare tutto da zero (senza ri-addestrare il modello). È come se avessi un magazzino infinito di nuovi piatti pronti in pochi secondi.

Le Sfide e come SparseLoom le risolve

Creare migliaia di nuovi piatti combinati sembra fantastico, ma introduce tre problemi enormi. SparseLoom è il sistema che risolve questi problemi:

1. Il Problema del "Gusto" (Profilatura)

Se provi a cucinare e assaggiare tutte le migliaia di combinazioni possibili, ci vorrebbe una vita.

• La Soluzione: SparseLoom ha un "Assaggiatore Intelligente" (Stimatore). Invece di cucinare tutto, guarda gli ingredienti che hai usato prima e dice: "Se metti insieme questi tre pezzi, il piatto sarà probabilmente buono e veloce". Questo riduce i tempi di prova del 99%.

2. Il Problema della "Cucina" (Posizionamento)

Hai un piatto fatto di tre pezzi. Chi li cucina?

• Il primo pezzo va nel forno (GPU)?
• Il secondo sul fornello (CPU)?
• Il terzo nel robot (NPU)?
  Se sbagli l'ordine, il cibo si raffredda o si brucia. I sistemi vecchi usavano sempre lo stesso ordine (es. sempre Forno -> Fornello -> Robot).
• La Soluzione: SparseLoom ha un "Capo Cuoco Ottimizzatore". Analizza il piatto specifico che devi cucinare e decide: "Oggi, per questo piatto, è meglio iniziare col Robot, poi il Forno e finire col Fornello". Trova l'ordine perfetto per ogni situazione, aumentando la velocità fino a 2,3 volte.

3. Il Problema dello "Spazio in Frigo" (Memoria)

Se vuoi avere pronti migliaia di piatti combinati, il tuo frigo (la memoria del telefono) esploderà. Non puoi tenere tutto.

• La Soluzione: SparseLoom usa un "Frigorifero Intelligente". Invece di tenere tutto, calcola quali pezzi di ricetta vengono usati più spesso o sono più importanti per soddisfare i clienti. Tiene solo quelli "caldi" (Hot-Subgraphs) in frigo e lascia gli altri nel magazzino. Questo riduce lo spazio necessario del 28% senza far aspettare i clienti.

I Risultati: Cosa succede nella realtà?

Quando hanno provato SparseLoom su dispositivi reali (come laptop e telefoni), i risultati sono stati impressionanti:

• Meno clienti arrabbiati: Le richieste non soddisfatte (il piatto che arriva troppo tardi o è sbagliato) sono diminuite fino al 74%.
• Più piatti serviti: Il sistema riesce a gestire 2,3 volte più richieste contemporaneamente.
• Frigorifero più leggero: Occupa molta meno memoria, lasciando spazio per le tue app e le tue foto.

In sintesi

SparseLoom è come un chef magico che, invece di avere un solo menu fisso, sa creare infinite varianti di piatti cucendo insieme i pezzi migliori delle ricette esistenti. Usa un assistente intelligente per non perdere tempo a provare tutto, un capo cuoco per decidere chi fa cosa nella cucina e un frigorifero che tiene solo il necessario. Il risultato? Un dispositivo edge (telefono, auto, smartwatch) che è più veloce, più preciso e più efficiente di quanto fosse mai possibile prima.

Sommario tecnico

Ecco un riepilogo tecnico dettagliato del paper "Multi-DNN Inference of Sparse Models on Edge SoCs" in lingua italiana.

1. Il Problema

Le applicazioni moderne per l'edge computing (come la Realtà Aumentata) richiedono sempre più spesso l'esecuzione parallela di compiti diversificati (es. riconoscimento vocale, classificazione di immagini, analisi del sentiment) su processori eterogenei (CPU, GPU, NPU) integrati in System-on-Chip (SoC).

I sistemi di inferenza Multi-DNN esistenti affrontano due limiti principali:

1. Scarsa adattabilità agli SLO (Service Level Objectives): Le applicazioni hanno requisiti variabili di latenza e accuratezza. I sistemi attuali selezionano varianti di modelli sparsi (prunati o quantizzati) da un "zoo" predefinito. Tuttavia, il numero limitato di varianti originali spesso non è sufficiente a soddisfare combinazioni complesse di SLO, portando a tassi elevati di violazione degli obiettivi (SLO violation rates).
2. Inefficienza nell'allocazione e nel caricamento:
   • Profilatura: Il numero esponenziale di possibili combinazioni di varianti rende la profilatura completa (misura di accuratezza e latenza) troppo costosa.
   • Posizionamento: L'ordine di esecuzione dei sottografi su diversi processori è spesso fisso e subottimale, riducendo il throughput.
   • Memoria: Il precaricamento di tutte le varianti per evitare latenze di switching a runtime consuma una quantità eccessiva di memoria, critica sui dispositivi edge.

2. Metodologia: SparseLoom

Gli autori propongono SparseLoom, un sistema olistico per l'inferenza Multi-DNN su SoC edge che introduce una tecnica innovativa chiamata "Model Stitching" (cucitura dei modelli) e tre moduli ottimizzati per affrontarne le sfide.

A. Model Stitching (Cucitura dei Modelli)

Invece di selezionare solo varianti esistenti, SparseLoom genera nuove varianti combinando sottografi (blocchi di layer consecutivi) provenienti da diversi modelli sparsi (densi, prunati, quantizzati) derivati dallo stesso modello base.

• Vantaggio: Crea un nuovo spazio di varianti "training-free" (senza riaddestramento).
• Principio: Sottografi con distribuzioni di output simili (garantite da tecniche di compressione come pruning strutturato e quantizzazione) possono essere combinati mantenendo un'alta accuratezza. Questo espande notevolmente il fronte di Pareto tra accuratezza e latenza.

B. I Tre Moduli di Ottimizzazione

Per rendere lo stitching praticabile, SparseLoom integra tre componenti:

1. Performance Profiler (Stimatori di Accuratezza e Latenza):

   • Affronta il costo di profilatura esponenziale.
   • Utilizza un Stimatore di Accuratezza basato su regressione supervisionata (XGBoost) che predice l'accuratezza di una variante cucita basandosi sulle accuratezze dei sottografi originali.
   • Utilizza un Stimatore di Latenza che somma le latenze misurate dei singoli sottografi sui rispettivi processori, ignorando i costi di comunicazione trascurabili su SoC con memoria unificata.
   • Risultato: Riduce drasticamente il tempo di profilatura senza bisogno di eseguire tutte le combinazioni.

2. Sparsity-Aware Optimizer (Ottimizzatore Consapevole della Sparsità):

   • Affronta il problema del posizionamento subottimale dei processori.
   • Esegue un'ottimizzazione congiunta: seleziona simultaneamente la migliore variante cucita per ogni task e l'ordine ottimale di esecuzione dei sottografi su CPU, GPU e NPU.
   • L'algoritmo cerca l'ordine dei processori che minimizza la latenza media globale su tutti i task, adattandosi dinamicamente al tipo di sparsità scelto.

3. Hot-Subgraph Preloader (Precaricamento dei Sottografi "Caldi"):

   • Affronta il problema dell'overhead di memoria.
   • Invece di precaricare tutte le varianti, calcola un punteggio di "Hotness" per ogni sottografo. Questo punteggio combina la frequenza di utilizzo del sottografo nelle configurazioni SLO valide e la sua unicità (se è l'unico a soddisfare certi requisiti).
   • Precarica solo i sottografi con il punteggio più alto entro un budget di memoria limitato, riducendo l'overhead di switching a runtime.

3. Risultati Sperimentali

Il sistema è stato valutato su tre piattaforme edge (Desktop Intel, Laptop Intel, NVIDIA Jetson Orin) con quattro task diversi (classificazione immagini, sentiment analysis, riconoscimento attività, riconoscimento vocale) e confrontato con sei baseline dello stato dell'arte.

• Riduzione delle Violazioni SLO: SparseLoom riduce il tasso di violazione degli SLO fino al 74% rispetto ai sistemi esistenti. Questo dimostra che l'espansione dello spazio delle varianti tramite stitching permette di soddisfare requisiti più stringenti.
• Miglioramento del Throughput: Il sistema migliora il throughput fino a 2.31 volte (2.31x) grazie all'ottimizzazione congiunta della selezione delle varianti e del posizionamento sui processori.
• Efficienza della Profilatura: L'uso degli stimatori riduce il tempo di profilatura fino al 99% (es. da 468 minuti a 5 minuti su laptop con 10 varianti).
• Riduzione dell'Overhead di Memoria: Grazie al precaricamento selettivo, SparseLoom riduce l'uso di memoria di circa il 28% in media mantenendo prestazioni SLO comparabili al precaricamento completo.

4. Contributi Chiave

1. Introduzione del Model Stitching: Una tecnica training-free per generare varianti di modelli combinando sottografi, che espande lo spazio di ricerca per l'inferenza adattiva.
2. Sistema SparseLoom: La prima architettura completa che integra la generazione di varianti, la profilatura efficiente, l'ottimizzazione del placement eterogeneo e la gestione della memoria per sistemi Multi-DNN.
3. Validazione Empirica: Dimostrazione che l'approccio proposto supera significativamente le tecniche attuali (sia a singolo modello che a selezione adattiva) su diverse piattaforme hardware edge.

5. Significato e Impatto

Questo lavoro è significativo perché risolve il collo di bottiglia fondamentale nell'inferenza edge: la tensione tra la necessità di soddisfare requisiti SLO dinamici e le risorse limitate (memoria, potenza di calcolo).

• Flessibilità: Permette di adattare l'inferenza a scenari complessi senza riaddestrare i modelli, risparmiando tempo e energia.
• Scalabilità: Rende fattibile l'uso di un vasto "zoo" di varianti di modelli su dispositivi con risorse limitate, superando i limiti della profilatura esaustiva.
• Efficienza: Ottimizza l'uso dell'hardware eterogeneo (CPU/GPU/NPU) non solo parallelizzando i task, ma anche ottimizzando l'ordine di esecuzione dei singoli layer di un modello.

In sintesi, SparseLoom rappresenta un avanzamento cruciale verso sistemi di inferenza edge più intelligenti, reattivi ed efficienti, capaci di gestire carichi di lavoro multi-task complessi in tempo reale.