Riepilogo Tecnico: Partizionamento e Offloading Adattivo di DNN nel Continuum Eterogeneo Edge-Cloud

Enunciato del Problema

La proliferazione di dispositivi Internet-of-Things (IoT) ha generato volumi massicci di dati che richiedono un elaborazione sofisticata tramite Reti Neurali Profonde (DNN). Sebbene l'esecuzione centralizzata nel cloud offra potenza di calcolo, introduce latenze proibitive, vincoli di larghezza di banda e rischi per la privacy per le applicazioni IoT in tempo reale. Al contrario, l'esecuzione completa delle DNN su dispositivi edge con risorse limitate porta spesso a un elevato consumo energetico e a tempi di inferenza lenti.

Le soluzioni esistenti per la distribuzione dell'inferenza attraverso il continuum edge-cloud si basano tipicamente su strategie di partizionamento statico. Questi approcci definiscono punti di divisione fissi per i livelli delle reti neurali prima della distribuzione, fallendo nell'adattarsi alle dinamiche di runtime come la fluttuazione della larghezza di banda di rete, la mobilità dei nodi o i carichi computazionali variabili. Inoltre, esiste un significativo divario nella letteratura: la maggior parte dei framework proposti viene valutata in ambienti simulati che assumono condizioni di rete ideali, con pochi validati su hardware fisico. Inoltre, molti studi reali si concentrano principalmente sulla latenza o sul tempo di completamento del compito, trascurando spesso il consumo energetico come obiettivo primario di ottimizzazione.

Metodologia

Gli autori propongono un framework di partizionamento e offloading adattivo progettato per dividere dinamicamente i carichi di lavoro di inferenza DNN attraverso un continuum eterogeneo a tre livelli (Edge, Fog e Cloud) per minimizzare il consumo energetico rispettando vincoli di latenza rigorosi.

Architettura di Sistema

Il framework opera su un banco di prova fisico costituito da:

• Edge: Raspberry Pi 4 (con risorse limitate).
• Fog: Laptop (Intel Core i7).
• Cloud: PC Desktop ad alte prestazioni (GPU NVIDIA RTX 4070 Ti).

L'architettura consente schemi di partizionamento in cui $i$ livelli vengono eseguiti sull'edge, i livelli da $i+1$ a $j$ vengono eseguiti sul fog, e i livelli da $j+1$ a $N-1$ vengono eseguiti sul cloud.

Pipeline Algoritmica

Il framework segue una pipeline a cinque fasi:

1. Profilazione Offline: Prima del runtime, il sistema profila il modello per generare due tabelle di ricerca:

   • Tabella delle Dimensioni di Attivazione: Registra la dimensione dei tensori intermedi a ogni confine di caratteristica per stimare i costi di comunicazione.
   • Tabella del Peso Computazionale Relativo: Assegna frazioni normalizzate del lavoro totale di inferenza a ogni livello basandosi su una singola esecuzione, fungendo da riferimento stabile per la scalatura delle misurazioni di runtime.

2. Sondaggio del Link a Due Punti: Per stimare le condizioni di rete senza un sovraccarico elevato, il sistema trasmette due payload di dimensioni contrastanti ($s_1, s_2$) attraverso i salti di rete. Mediando i tempi di andata e ritorno, modella il link come $rtt(s) = \omega + s/\beta$, derivando il sovraccarico fisso ($\omega$) e la throughput effettiva ($\beta$).

3. Stima della Divisione Candidata: Per qualsiasi divisione candidata $(i, j)$, il sistema prevede la latenza end-to-end e l'energia. La latenza è la somma dei tempi di calcolo (derivati dai pesi profilati e dalle velocità dei nodi) e dei tempi di trasferimento (derivati dai modelli di link). L'energia è stimata moltiplicando i tempi di calcolo specifici del nodo per i tassi di potenza empirici.

4. Ricerca del Migliore Candidato: Il sistema valuta tutte le coppie di divisione valide. I candidati vengono filtrati per garantire che soddisfino la scadenza della latenza ($L_{max}$) e non performino peggio di una baseline statica. La divisione ottimale minimizza un punteggio obiettivo ponderato:
   $$S(i, j) = w_{end}\frac{\hat{E}_{end}}{n_{end}} + w_{tot}\frac{\hat{E}_{tot}}{n_{tot}} + w_{lat}\frac{\hat{L}}{n_{lat}}$$
   dove i pesi danno priorità al consumo energetico dell'edge (0.6–0.9) rispetto all'energia totale del sistema e alla latenza.

5. Pianificazione dell'Inferenza Distribuita Adattiva:

   • Inizializzazione: Il sistema esegue una divisione di base e tre divisioni di "sondaggio" (pesante sull'edge, bilanciata, pesante sul cloud) per adattare i tassi di calcolo per nodo e i modelli di link.
   • Stato Stazionario: Il sistema esegue la divisione corrente per una finestra di inferenze. Periodicamente, rivaluta l'ambiente rieseguendo il sondaggio dei link e ricalibrando i tassi. Se un nuovo candidato migliora il punteggio obiettivo di almeno il 3% (o se viene violata la scadenza della latenza), il sistema passa alla nuova partizione. Se non esiste un candidato migliore durante una violazione della scadenza, il sistema torna alla baseline statica.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Framework Adattivo: Un framework innovativo per l'inferenza DNN che partiziona dinamicamente i carichi di lavoro attraverso un continuum edge-cloud eterogeneo, dando priorità all'efficienza energetica senza violare i vincoli di latenza.
2. Banco di Prova Fisico: La costruzione e l'utilizzo di un banco di prova a tre livelli pienamente funzionante (Raspberry Pi, Laptop, PC Desktop) per valutare strategie di offloading verticale su hardware reale, affrontando la dipendenza dalle simulazioni nei lavori precedenti.
3. Valutazione Empirica: Esperimenti completi nel mondo reale utilizzando tre CNN ampiamente adottate (VGG16, AlexNet, MobileNetV2), raccogliendo metriche di energia e latenza misurate sull'hardware attraverso configurazioni a dispositivo singolo, statiche e adattive.

Risultati

Il framework è stato valutato contro due baseline: esecuzione a dispositivo singolo e partizionamento statico (distribuzione del carico di lavoro uguale fissa).

• Riduzione Energetica: Il framework adattivo ha raggiunto risparmi energetici significativi rispetto alla baseline statica:
  • VGG16: Riduzione del 35.82% (da 5.69 J a 3.65 J).
  • AlexNet: Riduzione del 35.70% (da 0.68 J a 0.43 J).
  • MobileNetV2: Riduzione del 27.09% (da 0.92 J a 0.67 J).
• Riduzione della Latenza: Anche la latenza end-to-end è stata ridotta:
  • VGG16: Riduzione del 6.34%.
  • AlexNet: Riduzione del 22.92%.
  • MobileNetV2: Riduzione del 14.20%.
• Osservazioni: Per MobileNetV2, il partizionamento statico ha effettivamente aumentato la latenza rispetto all'esecuzione a dispositivo singolo a causa del sovraccarico di rete; il framework adattivo ha mitigato con successo questo problema spostando il punto di divisione. I risultati mostrano costantemente che le riduzioni energetiche superano le riduzioni della latenza, riflettendo la ponderazione degli obiettivi del framework.

Significato e Affermazioni

Il documento afferma che i suoi risultati confermano la superiorità del partizionamento adattivo rispetto ai metodi statici in ambienti dinamici ed eterogenei. Validando l'approccio su hardware reale anziché in simulazione, il lavoro affronta un divario critico nella letteratura riguardante le prestazioni pratiche delle strategie di offloading.

Gli autori affermano che il loro framework riduce con successo il consumo energetico sui dispositivi edge con risorse limitate senza violare i vincoli di latenza in tempo reale. A differenza degli approcci basati sull'Apprendimento per Rinforzo (RL) o di architetture di inferenza parallela complesse, questo framework si basa su una valutazione leggera e periodica di una singola funzione obiettivo ponderata, rendendolo continuamente adattivo ai cambiamenti ambientali come le fluttuazioni della larghezza di banda di rete e le variazioni del carico dei nodi. I risultati sono presentati come comparabili ai lavori all'avanguardia nella riduzione della latenza, ma con un focus distinto sull'efficienza energetica, una metrica spesso trascurata negli studi esistenti sul continuum edge-cloud eterogeneo.