Optimizing Split Learning Latency in TinyML-Based IoT Systems

Questo documento presenta il primo benchmark sperimentale di latenza per l'Apprendimento Diviso basato su TinyML su schede ESP32-S3, dimostrando che un algoritmo proposto basato sulla Ricerca a Raggiante che utilizza il protocollo ESP-NOW minimizza efficacemente la latenza di inferenza end-to-end ottimizzando i punti di divisione su vari modelli e protocolli di comunicazione.

L'essenziale

Immagina di avere un robot molto intelligente ma minuscolo (come una telecamera intelligente su un citofono) che deve risolvere un puzzle complesso, come riconoscere un volto. Il problema è che questo robot è piccolo, ha una batteria minuscola e un cervello debole. Se gli chiedi di risolvere l'intero puzzle da solo, ci vorrà un'eternità, oppure potrebbe esaurire la batteria prima di finire.

Questo articolo esplora un astuto escamotage chiamato Split Learning. Invece di chiedere al robot minuscolo di fare tutto, dividi il lavoro a metà. Il robot esegue la prima parte, facile, del puzzle, poi grida gli "indizi" che ha trovato a un robot più grande e potente nelle vicinanze (come un altoparlante intelligente o un server locale). Il robot più grande completa la parte difficile del puzzle e grida la risposta indietro.

Gli autori di questo articolo volevano capire il modo più veloce per giocare a questo gioco di gridare e ascoltare utilizzando hardware reale a basso consumo energetico (nello specifico schede ESP32-S3, che sono microcontrollori economici e open-source).

Ecco una panoramica delle loro scoperte utilizzando semplici analogie:

1. Il Problema del "Gridare": Scegliere il Protocollo Giusto

Quando il robot minuscolo invia i suoi indizi al robot grande, deve scegliere una "lingua" o un "metodo di consegna" per inviare i dati. I ricercatori hanno testato quattro metodi diversi, come scegliere tra diversi tipi di servizi postali:

• UDP: Come inviare una cartolina. È molto veloce perché non aspetti una ricevuta, ma se la cartolina si perde, non lo sai.
• TCP: Come inviare una lettera raccomandata. È molto affidabile (ricevi una ricevuta), ma richiede più tempo a causa di tutta la "burocrazia" di stretta di mano prima che la lettera venga inviata.
• BLE (Bluetooth): Come una radiowalkie-talkie lenta e chiacchierona. Si connette bene ma richiede molto tempo per impostare la conversazione e invia i dati in piccoli frammenti molto frammentati.
• ESP-NOW: Come una radiowalkie-talkie specializzata ad alta velocità che non ha bisogno di impostare una connessione formale prima. Semplicemente trasmette il messaggio.

Il Vincitore: Sorprendentemente, ESP-NOW è stato il più veloce in assoluto. Anche se ha un piccolo limite di "dimensione della busta" (non può trasportare enormi blocchi di dati alla volta), risparmia così tanto tempo saltando l'impostazione della connessione formale da battere gli altri. Ha completato il viaggio di andata e ritorno (inviare indizi e ricevere una risposta indietro) in circa 3,6 secondi, mentre il Bluetooth ha impiegato oltre 10 secondi.

2. Il Problema del "Taglio": Dove Dividere il Lavoro?

I ricercatori hanno anche dovuto decidere esattamente dove tagliare il puzzle.

• Tagliare troppo presto: Il robot minuscolo non fa quasi nulla, ma deve inviare un enorme mucchio di indizi al robot grande. Questo intasa la rete.
• Tagliare troppo tardi: Il robot minuscolo fa quasi tutto, il che richiede troppo tempo per il suo cervello debole.

Hanno testato diversi "punti di taglio" in due popolari modelli di intelligenza artificiale (MobileNet-V2 e ResNet50). Hanno scoperto che il punto migliore per tagliare dipende dal modello e dalla rete, ma in generale, volevano trovare la zona "Porcellino d'oro" (Goldilocks) in cui il robot minuscolo fa abbastanza lavoro senza sovraccaricare la rete.

3. Il "Pianificatore Intelligente": Beam Search

Trovare il punto di taglio perfetto è come cercare il percorso migliore attraverso un labirinto.

• Forza Bruta: Provare ogni singolo percorso possibile. Questo garantisce il percorso migliore, ma richiede un'eternità (giorni) per essere calcolato.
• Ricerca Greed: Prendere il primo percorso che sembra buono. È veloce, ma potresti rimanere bloccato in un vicolo cieco più tardi.
• Beam Search (Il Vincitore): Immagina di esplorare il labirinto, ma invece di controllare ogni percorso, tieni traccia solo dei 3 percorsi più promettenti in ogni dato momento. Se un percorso sembra brutto, lo scarti. Se un percorso sembra buono, lo mantieni ed esplori oltre.

I ricercatori hanno creato un algoritmo utilizzando questo metodo Beam Search.

• Il Risultato: Ha trovato un percorso quasi perfetto quasi istantaneamente (in circa 0,1 secondi per un gruppo di 5 dispositivi).
• Perché è importante: È abbastanza veloce da essere utilizzato in sistemi in tempo reale, a differenza del metodo "Forza Bruta" che richiederebbe ore o giorni per calcolare la stessa cosa.

Riassunto della "Ricetta"

L'articolo conclude con una semplice ricetta per far lavorare insieme in modo efficiente questi piccoli dispositivi IoT:

1. Usa ESP-NOW per le comunicazioni perché salta i noiosi passaggi di configurazione ed è il più veloce per i viaggi di andata e ritorno.
2. Usa l'algoritmo Beam Search per decidere automaticamente dove dividere il modello di intelligenza artificiale. Questo garantisce che il robot minuscolo e il robot grande condividano il lavoro nel modo più efficiente in termini di tempo possibile.

Combinando il giusto "metodo di gridare" (ESP-NOW) con un "pianificatore" intelligente (Beam Search), sono riusciti a far sì che questi piccoli dispositivi a basso consumo energetico risolvessero puzzle complessi di intelligenza artificiale molto più velocemente di prima, senza bisogno di aggiornare l'hardware.

Sommario tecnico

Riepilogo Tecnico: Ottimizzazione della Latenza nell'Apprendimento Diviso per Sistemi IoT Basati su TinyML

Enunciato del Problema

La rapida evoluzione dell'Intelligenza Artificiale incontra un significativo collo di bottiglia nel dispiegamento dell'inferenza di deep learning (DL) su dispositivi edge e IoT a ultra-bassa potenza e con risorse limitate. Sebbene TinyML offra una soluzione attraverso modelli leggeri, molte applicazioni superano ancora le capacità di memoria e elaborazione dei singoli microcontrollori. L'Apprendimento Diviso (Split Learning, SL) affronta questo problema partizionando un modello tra dispositivi, eseguendo i primi strati sul sensore e scaricando il resto su un dispositivo compagno. Tuttavia, le prestazioni della SL in questo contesto rimangono poco esplorate. Nello specifico, manca di prove empiriche riguardo a:

1. La latenza di inferenza end-to-end della SL su hardware vincolato sotto protocolli wireless realistici a bassa potenza.
2. L'impatto di diversi protocolli di comunicazione wireless (WiFi, ESP-NOW, BLE) sulla latenza divisa, inclusa l'installazione della rete, la trasmissione delle attivazioni intermedie e il feedback di previsione.
3. La selezione ottimale dei "punti di divisione" (dove il modello viene suddiviso) per minimizzare la latenza totale, considerando sia i sovraccarichi di calcolo che quelli di comunicazione.

Gli studi esistenti si sono concentrati prevalentemente su smartphone o computer a scheda singola, spesso assumendo condizioni di trasmissione ideali o utilizzando metodi euristici di selezione dei punti di divisione che non tengono conto dei sovraccarichi specifici del protocollo, come la perdita di pacchetti o i handshake di connessione.

Metodologia

Gli autori propongono un framework sperimentale e un algoritmo di ottimizzazione per colmare queste lacune.

1. Ambiente di Test Sperimentale

• Hardware: Il sistema utilizza schede ESP32-S3-WROOM-1 (240 MHz, 16 MB Flash) come nodi IoT e un PC Desktop (Intel Core i9-14900) come server edge.
• Modelli: Sono stati utilizzati due Reti Neurali Convoluzionali (CNN): MobileNet-V2 (leggero) e ResNet50 (più grande).
• Framework: I modelli sono stati preparati, partizionati e quantizzati utilizzando TensorFlow Lite (TFLite) sul server edge. Il firmware è stato distribuito sui dispositivi IoT tramite aggiornamenti Over-the-Air (OTA).
• Confronto dei Protocolli: Quattro protocolli di comunicazione wireless sono stati sottoposti a benchmark per la trasmissione delle attivazioni intermedie:
  • UDP (su WiFi)
  • TCP (su WiFi)
  • ESP-NOW (bassa potenza, peer-to-peer)
  • BLE (Bluetooth Low Energy)
• Misurazione: La latenza è stata misurata utilizzando timer ad alta risoluzione sull'ESP32-S3, catturando i componenti del Round-Trip Time (RTT) inclusi l'installazione del protocollo, il caricamento del modello, l'allocazione dei tensori, l'inferenza, il buffering, la trasmissione e il feedback.

2. Framework di Ottimizzazione

Il documento formula la selezione del punto di divisione come un problema di ottimizzazione per minimizzare la latenza totale di inferenza ($T_{inference}$), definita come la somma della latenza di elaborazione locale del dispositivo ($T_d$) e della latenza di trasmissione ($T_{tr}$).

• Modello di Trasmissione: La latenza di trasmissione tiene conto della dimensione del pacchetto, dei limiti della Unità di Trasmissione Massima (MTU), del ritardo di propagazione e della probabilità di perdita dei pacchetti.
• Algoritmi di Ricerca: Per risolvere il problema di ottimizzazione (trovare l'insieme ottimale di punti di divisione $s^*$), gli autori confrontano quattro strategie:
  1. Forza Bruta: Ricerca esaustiva (computazionalmente non fattibile per grandi $L$).
  2. Random-Fit: Selezione casuale dei punti di divisione.
  3. First-Fit: Seleziona il primo punto di divisione che soddisfa una soglia di latenza.
  4. Ricerca Greedy: Seleziona sequenzialmente i punti di divisione per minimizzare il costo immediato del segmento.
  5. Beam Search: Un approccio nuovo per questo contesto che espande solo le top-$B$ soluzioni parziali più promettenti a ogni passo, bilanciando l'accuratezza della ricerca con l'efficienza computazionale.

Risultati Chiave

Prestazioni dei Protocolli

• ESP-NOW: Ha raggiunto il miglior Round-Trip Time (RTT) complessivo di 3,6 secondi nella configurazione a due dispositivi. Nonostante un limite di pacchetto più piccolo (250 byte) rispetto a UDP/TCP, la mancanza di sovraccarichi di handshake di connessione e un meccanismo efficiente di broadcast a livello MAC hanno determinato la latenza totale più bassa.
• UDP: Ha fornito la latenza di trasmissione grezza più bassa (ad esempio, 1,4 ms per payload piccoli) grazie a una grande MTU (1472 byte) e alla mancanza di sovraccarichi di conferma. Tuttavia, i tempi di installazione del protocollo sono stati significativi (>2 secondi).
• TCP: Ha sofferto di alta latenza a causa dell'installazione della connessione e dei sovraccarichi di ritrasmissione, in particolare quando gestiva grandi tensori di attivazione intermedi (ad esempio, >100 pacchetti), portando a stalli del buffer sull'ESP32.
• BLE: Ha determinato la latenza più alta (10,4 s RTT) a causa di una frammentazione eccessiva (MTU da 512 byte) e di elevati ritardi di installazione/feedback.

Ottimizzazione del Punto di Divisione

• Efficienza dell'Algoritmo: L'algoritmo Beam Search ha dimostrato prestazioni di latenza quasi ottimali, comparabili alla Forza Bruta, ma con un tempo di elaborazione drasticamente ridotto. Per uno scenario con 5 dispositivi, Beam Search ha richiesto solo 0,1 secondi di tempo di elaborazione, mentre la Forza Bruta impiegherebbe un tempo esponenzialmente più lungo (proiezione di ~7857 secondi per 6 dispositivi).
• Riduzione della Latenza: Beam Search ha ridotto la latenza di oltre il 600% rispetto a Random-Fit per 6 dispositivi.
• Specifiche del Modello:
  • Per MobileNet-V2, Beam Search ha costantemente raggiunto la latenza più bassa al variare del numero di dispositivi.
  • Per ResNet50, sebbene Beam Search sia rimasto il più efficiente, sono state osservate fluttuazioni di latenza a numeri più alti di dispositivi a causa della mancanza di capacità di alcuni nodi per eseguire specifici segmenti del modello.

Riscontri Specifici sui Punti di Divisione

Il benchmark manuale ha identificato lo strato block_16_project_BN in MobileNet-V2 come un punto di divisione altamente efficace quando si utilizza ESP-NOW, bilanciando efficacemente il carico computazionale e la dimensione della trasmissione dei dati.

Significato e Affermazioni

Il documento afferma di fornire il primo benchmark sperimentale di latenza dell'Apprendimento Diviso basato su TinyML su schede a bassa potenza ESP32-S3. I suoi contributi principali sono:

1. Prove Empiriche: Colma una lacuna nella letteratura fornendo misurazioni reali della latenza SL su diversi protocolli wireless, andando oltre le simulazioni teoriche o gli studi basati su smartphone.
2. Selezione del Protocollo: Stabilisce che, sebbene UDP offra una bassa latenza di trasmissione, ESP-NOW è il protocollo superiore per l'RTT della SL end-to-end in ambienti IoT vincolati grazie a un sovraccarico di installazione trascurabile.
3. Algoritmo di Ottimizzazione: Introduce e convalida un algoritmo basato su Beam Search per la selezione automatica dei punti di divisione. Gli autori affermano che questo metodo offre una soluzione pratica e scalabile per dispiegamenti in tempo reale, fornendo una latenza quasi ottimale con costi computazionali minimi, a differenza dei metodi di ricerca esaustiva.
4. Riproducibilità: Il codice sorgente e l'ambiente sperimentale sono resi pubblicamente disponibili per servire come baseline riproducibile per la ricerca futura in TinyML e Apprendimento Diviso.

Gli autori concludono che, sebbene il loro lavoro attuale si concentri su punti di divisione statici e protocolli fissi, il lavoro futuro mira a sviluppare un framework dinamico che adatti punti di divisione, dimensioni dei blocchi e protocolli in tempo reale in base alle condizioni di rete e alle risorse del dispositivo.