Optimizing Split Learning Latency in TinyML-Based IoT Systems

Dit artikel presenteert de eerste experimentele latentiebenchmark van TinyML-gebaseerde Split Learning op ESP32-S3-bordjes, waaruit blijkt dat een voorgestelde op Beam Search gebaseerde algoritme met het ESP-NOW-protocol de end-to-end-inferentielatentie effectief minimaliseert door split-punten te optimaliseren over diverse modellen en communicatieprotocollen.

De kern

Stel je voor dat je een zeer slim maar piepklein robotje hebt (zoals een slimme camera op een deurbel) dat een complex puzzel moet oplossen, zoals het herkennen van een gezicht. Het probleem is dat dit robotje klein is, een piepkleine batterij heeft en een zwak brein. Als je vraagt dat het robotje het hele puzzel alleen oplost, duurt het eeuwig, of loopt het misschien leeg voordat het klaar is.

Dit artikel onderzoekt een slimme omweg genaamd Split Learning. In plaats van het kleine robotje alles te laten doen, verdeel je het werk in tweeën. Het robotje doet het eerste, gemakkelijke deel van het puzzel, en roept vervolgens de "aanwijzingen" die het heeft gevonden naar een groter, sterker robotje in de buurt (zoals een slimme luidspreker of een lokale server). Het grote robotje maakt het moeilijke deel van het puzzel af en roept het antwoord terug.

De auteurs van dit artikel wilden de snelste manier vinden om dit roepen-en-luister-spel te spelen met echte, energiezuinige hardware (specifiek ESP32-S3-bordjes, goedkope, open-source microcontrollers).

Hier is een overzicht van hun bevindingen met eenvoudige analogieën:

1. Het "Roepen"-probleem: Het kiezen van het juiste protocol

Wanneer het kleine robotje zijn aanwijzingen naar het grote robotje stuurt, moet het een "taal" of een "bezorgmethode" kiezen om de data te verzenden. De onderzoekers testten vier verschillende methoden, zoals het kiezen tussen verschillende soorten postdiensten:

• UDP: Alsof je een ansichtkaart verstuurt. Het is zeer snel omdat je niet op een ontvangstbevestiging hoeft te wachten, maar als de kaart verloren gaat, weet je dat niet.
• TCP: Alsof je een aangetekende brief verstuurt. Het is zeer betrouwbaar (je krijgt een ontvangstbevestiging), maar het duurt langer vanwege alle "handshake"-papierenwerk voordat de brief wordt verstuurd.
• BLE (Bluetooth): Alsof een langzame, kletserige walkie-talkie. Het verbindt goed, maar het kost veel tijd om het gesprek op te zetten en het stuurt data in zeer kleine, gefragmenteerde stukjes.
• ESP-NOW: Alsof een gespecialiseerde, hoogwaardige walkie-talkie die geen formele verbinding hoeft op te zetten. Het schiet het bericht er gewoon uit.

De winnaar: Verrassend genoeg was ESP-NOW overall het snelst. Hoewel het een kleine "envelop"-grootte heeft (het kan niet enorme stukken data tegelijk dragen), bespaart het zoveel tijd door de formele verbinding op te zetten dat het de anderen versloeg. Het voltooide de heen-en-weer-rit (aanwijzingen sturen en een antwoord terugkrijgen) in ongeveer 3,6 seconden, terwijl Bluetooth meer dan 10 seconden nodig had.

2. Het "Snijden"-probleem: Waar het werk te verdelen?

De onderzoekers moesten ook beslissen exact waar ze het puzzel moesten snijden.

• Te vroeg snijden: Het kleine robotje doet bijna niets, maar moet een enorme stapel aanwijzingen naar het grote robotje sturen. Dit verstopt het netwerk.
• Te laat snijden: Het kleine robotje doet bijna alles, wat te lang duurt voor zijn zwakke brein.

Ze testten verschillende "snijpunten" in twee populaire AI-modellen (MobileNet-V2 en ResNet50). Ze ontdekten dat de beste plek om te snijden afhankelijk is van het model en het netwerk, maar over het algemeen wilden ze de "Goudlokje"-zone vinden waar het kleine robotje net genoeg werk doet zonder het netwerk te overbelasten.

3. De "Slimme Planner": Beam Search

Het vinden van het perfecte snijpunt is alsof je probeert de beste route door een doolhof te vinden.

• Brute Force: Elke mogelijke route uitproberen. Dit garandeert de beste route, maar het duurt eeuwen (dagen) om te berekenen.
• Greedy Search: De eerste route nemen die er goed uitziet. Het is snel, maar je kunt later vastlopen in een doodlopende weg.
• Beam Search (De winnaar): Stel je voor dat je het doolhof verkent, maar in plaats van elke route te controleren, houd je op elk moment alleen de top 3 veelbelovendste routes bij. Als een route er slecht uitziet, laat je hem vallen. Als een route er goed uitziet, houd je hem vast en verken je verder.

De onderzoekers creëerden een algoritme met deze Beam Search-methode.

• Het resultaat: Het vond bijna direct een bijna-perfecte route (in ongeveer 0,1 seconden voor een groep van 5 apparaten).
• Waarom het belangrijk is: Het is snel genoeg om in real-time systemen te worden gebruikt, in tegenstelling tot de "Brute Force"-methode, die uren of dagen zou nodig hebben om hetzelfde te berekenen.

Samenvatting van het "Recept"

Het artikel sluit af met een eenvoudig recept om deze kleine IoT-apparaten efficiënt samen te laten werken:

1. Gebruik ESP-NOW voor communicatie omdat het de saaie opstappen overslaat en het snelst is voor heen-en-weer-ritten.
2. Gebruik het Beam Search-algoritme om automatisch te beslissen waar het AI-model moet worden verdeeld. Dit zorgt ervoor dat het kleine robotje en het grote robotje het werk op de meest tijdefficiënte manier mogelijk delen.

Door de juiste "roepmethode" (ESP-NOW) te combineren met een slimme "planner" (Beam Search), lukte het hen om deze kleine, energiezuinige apparaten complexe AI-puzzels veel sneller op te lossen dan voorheen, zonder dat ze de hardware hoefden te upgraden.

Technische samenvatting

Technische Samenvatting: Optimalisatie van Latentie bij Gesplitst Leren in TinyML-gebaseerde IoT-systemen

Probleemstelling

De snelle evolutie van Kunstmatige Intelligentie staat voor een aanzienlijke knelpunt bij het implementeren van deep learning (DL) inferentie op ultralage-energie, hulpbronnenbeperkte edge- en IoT-apparaten. Hoewel TinyML een oplossing biedt via lichtgewicht modellen, overschrijden veel toepassingen nog steeds het geheugen en de verwerkingscapaciteit van individuele microcontrollers. Gesplitst Leren (SL) lost dit op door een model te partitioneren over apparaten, waarbij de vroege lagen op de sensor worden uitgevoerd en de rest wordt uitbesteed aan een begeleidend apparaat. De prestaties van SL in deze context blijven echter onderbelicht. Specifiek ontbreekt er empirisch bewijs over:

1. De end-to-end inferentielatentie van SL op beperkte hardware onder realistische low-power draadloze protocollen.
2. De impact van verschillende draadloze communicatieprotocollen (WiFi, ESP-NOW, BLE) op gesplitste latentie, inclusief netwerkinrichting, transmissie van tussentijdse activaties en voorspellingsfeedback.
3. De optimale selectie van "split-punten" (waar het model wordt verdeeld) om de totale latentie te minimaliseren, rekening houdend met zowel reken- als communicatie- overhead.

Bestaande studies hebben zich grotendeels gericht op smartphones of single-board computers, vaak uitgaande van ideale transmissieomstandigheden of het gebruik van heuristische methoden voor split-selectie die geen rekening houden met protocol-specifieke overhead zoals pakketverlies of verbindingshandshakes.

Methodologie

De auteurs stellen een experimenteel raamwerk en een optimalisatiealgoritme voor om deze gaten op te vullen.

1. Experimenteel Testbed

• Hardware: Het systeem maakt gebruik van ESP32-S3-WROOM-1-bordjes (240 MHz, 16 MB Flash) als IoT-nodes en een Desktop PC (Intel Core i9-14900) als edge-server.
• Modellen: Er werden twee Convolutional Neural Networks (CNN's) gebruikt: MobileNet-V2 (lichtgewicht) en ResNet50 (groter).
• Framework: De modellen werden voorbereid, gepartitioneerd en gekwantiseerd met TensorFlow Lite (TFLite) op de edge-server. Firmware werd via Over-the-Air (OTA) updates naar IoT-apparaten gedeployeerd.
• Protocolvergelijking: Vier draadloze communicatieprotocollen werden getest voor het overbrengen van tussentijdse activaties:
  • UDP (via WiFi)
  • TCP (via WiFi)
  • ESP-NOW (low-power, peer-to-peer)
  • BLE (Bluetooth Low Energy)
• Meting: Latentie werd gemeten met hoge-resolutie timers op de ESP32-S3, waarbij Round-Trip Time (RTT)-componenten werden vastgelegd, inclusief protocolopzet, model laden, tensor toewijzing, inferentie, buffering, transmissie en feedback.

2. Optimalisatieframework

Het artikel formuleert de selectie van split-punten als een optimalisatieprobleem om de totale inferentielatentie ($T_{inference}$) te minimaliseren, gedefinieerd als de som van de lokale verwerkingslatentie van het apparaat ($T_d$) en de transmissielatentie ($T_{tr}$).

• Transmissiemodel: De transmissielatentie houdt rekening met pakketgrootte, Maximum Transmission Unit (MTU)-limieten, propagatietijd en de waarschijnlijkheid van pakketverlies.
• Zoekalgoritmen: Om het optimalisatieprobleem op te lossen (het vinden van de optimale set split-punten $s^*$), vergelijken de auteurs vier strategieën:
  1. Brute Force: Uitputtend zoeken (rekenkundig onuitvoerbaar voor grote $L$).
  2. Random-Fit: Willekeurige selectie van split-punten.
  3. First-Fit: Selecteert het eerste split-punt dat voldoet aan een latentiedrempel.
  4. Greedy Search: Selecteert opeenvolgend split-punten om de directe segmentkosten te minimaliseren.
  5. Beam Search: Een nieuwe aanpak voor deze context die op elke stap alleen de top-$B$ veelbelovendste gedeeltelijke oplossingen uitbreidt, waarbij zoeknauwkeurigheid wordt gebalanceerd met rekenkundige efficiëntie.

Belangrijkste Resultaten

Prestaties van Protocollen

• ESP-NOW: Bereikte de beste totale Round-Trip Time (RTT) van 3,6 seconden in de opstelling met twee apparaten. Ondanks een kleinere pakketlimiet (250 bytes) vergeleken met UDP/TCP, resulteerde het gebrek aan overhead voor verbindingshandshakes en het efficiënte MAC-laag broadcast-mechanisme in de laagste totale latentie.
• UDP: Biedt de laagste ruwe transmissielatentie (bijvoorbeeld 1,4 ms voor kleine payloads) dankzij een grote MTU (1472 bytes) en het ontbreken van bevestigings- overhead. Echter, de tijden voor protocolopzet waren aanzienlijk (>2 seconden).
• TCP: Lijd aan hoge latentie door opzet van verbindingen en hertransmissie-overhead, vooral bij het verwerken van grote tussentijdse activatietensors (bijvoorbeeld >100 pakketten), wat leidde tot bufferstallingen op de ESP32.
• BLE: Resulteerde in de hoogste latentie (10,4 s RTT) door excessieve fragmentatie (512-byte MTU) en hoge opzet/feedback-vertragingen.

Optimalisatie van Split-punten

• Algoritme-efficiëntie: Het Beam Search-algoritme toonde bijna optimale latentieprestaties die vergelijkbaar waren met Brute Force, maar met drastisch gereduceerde verwerkingstijd. Voor een scenario met 5 apparaten vereiste Beam Search slechts 0,1 seconde verwerkingstijd, terwijl Brute Force exponentieel langer zou duren (geschat ~7857 seconden voor 6 apparaten).
• Latentiereductie: Beam Search verlaagde de latentie met meer dan 600% ten opzichte van Random-Fit voor 6 apparaten.
• Model-specifieke aspecten:
  • Voor MobileNet-V2 behaalde Beam Search consistent de laagste latentie over variërende aantallen apparaten.
  • Voor ResNet50, hoewel Beam Search het meest efficiënt bleef, werden latentieschommelingen waargenomen bij hogere aantallen apparaten, omdat sommige nodes niet de capaciteit hadden om specifieke modelsegmenten uit te voeren.

Specifieke Bevindingen over Split-punten

Handmatig benchmarken identificeerde de block_16_project_BN-laag in MobileNet-V2 als een zeer effectief split-punt bij gebruik van ESP-NOW, waarbij de rekenbelasting en de grootte van de datatransmissie effectief in evenwicht werden gebracht.

Betekenis en Claims

Het artikel claimt de eerste experimentele latentie-benchmark te bieden van TinyML-gebaseerd Gesplitst Leren op low-power ESP32-S3-bordjes. De belangrijkste bijdragen zijn:

1. Empirisch Bewijs: Het vult een gat in de literatuur door real-world metingen van SL-latentie over verschillende draadloze protocollen te leveren, verder gaand dan theoretische simulaties of op smartphones gebaseerde studies.
2. Protocollselectie: Het stelt vast dat hoewel UDP lage transmissielatentie biedt, ESP-NOW het superieure protocol is voor end-to-end SL RTT in beperkte IoT-omgevingen vanwege verwaarloosbare opzet-overhead.
3. Optimalisatiealgoritme: Het introduceert en valideert een Beam Search-gebaseerd algoritme voor automatische selectie van split-punten. De auteurs claimen dat deze methode een praktische, schaalbare oplossing biedt voor realtime implementaties, waarbij bijna optimale latentie wordt bereikt met minimale rekenkosten, in tegenstelling tot uitputtende zoekmethoden.
4. Reproduceerbaarheid: De broncode en het experimentele opzet zijn publiek beschikbaar gesteld om te dienen als reproduceerbare baseline voor toekomstig onderzoek in TinyML en Gesplitst Leren.

De auteurs concluderen dat hoewel hun huidige werk zich richt op statische split-punten en vaste protocollen, toekomstig werk gericht is op het ontwikkelen van een dynamisch raamwerk dat split-punten, chunk-groottes en protocollen in realtime aanpast op basis van netwerkomstandigheden en apparaatbronnen.