Technische Samenvatting: Adaptieve DNN-partitie en Offloading in een Heterogeen Edge-Cloud Continuüm

Probleemstelling

De proliferatie van Internet-of-Things (IoT)-apparaten heeft enorme datavolumes gegenereerd die geavanceerde verwerking vereisen via Deep Neural Networks (DNN's). Hoewel gecentraliseerde cloud-uitvoering rekenkracht biedt, introduceert het prohibitieve latentie, bandbreedtebeperkingen en privacyrisico's voor realtime IoT-toepassingen. Omgekeerd leidt het volledig uitvoeren van DNN's op bronnenbeperkte edge-apparaten vaak tot hoog energieverbruik en trage inferentietijden.

Bestaande oplossingen voor het distribueren van inferentie over het edge-cloud continuüm vertrouwen doorgaans op statische partitioneringstrategieën. Deze benaderingen definiëren vaste splitsingspunten voor neurale netwerklagen voorafgaand aan de implementatie, waardoor ze niet kunnen inspelen op runtime-dynamiek zoals fluctuerende netwerkbreedte, nodemobiliteit of variërende rekenbelastingen. Bovendien bestaat er een significante kloof in de literatuur: de meeste voorgestelde kaders worden geëvalueerd in gesimuleerde omgevingen die ideale netwerkcondities aannemen, met slechts enkele die zijn gevalideerd op fysieke hardware. Daarnaast richten veel studies uit de echte wereld zich primair op latentie of taakvoltooiingstijd, waarbij energieverbruik vaak wordt verwaarloosd als hoofddoel voor optimalisatie.

Methodologie

De auteurs stellen een adaptief partitionerings- en offloadingkader voor dat is ontworpen om DNN-inferentiewerklasten dynamisch te splitsen over een heterogeen drie-lagen continuüm (Edge, Fog en Cloud) om het energieverbruik te minimaliseren, terwijl strikte latentie-eisen worden nageleefd.

Systeemarchitectuur

Het kader werkt op een fysieke testopstelling bestaande uit:

• Edge: Raspberry Pi 4 (bronnenbeperkt).
• Fog: Laptop (Intel Core i7).
• Cloud: High-performance Desktop PC (NVIDIA RTX 4070 Ti GPU).

De architectuur maakt partitioneringsschema's mogelijk waarbij $i$ lagen op de edge draaien, lagen $i+1$ tot $j$ op de fog draaien, en lagen $j+1$ tot $N-1$ op de cloud draaien.

Algorithmische Pipeline

Het kader volgt een vijftraps pipeline:

1. Offline Profiling: Voorafgaand aan de runtime profileert het systeem het model om twee opzoektabellen te genereren:

   • Activatiegrootte-tabel: Registreert de grootte van tussentijdse tensors bij elke featuregrens om communicatiekosten te schatten.
   • Relatieve rekengewicht-tabel: Wijs genormaliseerde fracties van het totale inferentiewerk toe aan elke laag op basis van een enkele uitvoering, dienend als stabiele referentie voor het schalen van runtime-metingen.

2. Twee-punts Linkprobing: Om netwerkcondities te schatten zonder zware overhead, transmits het systeem twee payloads van contrasterende grootte ($s_1, s_2$) over netwerkhops. Door de rondetijden te middelen, modelleert het de link als $rtt(s) = \omega + s/\beta$, waarbij de vaste overhead ($\omega$) en de effectieve doorvoer ($\beta$) worden afgeleid.

3. Kandidaat-splitsingsschatting: Voor elke kandidaat-splitsing $(i, j)$ voorspelt het systeem de end-to-end latentie en energie. Latentie is de som van rekentijden (afgeleid van geprofileerde gewichten en nodesnelheden) en overdrachtstijden (afgeleid van linkmodellen). Energie wordt geschat door nodespecifieke rekentijden te vermenigvuldigen met empirische vermogenswaarden.

4. Zoeken naar de beste kandidaat: Het systeem evalueert alle geldige splitsingsparen. Kandidaten worden gefilterd om ervoor te zorgen dat ze voldoen aan de latentiedeadline ($L_{max}$) en niet slechter presteren dan een statische baseline. De optimale splitsing minimaliseert een gewogen doelscore:
   $$S(i, j) = w_{end}\frac{\hat{E}_{end}}{n_{end}} + w_{tot}\frac{\hat{E}_{tot}}{n_{tot}} + w_{lat}\frac{\hat{L}}{n_{lat}}$$
   waarbij de gewichten prioriteit geven aan edge-energieverbruik (0,6–0,9) boven de totale systeemenergie en latentie.

5. Adaptieve Gedistribueerde Inferentieplanning:

   • Initialisatie: Het systeem voert een baselinesplitsing uit en drie "proef"-splitsingen (edge-zwaar, gebalanceerd, cloud-zwaar) om per-node rekentarieven en linkmodellen te fitten.
   • Steady State: Het systeem voert de huidige splitsing uit voor een venster van inferenties. Periodiek evalueert het de omgeving opnieuw door links opnieuw te proppen en tarieven opnieuw te fitten. Als een nieuwe kandidaat de doelscore met ten minste 3% verbetert (of als de latentiedeadline wordt geschonden), schakelt het systeem over naar de nieuwe partitionering. Als er tijdens een deadline-schending geen betere kandidaat bestaat, valt het systeem terug op de statische baseline.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Adaptief Kader: Een nieuw kader voor DNN-inferentie dat werklasten dynamisch partitioneert over een heterogeen edge-cloud continuüm, met prioriteit voor energie-efficiëntie zonder latentie-eisen te schenden.
2. Fysieke Testopstelling: De constructie en het gebruik van een volledig functionele drie-lagen testopstelling (Raspberry Pi, Laptop, Desktop PC) om verticale offloadingstrategieën op echte hardware te evalueren, waarmee wordt ingespeeld op de afhankelijkheid van simulaties in eerdere werken.
3. Empirische Evaluatie: Uitgebreide experimenten uit de echte wereld met drie wijdverspreide CNN's (VGG16, AlexNet, MobileNetV2), waarbij hardware-gemeten energie- en latentiemetingen worden verzameld voor configuraties met één apparaat, statische en adaptieve configuraties.

Resultaten

Het kader is geëvalueerd tegen twee baselines: uitvoering op één apparaat en statische partitionering (vaste gelijke werklastverdeling).

• Energievermindering: Het adaptieve kader boekte aanzienlijke energiebesparingen ten opzichte van de statische baseline:
  • VGG16: 35,82% reductie (van 5,69 J naar 3,65 J).
  • AlexNet: 35,70% reductie (van 0,68 J naar 0,43 J).
  • MobileNetV2: 27,09% reductie (van 0,92 J naar 0,67 J).
• Latentievermindering: De end-to-end latentie werd eveneens gereduceerd:
  • VGG16: 6,34% reductie.
  • AlexNet: 22,92% reductie.
  • MobileNetV2: 14,20% reductie.
• Observaties: Voor MobileNetV2 verhoogde statische partitionering de latentie in vergelijking met uitvoering op één apparaat, vanwege netwerkomgeving; het adaptieve kader heeft dit succesvol verholpen door het splitsingspunt te verschuiven. De resultaten tonen consistent aan dat energiereducties groter zijn dan latentiereducties, wat de gewichting van de doelstelling van het kader weerspiegelt.

Betekenis en Beweringen

Het artikel beweert dat de bevindingen de superioriteit van adaptieve partitionering boven statische methoden bevestigen in dynamische, heterogene omgevingen. Door de aanpak te valideren op echte hardware in plaats van simulatie, adresseert het werk een kritieke kloof in de literatuur met betrekking tot de praktische prestaties van offloadingstrategieën.

De auteurs stellen dat hun kader succesvol het energieverbruik op bronnenbeperkte edge-apparaten minimaliseert zonder realtime latentie-eisen te schenden. In tegenstelling tot benaderingen op basis van Reinforcement Learning (RL) of complexe parallelle inferentie-architecturen, vertrouwt dit kader op een lichtgewicht, periodieke evaluatie van een enkele gewogen doelfunctie, waardoor het continu adaptief is voor omgevingsveranderingen zoals fluctuaties in netwerkbreedte en variaties in nodelading. De resultaten worden gepresenteerd als vergelijkbaar met state-of-the-art werken op het gebied van latentievermindering, maar met een duidelijk accent op energie-efficiëntie, een metriek die vaak wordt over het hoofd gezien in bestaande studies naar heterogene edge-cloud-systemen.