Joint Optimization of Model Partitioning and Resource Allocation for Anti-Jamming Collaborative Inference Systems

Dit artikel presenteert een efficiënt alternatief optimalisatie-algoritme dat modelpartitie, rekenresources en zendvermogen gezamenlijk optimaliseert om de prestaties van een anti-jamming collaboratief inferentiesysteem te maximaliseren ondanks de aanwezigheid van een kwaadaardige jammer.

De kern

Stel je voor dat je een enorm complex raadsel moet oplossen, zoals het herkennen van een auto op een foto. Je hebt een slimme telefoon (het apparaat), maar die telefoon is niet sterk genoeg om het hele raadsel alleen op te lossen zonder te oververhitten of zijn batterij leeg te maken.

Daarom heb je een supersterke computer in de buurt nodig, de randserver (edge server). Samen werken jullie aan het raadsel: jij doet het eerste deel, en stuurt dan een tussentijds verslag naar de supercomputer, die het laatste deel afmaakt. Dit noemen ze in de vaktaal "samenwerking".

Maar er is een probleem:
Er zit een vervelende stoorzender in de lucht die constant probeert je tussentijds verslag te verstoren. Het is alsof iemand in de verte constant in je oor schreeuwt terwijl je probeert te fluisteren. Als je verslag verstoord aankomt, kan de supercomputer het raadsel niet goed oplossen, en wordt het antwoord fout.

Wat doen de onderzoekers in dit artikel?
Ze hebben een slimme strategie bedacht om dit probleem op te lossen. Ze noemen het een "anti-stoorzender" plan. In plaats van één ding vast te houden, optimaliseren ze drie dingen tegelijk, alsof ze een orkest dirigeren:

1. Waar stoppen jullie? (Modelverdeling):
   Moet je telefoon 10% van het werk doen en de rest sturen? Of 50%? Of helemaal niets en alles sturen? De onderzoekers zoeken het perfecte moment om het werk over te dragen, zodat het verslag dat je stuurt niet te groot is (omdat grote verslagen makkelijker te verstoren zijn) maar ook niet te klein (want dan heb je te veel werk op je telefoon).

2. Hoe hard moet je schreeuwen? (Verzendkracht):
   Als de stoorzender hard schreeuwt, moet je misschien harder schreeuwen om gehoord te worden. Maar als je te hard schreeuwt, raak je je batterij kwijt. De strategie berekent precies hoe hard je moet praten om het verslag veilig te krijgen zonder je batterij te doden.

3. Hoeveel hulp krijgt de supercomputer? (Rekenkracht):
   De supercomputer heeft ook een limiet aan hoeveel werk hij tegelijk kan doen. De onderzoekers verdelen de hulp van de supercomputer zo slim mogelijk over alle telefoons die meedoen.

Hoe lossen ze dit op?
Het is een heel lastig wiskundig probleem, alsof je een labyrint moet vinden terwijl de muren bewegen. De onderzoekers gebruiken een slimme methode die ze "wisselende optimalisatie" noemen. Ze splitsen het probleem op in drie kleinere puzzels:

• Eén stukje lossen ze op met een strakke wiskundige formule.
• Een ander stukje met een standaard computerprogramma.
• Het lastigste stukje (waar te stoppen met het werk) lossen ze op met een Quantum Genetisch Algorithm. Dat klinkt als sciencefiction, maar het is eigenlijk een slimme manier om te "evolutioneren": de computer probeert duizenden verschillende oplossingen, houdt de beste eruit, en laat die zich "voortplanten" tot ze de perfecte oplossing hebben gevonden.

Wat is het resultaat?
De simulaties tonen aan dat hun strategie veel beter werkt dan de oude methoden. Zelfs als de stoorzender heel hard schreeuwt, blijft hun systeem stabiel. Ze vinden het perfecte evenwicht tussen:

• Snelheid: Hoe snel is het antwoord klaar?
• Nauwkeurigheid: Is het antwoord juist?
• Energie: Hoeveel batterij is er over?

Kort samengevat:
Deze paper beschrijft een slimme manier om telefoons en computers samen te laten werken om moeilijke taken op te lossen, zelfs als er iemand probeert de communicatie te saboteren. Ze vinden de perfecte balans tussen hoeveel werk je zelf doet, hoe hard je moet zenden, en hoeveel hulp je vraagt, zodat je snel en correct blijft werken, ongeacht de chaos om je heen.

Technische samenvatting

Titel en Context

Titel: Joint Optimization of Model Partitioning and Resource Allocation for Anti-Jamming Collaborative Inference Systems
Auteurs: Mengru Wu et al.
Kernthema: Het optimaliseren van Deep Neural Network (DNN) inferentie in een samenwerkend systeem tussen apparaten en randcomputers (Edge Computing) onderhevig aan kwaadaardige jamming.

---

1. Het Probleem

Met de groeiende rekenkracht-eisen van Deep Neural Networks (DNN's) op hulpbronnen-beperkte apparaten, is "Device-Edge Collaborative Inference" (CI) een veelbelovende oplossing. Hierbij wordt een DNN-model opgesplitst: het apparaat voert de eerste lagen uit en stuurt de tussenliggende kenmerkdata (Intermediate Feature Data - IFD) naar een Edge Server (ES) voor verdere verwerking.

De uitdaging:
De overdracht van IFD via draadloze kanalen is kwetsbaar voor kwaadaardige jamming (storing).

• Jamming verslechtert de kwaliteit van de overdracht (verlaagt het SINR - Signal-to-Interference-plus-Noise Ratio).
• Dit leidt tot corruptie van de IFD, wat de inferentie-accuraatheid aanzienlijk verlaagt.
• De beslissing over waar het model wordt opgesplitst (partitioning point) bepaalt de grootte van de te verzenden data en beïnvloedt dus ook de kwetsbaarheid voor jamming.

Bestaande onderzoeken hebben vaak geoptimaliseerd voor energie of vertraging, maar hebben de dreiging van jamming en de interactie met model-partitioning niet voldoende meegenomen.

---

2. Methodologie

Het paper stelt een gezamenlijk optimalisatiekader voor om de Revenue of Delay and Accuracy (RDA) te maximaliseren.

A. Systeemmodel en Modellen

• DNN Partitioning: Het model wordt opgesplitst bij een punt $k_n$. Het apparaat $n$ voert lagen $0$ tot $k_n$ uit, de ES voert $k_n+1$ tot $K$ uit.
• Transmissie: Apparaten sturen IFD naar de ES. Een jammer zendt storende signalen uit. De SINR wordt gemodelleerd rekening houdend met zendvermogen, kanaalcoëfficiënten en jamming-vermogen.
• Accuraatheidsmodel: In plaats van een theoretisch model, gebruiken de auteurs data-regressie (logistische functie) om de relatie te leggen tussen inferentie-accuraatheid, SINR en het partitioneringspunt. Dit model is afgeleid van experimenten met ResNet-18 op de CIFAR-10 dataset.
• Doelfunctie: Maximaliseren van een gecombineerde metric (RDA) die een afweging maakt tussen vertraagde tijd en inferentie-accuraatheid, onderworpen aan beperkingen op energie, rekenkracht en minimale accuraatheid.

B. Het Optimalisatieprobleem

Het probleem is een Mixed-Integer Nonlinear Programming (MINLP) probleem omdat het zowel continue variabelen (rekenkracht, zendvermogen) als discrete variabelen (partitioneringspunt) bevat. Het is niet-convex en moeilijk direct op te lossen.

C. Oplossingsalgoritme

De auteurs stellen een Alternating Optimization (AO) algoritme voor dat het probleem decomposeert in drie subproblemen, die iteratief worden opgelost tot convergentie:

1. Rekenkrachttoewijzing (Computation Resource Allocation):

   • Gegeven zendvermogen en partitionering.
   • Oplossing: Afgeleid via Karush-Kuhn-Tucker (KKT) voorwaarden, wat leidt tot een gesloten-formule oplossing voor de optimale toewijzing van ES-rekenkracht.

2. Zendvermogensoptimalisatie (Transmit Power Optimization):

   • Gegeven rekenkracht en partitionering.
   • Het originele probleem is niet-convex, maar wordt herschreven als een convex optimalisatieprobleem door de doelstelling te transformeren naar het maximaliseren van het totale zendvermogen onder de nieuwe convexe constraints.
   • Oplossing: Oplossen met standaard convexe solvers (zoals CVX).

3. DNN Partitioning (Model Opsplitsing):

   • Gegeven rekenkracht en zendvermogen.
   • Dit is een integer programming probleem (discrete keuze).
   • Oplossing: Gebruik van een Quantum Genetic Algorithm (QGA). QGA combineert kwantumcomputing-principes (superpositie van toestanden) met genetische algoritmen om vroegtijdige convergentie te voorkomen en een globaal optimum te vinden voor de partitioneringspunten.

---

3. Belangrijkste Bijdragen

1. Nieuw Systeemmodel: Het is het eerste werk dat de impact van DNN-partitioning en een kwaadaardige jammer op de inferentie-prestaties binnen een Device-Edge CI-systeem analyseert.
2. Data-gedreven Accuraatheidsmodel: Een logistische regressiemodel dat de inferentie-accuraatheid koppelt aan SINR en het partitioneringspunt, waardoor realistische prestaties onder jamming kunnen worden voorspeld.
3. Gezamenlijke Optimalisatie: Formulering van een RDA-maximalisatieprobleem dat rekening houdt met de afweging tussen vertraging en accuraatheid.
4. Efficiënt Algoritme: Ontwikkeling van een AO-gebaseerd algoritme dat MINLP-problemen oplost door KKT, convexe optimalisatie en QGA te combineren.

---

4. Resultaten

De auteurs hebben uitgebreide simulaties uitgevoerd met een ResNet-18 model op CIFAR-10, vergeleken met vier benchmarks:

• Lokaal Computing (LC)
• Edge Server Computing (ESC)
• Vaste Zendvermogen (FTP)
• GA-gebaseerd schema (Genetisch Algoritme zonder kwantum)

Kernbevindingen:

• RDA Prestaties: Het voorgestelde schema behaalt de hoogste RDA-waarde in alle scenario's, wat aantoont dat het de beste balans vindt tussen snelheid en accuraatheid.
• Robuustheid tegen Jamming: Bij toenemende jamming-kracht blijft het voorgestelde schema stabielere prestaties behouden dan de benchmarks. Het handhaaft de vereiste minimale accuraatheid (80%) zelfs onder zware storing, terwijl andere schema's sterk inzakken.
• Vertraging: Hoewel het schema niet altijd de absolute laagste vertraging heeft (soms ten koste van accuraatheid), levert het de beste totale prestatie op binnen de gegeven constraints.
• Vergelijking met QGA: Het gebruik van QGA voor de partitioning levert betere resultaten op dan een standaard Genetisch Algoritme, vooral in complexe, niet-convexe zoekruimtes.

---

5. Significantie en Toekomstperspectief

Dit paper is significant omdat het een brug slaat tussen AI-inferentie-optimalisatie en cyberveiligheid (anti-jamming). Het erkent dat de keuze van het AI-model (waar het wordt opgesplitst) direct invloed heeft op de kwetsbaarheid van het netwerk voor fysieke aanval.

Toekomstige werken:
De auteurs wijzen erop dat, gezien de open aard van draadloze kanalen, toekomstig onderzoek zich moet richten op het gezamenlijk optimaliseren van model-partitioning en veilige transmissiestrategieën (bijv. fysieke laag beveiliging) om collaboratieve inferentie in vijandige omgevingen te beschermen.

Conclusie:
De studie biedt een robuust kader voor het uitvoeren van complexe AI-taken op randapparaten in een onveilig draadloos milieu, waarbij het gebruik van geavanceerde optimalisatietechnieken (QGA) essentieel is om de prestaties te maximaliseren.