Safe Multi-Agent Deep Reinforcement Learning for Privacy-Aware Edge-Device Collaborative DNN Inference

Dit paper introduceert HC-MAPPO-L, een veilig multi-agent deep reinforcement learning-framework dat privacy-bewuste, adaptieve DNN-inferentie op edge-apparaten optimaliseert door modelverdeling, gebruikersassociatie en resource-toewijzing te coördineren binnen strikte vertraging- en privacybeperkingen.

De kern

Stel je voor dat je een heel slimme, maar zware robot (een Deep Neural Network of DNN) hebt die foto's moet analyseren. Deze robot is te zwaar om op je telefoon te dragen, maar als je hem volledig in de "wolk" (de cloud) zet, duurt het te lang en lekt er te veel privé-informatie uit.

De oplossing die deze auteurs voorstellen, is als het delen van het werk tussen jou en een slimme buurman (de Edge Server). Jij doet het eerste deel van het werk op je telefoon, en stuurt dan een tussentijds verslag naar de buurman om af te maken. Dit heet samenwerkende inferentie.

Maar hier zit een probleem:

1. Privacy: Als je het tussentijds verslag te vroeg stuurt, kan de buurman (of een hacker) nog veel te veel zien over jouw originele foto.
2. Snelheid: Als je te lang wacht met sturen, duurt het te lang voordat je het antwoord krijgt.
3. Energie: Je telefoon raakt snel leeg als je te veel doet.

De auteurs hebben een slimme, nieuwe manier bedacht om dit alles in balans te brengen. Ze noemen hun methode HC-MAPPO-L. Laten we dit uitleggen met een verhaal.

Het Verhaal van de Slimme Koeriersdienst

Stel je een grote stad voor met veel mensen (gebruikers) en een paar postkantoren (edge servers). Iedereen wil een pakketje (een AI-taak) laten bezorgen, maar ze hebben verschillende eisen:

• Sommige mensen willen hun pakketje heel snel hebben.
• Sommige mensen willen dat hun pakketje niet te veel inhoud onthult aan de postkantoormedewerkers (privacy).
• Iedereen wil dat hun fietsaccu (energie) niet leegloopt.

1. Het Probleem: De "Geheime" Tussentijdse Stap

In het oude systeem werd vaak gekozen voor "alles zelf doen" (te traag) of "alles naar de wolk sturen" (te gevaarlijk voor privacy).
De nieuwe methode deelt het pakket op in lagen, zoals een lasagne:

• De onderste lagen: Jij doet dit zelf. Dit is veilig voor privacy, maar kost je energie.
• De bovenste lagen: De server doet dit. Dit is snel, maar als je de lasagne te vroeg deelt, ziet de server te veel van de onderliggende ingrediënten (je privacy).

De kunst is om precies te weten: Op welk punt moet ik stoppen met doen en het aan de server geven?

2. De Oplossing: De Drie-Lagen Manager (HC-MAPPO-L)

De auteurs hebben een AI-systeem bedacht dat als een super-manager fungeert. Deze manager heeft drie verschillende "hoeden" op, die op verschillende tijdstippen werken:

• Hoed 1: De Voorraadbeheerder (Langzame Snelheid)

  • Wat doet hij? Hij kijkt elke paar uur naar welke modellen (lasagne-recepten) er populair zijn. Hij beslist welke recepten hij op de schappen van de postkantoren zet.
  • Analogie: Hij zorgt dat de juiste gerechten in de koelkast liggen voordat de klanten komen. Hij gebruikt een slimme techniek (auto-regressief) om niet per ongeluk te veel te kopen en de koelkast vol te stoppen.

• Hoed 2: De Koerier & De Deler (Snelle Snelheid)

  • Wat doet hij? Zodra een klant belt, beslist hij: "Naar welk postkantoor stuur ik dit?" en "Welk deel van de lasagne doe ik zelf, en welk deel stuur ik?"
  • De Magische Regel (Lagrangian): Dit is het slimste deel. De manager heeft een onzichtbare boete in zijn hoofd. Als hij merkt dat de gemiddelde levertijd te lang wordt, wordt deze boete zwaarder. De AI leert dan automatisch om snellere routes te kiezen, zelfs als dat betekent dat hij iets meer privacy opgeeft. Als de tijd goed is, wordt de boete lichter, zodat hij weer meer privacy kan kiezen. Het is alsof een leraar die je laat stoppen met rennen als je te hard loopt, maar je weer laat rennen als je veilig bent.

• Hoed 3: De Verdelers (De Real-time Agent)

  • Wat doet hij? Als de koerier bij het postkantoor is, moet de manager beslissen hoeveel werkkracht en hoeveel bandbreedte (snelheid van de internetverbinding) hij aan elke klant geeft.
  • Analogie: Hij gebruikt een aandachtssysteem (attention mechanism). Hij kijkt naar alle wachtende klanten en zegt: "Jij krijgt een snelle fiets, jij krijgt een langzamere, want jij hebt een klein pakketje." Hij verdeelt de middelen slim en eerlijk.

Waarom is dit zo goed?

In hun tests hebben ze laten zien dat hun systeem:

1. Altijd op tijd is: De "boete" zorgt ervoor dat de levertijd nooit boven de limiet komt (bijvoorbeeld 3 seconden).
2. Slim afweegt: Het vindt het perfecte midden tussen "mijn batterij sparen" en "mijn privacy beschermen".
3. Schalbaar is: Het werkt even goed met 10 mensen als met 150 mensen.
4. Veilig is: Het voorkomt dat hackers je foto's kunnen reconstrueren uit de tussentijdse gegevens.

Samenvattend

Stel je voor dat je een team van slimme robots hebt die samenwerken om een moeilijke puzzel op te lossen. De auteurs hebben een nieuwe regisseur bedacht die:

• Zorgt dat de juiste puzzelstukken op de juiste plekken liggen.
• Beslist wie welk stuk doet, zodat niemand te veel ziet (privacy) en het snel klaar is (snelheid).
• Altijd in de gaten houdt dat niemand te lang moet wachten, door continu de regels aan te passen.

Dit maakt het mogelijk om slimme AI-apps op je telefoon te gebruiken die snel zijn, veilig voor je privacy, en niet je batterij leegtrekken, zelfs als je in een drukke stad bent.

Technische samenvatting

Titel: Veilige Multi-Agent Deep Reinforcement Learning voor Privacy-bewuste Edge-Device Collaboratieve DNN-inferentie

1. Probleemstelling

De toename van Deep Neural Networks (DNN's) op randapparaten (edge devices) en mobiele platforms heeft te maken met drie kritieke uitdagingen:

• Privacy: Bij collaboratieve inferentie worden tussenliggende kenmerken (intermediate features) naar edge-servers verzonden. Deze kunnen worden gebruikt voor reconstructie-aanvallen (bijv. via model-inversie), wat gevoelige invoergegevens onthult. Bestaande methoden behandelen privacy vaak als een secundaire beperking in plaats van een integraal doel.
• Resource-beperkingen en Dynamiek: Edge-apparaten hebben beperkte rekenkracht en energie. Het volledig uitlaggen naar de cloud introduceert hoge latentie en bandbreedteproblemen.
• Veiligheid en Beperkingen: Bestaande Deep Reinforcement Learning (DRL) methoden optimaliseren vaak alleen de beloning (reward) en negeren strikte, langetermijn-beperkingen (zoals maximale latentie). Het toevoegen van straffen aan de beloningsfunctie leidt vaak tot instabiel trainen of falen van convergentie onder strikte voorwaarden.

Het paper stelt een geoptimaliseerd probleem voor waarbij modeldeployering, associatie tussen gebruiker en server, model-partitioning (waar het model wordt opgesplitst) en resource-allocatie gelijktijdig moeten worden bepaald om de totale kosten (energie + privacy) te minimaliseren, onder een langetermijn-gemiddelde latentie-beperking.

2. Methodologie

De auteurs formuleren het probleem als een Gelimiteerde Markov Beslissingsproces (CMDP) en stellen een nieuw algoritme voor: HC-MAPPO-L (Hierarchical Constrained Multi-Agent Proximal Policy Optimization met Lagrangiaanse relaxatie).

A. Systeemmodel:

• Een hiërarchisch systeem met een centrale cloud, $J$ edge-servers en $K$ heterogene gebruikers.
• Model Partitioning: DNN's worden dynamisch opgesplitst. Deel 1 (diepere lagen) draait lokaal op het apparaat (hoge privacy, hoge lokale energie), en deel 2 wordt naar de server gestuurd (lage privacy, lage lokale energie).
• Privacy-maatstaf: Gebruik van de Structural Similarity (SSIM) index om de kans op reconstructie van de invoerdata uit de verzonden kenmerken te kwantificeren. Een lagere SSIM betekent betere privacy.
• Doelfunctie: Minimaliseren van de gewogen som van gemiddelde energieconsumptie en privacykosten, onder de voorwaarde dat de gemiddelde latentie een bepaalde drempel ($\bar{\tau}$) niet overschrijdt.

B. Algoritme Architectuur (HC-MAPPO-L):
Het algoritme gebruikt een hiërarchische Multi-Agent Reinforcement Learning (MARL) structuur met drie lagen, gebaseerd op het CTDE-paradigma (Centralized Training, Decentralized Execution):

1. Deployeringslaag (Langzame tijdschaal):
   • Doel: Beslissen welke modellen op welke servers worden gecachet.
   • Techniek: Een auto-regressieve policy die de complexe combinatorische beslissing (welke modellen kiezen) decomposeert in een sequentie van individuele keuzes. Dit maakt de zoekruimte beheersbaar.
2. Associatie- en Partitioneringslaag (Snelle tijdschaal):
   • Doel: Per gebruiker bepalen welke server wordt gekozen en waar het model wordt opgesplitst.
   • Techniek: Een beperkte policy die gebruikmaakt van Lagrangiaanse relaxatie. Een Lagrange-multiplicator ($\lambda$) wordt dynamisch bijgewerkt om de latentie-beperking te handhaven. Als de latentie te hoog is, wordt de multiplicator verhoogd, wat de agent straft voor vertraging en stimuleert om snellere (vaak minder privacy-bewuste) strategieën te kiezen, en vice versa.
3. Resource-toewijzingslaag (Snelle tijdschaal):
   • Doel: Toewijzen van rekenkracht en bandbreedte aan de gekoppelde gebruikers.
   • Techniek: Een attention-based policy die dynamisch focust op actieve gebruikers en hun specifieke behoeften (modelgrootte, invoergrootte) om resources efficiënt te verdelen.

C. Training:
Het systeem gebruikt een hiërarchische CTDE-trainingsframework. Critici (waarde-functies) hebben toegang tot globale informatie tijdens het trainen om coördinatie te verbeteren, terwijl agents (actoren) lokaal beslissingen nemen tijdens de uitvoering.

3. Belangrijkste Bijdragen

1. Uitgebreid Optimalisatiekader: Het paper introduceert een CMDP-formulering die modeldeployering, associatie, privacy-bewuste partitioning en resource-allocatie gelijktijdig optimaliseert, met expliciete kwantificering van privacykosten via SSIM.
2. HC-MAPPO-L Algoritme: Een innovatief veilig RL-algoritme dat Lagrangiaanse relaxatie integreert in MAPPO om langetermijn-beperkingen strikt te handhaven zonder trainingsstabiliteit te verliezen. Het combineert auto-regressieve en attention-mechanismen voor schaalbaarheid.
3. Hiërarchische Decompositie: Het probleem wordt opgesplitst in drie logische lagen die overeenkomen met de verschillende tijdschalen van het systeem, wat de complexiteit van de beslissingsruimte aanzienlijk vermindert.
4. Uitgebreide Validatie: Uitgebreide simulaties tonen aan dat het algoritme robuust is onder verschillende schalen en resource-configuraties.

4. Resultaten

Experimenten zijn uitgevoerd met 10 edge-servers en 50 gebruikers, variërend in aantal gebruikers, servers en diensten.

• Beperkingen: HC-MAPPO-L voldoet consistent aan de strikte latentie-beperkingen (bijv. < 3 seconden), terwijl onbeperkte RL-baselines (zoals H-MAPPO) vaak falen en latenties van > 4.5 seconden vertonen.
• Kosten-Privacy Afweging: Het algoritme bereikt een superieure balans tussen energie, privacy en kosten. Het presteert beter dan baselines zoals "Greedy", "Local-Only", en "Edge-Only".
• Schaalbaarheid: Het systeem schaalbaar naar grotere aantallen gebruikers en servers zonder degradatie van de QoS of privacy.
• Fairness: De verdeling van kosten over gebruikers is gelijkmatiger dan bij andere methoden, wat aangeeft dat het systeem niet alleen de gemiddelde prestatie optimaliseert, maar ook individuele gebruikers beschermt tegen extreme kosten.
• Aanpassing: Het algoritme past zich intelligent aan: bij meer rekenkracht op het apparaat kiest het voor diepere partitioning (meer privacy), terwijl het bij beperkte resources deels uitlagt maar de latentie-beperking handhaaft via de Lagrangiaanse mechanismen.

5. Betekenis en Impact

Dit paper is significant omdat het een veilige en privacy-bewuste aanpak biedt voor de groeiende behoefte aan DNN-inferentie op de rand van het netwerk.

• Het lost het fundamentele dilemma op tussen privacy en efficiëntie door privacy niet als een statische beperking, maar als een dynamisch doel te behandelen dat kan worden afgewogen tegen energie en latentie.
• Het introduceert een praktische oplossing voor veilig RL in multi-agent systemen, waarbij strikte service-level agreements (SLA's) zoals latentie gegarandeerd worden zonder de stabiliteit van het trainingsproces te compromitteren.
• De voorgestelde hiërarchische architectuur biedt een blauwdruk voor het ontwerpen van schaalbare, adaptieve edge-computing systemen die zowel veilig als energiezuinig zijn.

Kortom, HC-MAPPO-L biedt een geavanceerde, veilige en schaalbare oplossing voor de complexe uitdagingen van moderne edge-AI, waarbij privacy en prestaties gelijktijdig worden geoptimaliseerd.