Safe Multi-Agent Deep Reinforcement Learning for Privacy-Aware Edge-Device Collaborative DNN Inference

Questo articolo propone HC-MAPPO-L, un framework di apprendimento per rinforzo multi-agente sicuro che ottimizza la collaborazione tra dispositivi edge e server per l'inferenza di reti neurali profonde, garantendo la privacy e soddisfacendo vincoli di ritardo dinamico attraverso un'allocazione gerarchica delle risorse e la partizione adattiva del modello.

L'essenziale

Immagina il mondo dell'Intelligenza Artificiale (come le auto a guida autonoma o gli assistenti vocali) come un grande ristorante di lusso.

Il Problema: La Cucina è Troppo Lontana

Fino a poco tempo fa, se volevi un piatto speciale (un'analisi complessa di un'immagine o di un video), dovevi inviare gli ingredienti grezzi (i tuoi dati) alla cucina centrale (il Cloud), farli cucinare e aspettare che tornassero.

• Il problema: Il viaggio è lungo (alta latenza), la cucina è lontana e, peggio ancora, devi consegnare i tuoi ingredienti segreti (i tuoi dati privati) a uno sconosciuto. Se il cameriere è "curioso", potrebbe copiare la tua ricetta o vedere cosa stai cucinando.

La Soluzione Proposta: La Cucina a Domicilio Collaborativa

Gli autori di questo articolo propongono un nuovo modo di cucinare: la collaborazione tra la tua cucina di casa (il dispositivo) e il ristorante di quartiere (il server Edge).
Invece di inviare tutto, si divide il lavoro:

1. Tu fai la parte iniziale della ricetta a casa (es. sbucciare le patate).
2. Invi solo la metà lavorata al ristorante di quartiere per finire il piatto.
3. Il ristorante ti rimanda il piatto pronto.

Ma c'è un trucco: Più parti fai a casa, più privacy hai (nessuno vede i tuoi ingredienti grezzi), ma più ti stanchi (consumi più batteria). Se fai tutto al ristorante, sei veloce ma rischi che vedano i tuoi segreti. Bisogna trovare il punto perfetto.

L'Innovazione: Il "Capo Cuoco" Intelligente e Sicuro

Il cuore del paper è un nuovo algoritmo chiamato HC-MAPPO-L. Per capirlo, immaginiamo tre livelli di gestione in questo sistema:

1. Il Magazziniere (Livello Lento - Deployment):
   Ogni tanto, decide quali ricette (modelli AI) tenere sugli scaffali dei ristoranti di quartiere. Non può avere tutto, deve scegliere le più richieste. Usa una strategia "auto-regressiva": sceglie una ricetta alla volta, controllando se c'è spazio, come se riempisse un armadio piano piano.

2. Il Cameriere Intelligente (Livello Medio - Associazione e Partizione):
   Quando chiedi un piatto, questo cameriere decide:

   • A quale ristorante mandarti?
   • Quanto lavoro fare a casa e quanto al ristorante?
   • Il segreto: Usa un "freno automatico" (chiamato Lagrangian). Se il ristorante è troppo lento e il tuo piatto tarda troppo, il freno si stringe e costringe il cameriere a scegliere un ristorante più veloce o a farti lavorare di più a casa, anche se questo costa un po' più di energia. È come un genitore che dice: "Se non finisci i compiti in tempo, non puoi uscire, anche se è più divertente".

3. Il Cuoco del Quartiere (Livello Rapido - Allocazione Risorse):
   Una volta che sei arrivato al ristorante, questo livello decide come dividere i fornelli e l'acqua tra tutti i clienti che arrivano. Usa un sistema di "attenzione": guarda chi ha bisogno di più fuoco e chi di meno, distribuendo le risorse in modo equo e veloce.

Perché è speciale?

La maggior parte dei sistemi precedenti cerca solo di essere veloce, ignorando la privacy o la batteria. Altri cercano di essere privati, ma diventano lenti.
Questo nuovo sistema è come un orchestra diretta da un direttore d'orchestra esperto:

• Sa quando accelerare e quando rallentare.
• Sa quando sacrificare un po' di batteria per proteggere i tuoi segreti.
• Sa che se un ristorante è pieno, ne manda un altro.
• La cosa più importante: Garantisce che il piatto arrivi sempre entro un certo tempo (il vincolo di ritardo), anche se il traffico è pesante. Non si limita a dire "speriamo di arrivare in tempo", ma costringe il sistema a rispettare l'orario.

I Risultati

Gli autori hanno fatto molte prove (simulazioni) e hanno scoperto che il loro metodo:

• Rispetta sempre l'orario di consegna (il ritardo non supera mai il limite).
• Risparmia più batteria rispetto agli altri metodi.
• Protegge meglio i tuoi dati (privacy).
• Funziona bene anche se ci sono 10 o 100 ristoranti e 50 o 100 clienti.

In sintesi: Hanno creato un sistema che permette ai tuoi dispositivi di lavorare insieme ai server vicini in modo sicuro, veloce ed efficiente, come se avessi un team di assistenti personali che sanno esattamente quanto lavoro fare a casa e quanto delegare, senza mai farti aspettare troppo e senza mai mostrare i tuoi segreti a nessuno.

Sommario tecnico

Titolo: Safe Multi-Agent Deep Reinforcement Learning for Privacy-Aware Edge-Device Collaborative DNN Inference

1. Il Problema

L'inferenza di Deep Neural Network (DNN) su dispositivi edge e mobili sta diventando sempre più diffusa, ma comporta sfide critiche legate alla protezione della privacy, ai vincoli di risorse e al deploy dinamico dei modelli.

• Privacy: L'approccio collaborativo, che divide l'esecuzione del modello tra dispositivo e server edge (model partitioning), espone i dati intermedi (feature) ai server. Anche se i dati grezzi rimangono sul dispositivo, le feature di livelli intermedi possono essere invertite per ricostruire informazioni sensibili (attacchi di inversione).
• Trade-off Complesso: Esiste un conflitto intrinseco tra privacy, latenza e consumo energetico. Partizioni più profonde (più elaborazione locale) migliorano la privacy ma aumentano il consumo energetico e la latenza locale; partizioni più superficiali riducono la latenza ma espongono dati sensibili.
• Limiti degli Approcci Esistenti: La maggior parte degli studi ottimizza solo metriche QoS (latenza, energia) trattando la privacy come vincolo secondario o ignorando la sensibilità specifica di ogni strato del DNN. Inoltre, gli algoritmi di Reinforcement Learning (RL) standard faticano a garantire vincoli a lungo termine (come la latenza media) senza compromettere la stabilità dell'addestramento.

2. Metodologia Proposta

Gli autori formulano il problema come un Processo Decisionale di Markov Vincolato (CMDP) e propongono un nuovo algoritmo chiamato HC-MAPPO-L (Hierarchical Constrained Multi-Agent Proximal Policy Optimization with Lagrangian relaxation).

A. Modellazione del Sistema

• Architettura: Un sistema gerarchico con un cloud centrale, server edge distribuiti e dispositivi utente eterogenei.
• Decisioni: Il sistema deve prendere decisioni su tre scale temporali:
  1. Deploy del modello: Quale modello DNN caricare su quale server (scala lenta).
  2. Associazione e Partizionamento: Quale server associare a un utente e a quale strato del DNN dividere l'esecuzione (scala veloce).
  3. Allocazione Risorse: Assegnazione di banda e capacità computazionale (scala veloce).
• Metrica di Privacy: Viene utilizzato l'indice SSIM (Structural Similarity) per quantificare la perdita di privacy. Un SSIM alto indica che le feature intermedie permettono una ricostruzione fedele dell'input, quindi un rischio di privacy elevato.
• Obiettivo: Minimizzare la somma ponderata a lungo termine del costo energetico e del costo di privacy, soggetta a un vincolo di latenza media a lungo termine.

B. L'Algoritmo HC-MAPPO-L

L'algoritmo si basa su un'architettura Multi-Agent (MARL) con paradigma Centralized Training, Decentralized Execution (CTDE), strutturata su tre livelli gerarchici:

1. Livello di Deploy (Auto-regressivo):

   • Gestisce la decisione di caching dei modelli sui server.
   • Utilizza una politica auto-regressiva basata su GRU per gestire lo spazio di azione combinatorio (selezionare un sottoinsieme di modelli da un archivio vasto) in modo efficiente, rispettando i vincoli di storage.

2. Livello di Associazione e Partizionamento (Vincolato):

   • Ogni agente utente decide il server di connessione e il punto di partizione del modello.
   • Integra il metodo Lagrangiano all'interno di MAPPO. Un moltiplicatore di Lagrange ($\lambda$) viene aggiornato dinamicamente per penalizzare le violazioni del vincolo di latenza, trasformando il problema vincolato in un problema di punto di sella. Questo garantisce che la politica impari a rispettare i vincoli di sicurezza a lungo termine.

3. Livello di Allocazione Risorse (Basato su Attenzione):

   • I server gestiscono l'allocazione di banda e CPU agli utenti associati.
   • Utilizza un meccanismo Attention-based per adattarsi dinamicamente al numero variabile di utenti e alle loro richieste, focalizzandosi sugli utenti che necessitano di più risorse per rispettare i vincoli.

3. Contributi Chiave

1. Framework di Ottimizzazione Olistico: È stato definito un CMDP che integra congiuntamente il deploy del modello, l'associazione utente-server, la partizione del modello consapevole della privacy e l'allocazione delle risorse, con modelli quantitativi espliciti per energia e perdita di privacy.
2. Algoritmo HC-MAPPO-L: Introduzione di un framework di RL sicuro che combina:
   • Aggiornamenti duali di Lagrange adattivi per garantire vincoli di latenza a lungo termine.
   • Un'architettura multi-scala con politiche specializzate (auto-regressiva, Lagrangian-enhanced, attention-based).
3. Validazione Sperimentale: Dimostrazione che l'approccio soddisfa rigorosamente i vincoli di ritardo mentre bilancia meglio energia e privacy rispetto agli stati dell'arte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti tramite simulazioni con 10 server edge e 50 utenti, utilizzando vari modelli DNN (es. VGG, ResNet).

• Convergenza e Vincoli: HC-MAPPO-L mantiene la latenza media ben al di sotto della soglia richiesta (3 secondi), a differenza delle varianti non vincolate (come H-MAPPO) che violano costantemente il limite.
• Trade-off Energia-Privacy: L'algoritmo riesce a trovare un equilibrio ottimale. Ad esempio, quando i vincoli di latenza si allentano, l'algoritmo aumenta strategicamente il calcolo locale (consumando più energia) per partizionare il modello più profondamente, riducendo drasticamente la perdita di privacy.
• Scalabilità: Le prestazioni rimangono stabili al variare del numero di utenti, server e diversità dei servizi. HC-MAPPO-L supera le baseline (inclusi metodi euristici e RL non vincolati) riducendo il costo utente medio del 12-21%.
• Robustezza: Il tasso di successo del servizio supera il 98.5% anche in scenari con alta diversità di modelli e vincoli di storage limitati, grazie alla politica di deploy auto-regressiva.
• Equità: La distribuzione dei costi tra gli utenti è più uniforme rispetto ai metodi euristici, evitando che alcuni utenti subiscano costi eccessivi.

5. Significato e Impatto

Questo lavoro è significativo perché affronta la sicurezza come un obiettivo intrinseco e non come un ripensamento nel contesto dell'inferenza collaborativa ai bordi della rete.

• Gestione dei Vincoli: Dimostra come integrare efficacemente vincoli rigidi (latenza) in sistemi multi-agente complessi utilizzando il rilassamento di Lagrange, risolvendo il problema dell'instabilità dell'addestramento tipico del RL standard.
• Privacy Dinamica: Sposta il paradigma da partizioni fisse a partizioni adattive basate sulla sensibilità reale dei dati e sulle condizioni di rete, offrendo una protezione della privacy misurabile e ottimizzabile.
• Applicabilità Pratica: L'approccio gerarchico e scalabile lo rende adatto per scenari reali come veicoli autonomi, sanità digitale e analisi video in tempo reale, dove la privacy e la bassa latenza sono requisiti critici e non negoziabili.