Learning Safe Multi-Robot Coordination in Industrial Cyber- Physical Systems

Definizione del Problema

I Sistemi Cyber-Fisici (CPS) industriali si affidano sempre più a flotte di robot autonomi per eseguire compiti di produzione e logistica distribuiti all'interno di spazi di lavoro fisici condivisi. La sfida principale risiede nel bilanciare l'efficienza operativa con la sicurezza fisica. Sebbene l'Apprendimento per Rinforzo Multi-Agente (MARL) offra un approccio basato sui dati alla coordinazione, i comuni framework di massimizzazione della ricompensa spesso non riescono a garantire l'evitamento continuo delle collisioni in ambienti densi e dinamici. Inoltre, la scalabilità rimane una barriera significativa; all'aumentare delle dimensioni della flotta, la complessità delle interazioni a coppie cresce, saturando spesso i canali di comunicazione a capacità fissa e portando a comportamenti degli agenti non stazionari. Gli approcci esistenti, come la pianificazione basata su regole o la pianificazione deterministica dei percorsi, mancano della flessibilità necessaria per gestire intrusioni impreviste o guasti degli agenti, mentre gli approcci puramente MARL spesso mancano dei rigorosi vincoli di sicurezza richiesti per l'impiego fisico.

Metodologia

Gli autori hanno condotto uno studio basato su simulazione utilizzando il Multi-Agent Particle Environment (MAPE), un framework fisico-basato che modella uno spazio di lavoro industriale 2D. Lo scenario prevedeva $N$ agenti autonomi che navigavano verso $N$ postazioni di lavoro fisse disposte in una formazione a cerchio unitario.

Configurazione Sperimentale:

• Ambiente: Uno spazio di lavoro limitato $[-1.2, 1.2] \times [-1.2, 1.2]$ metri con dinamica Newtoniana, forze di contatto e rumore dell'attuatore gaussiano.
• Agenti: Robot a massa puntiforme con un raggio di sicurezza di 0,25 m, velocità massima di 1,5 m/s e un canale di comunicazione inter-agente a 4 dimensioni.
• Policy Valutate:
  1. Baseline Casuale: Gli agenti selezionano azioni uniformemente in modo casuale senza consapevolezza del compito o comunicazione.
  2. Policy Greedy: Un'euristica deterministica in cui gli agenti navigano verso la postazione non occupata più vicina utilizzando il controllo proporzionale. Essa inferisce l'occupazione della stazione dalle osservazioni ma manca di un esplicito evitamento delle collisioni.
  3. Policy Safe MARL: Una policy composita, progettata manualmente, che integra tre componenti:
     • Forza di Navigazione: Controllo proporzionale verso una postazione statica, assegnata tramite round-robin.
     • Repulsione di Sicurezza: Un campo di potenziale artificiale (APF) che genera una forza repulsiva quando gli agenti entrano in una zona di sicurezza ($r_{safe} = 0,625$ m).
     • Evitamento Basato sulla Comunicazione: Un vettore a 4 dimensioni trasmesso che contiene la distanza dal target, le componenti della forza di repulsione ($x, y$) e un flag di arrivo. Gli agenti applicano una correzione di evitamento leggera basata sui segnali ricevuti dai vicini.

Metriche di Valutazione:
Le prestazioni sono state misurate attraverso 30 episodi (per $N=4$) e test di scalabilità ($N \in \{2, 3, 4, 5, 6\}$) utilizzando:

• Ricompensa Cumulativa (efficienza di copertura rispetto alla penalità di sicurezza).
• Tasso di Collisione (contatti inter-robot a coppie).
• Tasso di Copertura delle Stazioni (percentuale di stazioni raggiunte).
• Makespan (tempo per raggiungere la copertura completa).
• Efficienza della Comunicazione (magnitudo e struttura dei vettori trasmessi).

Contributi Chiave

1. Costruzione del Framework: Gli autori hanno implementato uno scenario di copertura di task per CPS industriali all'interno di MAPE, incorporando dinamiche di collisione fisico-basate, raggi di sicurezza configurabili e un canale di comunicazione a 4 dimensioni allineato ai vincoli industriali.
2. Design della Policy Composita: Hanno progettato una policy "Safe MARL" che unifica la navigazione proporzionale, campi di repulsione della sicurezza pesati sulla distanza (ispirati all'APF di Khatib) e l'evitamento dei conflitti basato sulla comunicazione in un'unica formulazione di azione.
3. Analisi Empirica della Scalabilità: Lo studio fornisce una valutazione sistematica delle prestazioni di coordinamento attraverso diverse dimensioni della flotta, quantificando la relazione tra densità degli agenti, capacità di comunicazione e frequenza delle collisioni.
4. Identificazione dei Colli di Bottiglia: La ricerca stabilisce empiricamente che, sotto un'assegnazione fissa e una comunicazione a canale fisso, la complessità del coordinamento cresce in modo super-lineare, creando una barriera di scalabilità per flotte più grandi.

Risultati

• Confronto con le Baseline ($N=4$):
  • La Policy Greedy ha raggiunto il 100% di copertura delle stazioni con il makespan più breve (51,3 step), ma ha subito un alto tasso di collisioni (11,57 collisioni/episodio), statisticamente indistinguibile dalla baseline Casuale.
  • La Policy Safe MARL ha raggiunto l'85% di copertura con un makespan più lungo (120,0 step). Sebbene meno efficiente in termini di velocità, ha dimostrato traiettorie strutturate e pattern di comunicazione emergenti allineati con le fasi del compito (navigazione vs. arrivo).
  • Sicurezza: Contrariamente all'aspettativa che i livelli di sicurezza eliminino le collisioni, la Safe MARL non ha eliminato completamente le collisioni (16,57/episodio) rispetto alla Greedy, a causa di minimi locali nel paesaggio della repulsione che causano movimenti oscillatori in regioni dense.
• Scalabilità ($N=2$ a $6$):
  • I tassi di collisione hanno mostrato una crescita super-lineare, passando da 0,65 collisioni (a $N=2$) a 71,55 collisioni (a $N=6$).
  • La copertura delle stazioni è rimasta relativamente stabile (74–98%), indicando che il meccanismo di assegnazione statica dei compiti è rimasto robusto, ma l'efficienza della pianificazione del percorso è degradata significativamente all'aumentare della contesa spaziale.
  • Il canale di comunicazione fisso a 4 dimensioni è stato identificato come un punto di saturazione, incapace di gestire la crescita $O(N^2)$ dei messaggi di interazione a coppie.

Significatività e Rivendicazioni

Il paper sostiene di aver stabilito i limiti empirici delle prestazioni di coordinamento sicuro nei CPS industriali. La sua principale significatività risiede nel dimostrare che efficienza e sicurezza sono obiettivi concorrenti sotto strategie di assegnazione fissa. Mentre la policy Greedy massimizza il throughput, fallisce nel fornire garanzie di sicurezza. Al contrario, la policy Safe MARL offre un profilo operativo bilanciato su più metriche, adatto ad ambienti industriali dove la sicurezza non è negoziabile, anche a costo di una ridotta velocità.

Gli autori concludono con modestia che, sebbene il loro approccio attuale integri la sicurezza tramite campi di potenziale e comunicazione progettata manualmente, esso non scala all'infinito. Identificano la larghezza di banda della comunicazione adattiva e l'assegnazione dinamica dei compiti come variabili di design critiche per future implementazioni scalabili. Il lavoro serve come passo fondamentale verso policy apprese end-to-end (ad esempio, tramite MADDPG) e configurazioni di spazio di lavoro 3D con certificati di sicurezza basati su Lyapunov, piuttosto che rivendicare una soluzione completa per l'impiego industriale su larga scala.