🤖 machine learning

Contract-Based Compositional Shielding for Safe Multi-Agent Reinforcement Learning

Questo articolo propone un framework di shielding composizionale basato su contratti per l'apprendimento per rinforzo multi-agente che garantisce garanzie di sicurezza deterministiche e recupera il comportamento ottimale del team sotto esecuzione decentralizzata certificando tuple di obblighi LTL locali tramite un selettore multi-armed bandit non stazionario.

Autori originali: Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli

Pubblicato 2026-06-15

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Omar Adalat, Edwin Hamel-De le Court, Francesco Belardinelli

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover addestrare una squadra di robot per lavorare insieme, come un gruppo di droni che consegnano pacchi o robot che organizzano un magazzino. L'obiettivo è far sì che imparino a svolgere il proprio lavoro nel modo più rapido ed efficiente possibile. Tuttavia, c'è un ostacolo: se commettono un errore, potrebbero scontrarsi tra loro o rompere qualcosa.

Il problema è che ciò che è "sicuro" per un robot spesso dipende da ciò che stanno facendo gli altri robot. Se il Robot A si muove a sinistra, è sicuro. Ma se anche il Robot B si muove a sinistra nello stesso momento, si scontrano.

Il Vecchio Modo: Il Genitore Iperprotettivo

Tradizionalmente, per mantenere i robot al sicuro, i ricercatori utilizzavano uno "scudo centrale". Immaginalo come un genitore severo che osserva l'intera squadra. Il genitore vede ogni possibile mossa e dice: "Ok, puoi muoverti a sinistra, ma solo se sei assolutamente sicuro che nessun altro si muoverà a sinistra".

Per essere sicuri, questo genitore spesso diventa troppo cauto. Potrebbe dire: "Non posso lasciare che nessuno si muova a sinistra, nel caso in cui qualcuno lo faccia", perché non può prevedere perfettamente gli altri robot. Questo impedisce ai robot di compiere quelle mosse coordinate e intelligenti che permetterebbero di completare il lavoro rapidamente. È come un genitore che dice a un gruppo di bambini: "Non giocate a tana del coniglio perché qualcuno potrebbe inciampare", così rimangono semplicemente seduti. Sono sicuri, ma non stanno imparando né divertendosi.

Il Nuovo Modo: Il Sistema dei "Contratti"

Questo articolo introduce un modo più intelligente per mantenere la squadra al sicuro senza essere così restrittivi. Lo chiamano Scudo Composizionale Basato su Contratti (Contract-Based Compositional Shielding).

Ecco come funziona, usando un'analogia semplice:

1. Il Contratto della Squadra
Invece di un unico grande regolamento, la squadra concorda su un insieme di contratti locali.

Il Robot A dice: "Prometto di stare sempre sul lato sinistro della stanza."
Il Robot B dice: "Prometto di stare sempre sul lato destro della stanza."

Questi sono "obblighi locali". Sono semplici promesse che ogni robot fa riguardo al proprio comportamento.

2. Il Controllo Magico (Certificazione)
Prima ancora che i robot inizino ad apprendere, un computer controlla se queste promesse funzionano insieme. Chiede: "Se il Robot A mantiene la sua promessa e il Robot B mantiene la sua promessa, si scontreranno mai?"

Se la risposta è SÌ, il contratto è "certificato".
Se la risposta è NO, il contratto viene scartato.

Questa è la parte "circolare". Il Robot A fa affidamento sulla promessa del Robot B, e il Robot B fa affidamento sulla promessa del Robot A. Finché il computer dimostra che entrambe le promesse, insieme, garantiscono la sicurezza, la squadra è pronta a partire.

3. Gli Scudi Locali
Una volta certificato il contratto, ogni robot riceve il proprio piccolo "scudo" (un filtro).

Lo scudo del Robot A guarda solo le mosse del Robot A. Dice: "Puoi muoverti a sinistra, a destra o in avanti, purché tu rimanga sul lato sinistro". Non ha bisogno di sapere cosa sta facendo il Robot B perché si fida del contratto del Robot B.
Il Robot B riceve uno scudo simile.

Poiché gli scudi si basano su queste promesse fidate, il Robot A è autorizzato a fare cose che il vecchio "genitore severo" avrebbe vietato. Il Robot A può muoversi a sinistra perché sa che il Robot B ha promesso di stare a destra. Questo permette alla squadra di eseguire le mosse coordinate ad alta velocità che prima erano impossibili.

Il Processo di Apprendimento: Il Selettore tipo "Game Show"

L'articolo descrive anche come i robot imparano a scegliere il contratto migliore.
Immaginate che i robot abbiano una libreria di diversi contratti (ad esempio, "Resta a sinistra", "Resta a destra", "Muoviti lentamente", "Muoviti velocemente").

Provano un contratto per un po'.
Vedono quanto hanno reso (hanno consegnato il pacco? si sono scontrati?).
Un "selettore" (come un presentatore di un quiz televisivo) sceglie il contratto che ha dato i risultati migliori finora e continua a usare quello.
Se un contratto smette di funzionare bene, passano a un nuovo contratto dalla libreria.

Fondamentalmente, passano solo a contratti che sono già stati certificati come sicuri. Non provano mai un contratto basato su una "ipotesi azzardata" che non sia stato prima controllato. Questo significa che possono imparare e migliorare la loro velocità senza mai rischiare uno scontro.

I Risultati

Gli autori hanno testato questo sistema su sei diversi scenari di robot (come robot per magazzini e stormi di droni). Hanno scoperto che:

Sicurezza: I robot non si sono mai scontrati perché i contratti erano matematicamente provati come sicuri.
Prestazioni: I robot hanno imparato a lavorare insieme molto meglio rispetto al vecchio metodo del "genitore severo". Hanno recuperato il modo "ottimale" (il migliore possibile) di coordinarsi, che i vecchi metodi avevano invece scartato.

Riassunto

In breve, questo articolo risolve il problema di "come far coordinare le squadre di robot senza un capo centrale che microgestioni ogni mossa".

Vecchio modo: "Non muoverti a meno che io non dica che è 100% sicuro per tutti". (Troppo lento, troppo cauto).
Nuovo modo: "Tu prometti di fare X, io prometto di fare Y. Se entrambi manteniamo le nostre promesse, saremo sicuri. Proviamo a fare il nostro lavoro velocemente!". (Veloce, coordinato e comunque sicuro).

L'articolo dimostra che questo approccio basato sui "contratti" permette a squadre di robot di apprendere una collaborazione complessa e sicura senza la necessità di un controllore centrale che li osservi ogni secondo.

Sintesi Tecnica: Scudo Composizionale Basato su Contratti per il Reinforcement Learning Multi-Agente Sicuro

Definizione del Problema

Nel Reinforcement Learning Multi-Agente (MARL) cooperativo, garantire la sicurezza durante l'addestramento e l'implementazione è una sfida quando i vincoli di sicurezza globali non possono essere imposti unilateralmente da un singolo agente. Nei "problemi di coordinamento sicuri", l'ammissibilità dell'azione di un agente dipende dalle politiche non stazionarie dei suoi compagni di squadra. Gli approoli standard si affidano spesso allo scudo centralizzato, che calcola una relazione di azione sicura globale, o alla mascheratura unilaterale (fattorizzata), dove ogni agente limita indipendentemente le proprie azioni sulla base di assunzioni del caso peggiore.

Il documento identifica un limite critico nella mascheratura unilaterale: essa spesso scarta comportamenti sicuri ottimali che richiedono coordinamento. Come illustrato nell'esempio motivazionale del paper (Figura 1), se l'azione sicura dell'Agente A dipende dal fatto che l'Agente B scelga una specifica azione, una maschera puramente unilaterale proibirà l'azione dell'Agente A per rimanere sicura rispetto a tutte le possibili azioni dell'Agente B. Ciò porta a una "decomposizione cartesiana conservativa" che esclude azioni congiunte coordinate sicure e ad alto rendimento. L'obiettivo è ottenere un esecuzione decentralizzata (dove gli agenti agiscono sulla base di informazioni locali) pur recuperando un comportamento sicuro ottimo per la squadra senza ricorrere al controllo centralizzato in tempo di esecuzione.

Metodologia

Gli autori propongono lo Scudo Composizionale Basato su Contratti, un framework che decompone una specifica di sicurezza globale condivisa in contratti temporali locali. La metodologia si compone di tre fasi principali:

1. Framework Formale e Assunzioni

Specifica Globale: La sicurezza è definita da una singola formula globale $\Phi_{safe}$ nel frammento di sicurezza della Logica Temporale Lineare ( $LTL_{safe}$ ).
Contratti Locali: La specifica globale è decomposta in una tupla di obblighi locali $C = \langle \phi_i \rangle_{i=1}^n$ , dove ogni $\phi_i$ è una formula $LTL_{safe}$ sull'alfabeto locale dell'agente $i$ .
Assume-Guarantee Circolare: A differenza dei lavori precedenti che richiedono strutture di dipendenza acicliche, questo approccio consente assunzioni circolari. L'agente $i$ assume che tutti gli altri agenti $j \neq i$ soddisfino i propri obblighi $\phi_j$ . Questa circolarità non è risolta da un ordine fisso, ma certificando l'intera tupla simultaneamente.

2. Sintesi dello Scudo (Offline)

Il processo di sintesi costruisce una libreria di contratti certificati:

Costruzione degli Automi: Ogni obbligo locale $\phi_i$ viene compilato in un automa di sicurezza deterministico $A^C_i$ con un insieme di "stati cattivi" che rappresentano violazioni.
Prodotto dei Contratti: Viene costruito un automa prodotto globale sullo spazio degli stati $S \times Q_1 \times \dots \times Q_n$ .
Certificazione del Punto Fisso: Gli autori calcolano un punto fisso superiore (la "regione vincente rettangolare" $Win^\square_C$ $W i n_{C}^{□}$ ) utilizzando un operatore predecessore assume-guarantee. Questa regione rappresenta stati dai quali è possibile mantenere un prodotto cartesiano non vuoto di maschere di azione locali (un "rettangolo") tale che:
1. L'azione congiunta rimanga all'interno della regione vincente.
2. Non vengano raggiunti stati cattivi.
Criteri di Certificazione: Una tupla di contratti è "certificata" se:
1. La congiunzione degli obblighi locali implica semanticamente l'obiettivo di sicurezza globale ( $C \models^\uparrow \Phi_{safe}$ ).
2. Lo stato iniziale del sistema si trova all'interno della regione vincente calcolata.
Proiezione: Una volta certificata, la regione vincente viene proiettata per generare maschere di azione locali per ogni agente. Queste maschere sono "localmente identificabili tramite maschera", il che significa che un agente può determinare le proprie azioni consentite usando solo la propria cronologia di osservazione locale e l'identificatore del contratto attivo, senza ricostruire le maschere degli altri agenti.

3. Apprendimento e Selezione (Online)

Costruzione della Libreria: Prima dell'addestramento, una ricerca limitata enumera i candidati tuple di contratti (limitata dalla profondità della formula e da un linguaggio finito). Ogni candidato viene testato per la certificazione. L'insieme delle tuple andate a buon fine forma la Libreria Certificata ( $\mathcal{L}_{cert}$ ).
Selettore Bandit: Durante l'addestramento, un algoritmo multi-armed bandit non stazionario seleziona quale contratto dalla libreria applicare per un dato blocco di addestramento.
- Ogni contratto agisce come un "braccio" (arm).
- Il selettore ottimizza il rendimento di squadra garantendo al contempo la sicurezza.
- Utilizza una strategia Discounted Upper Confidence Bound (D-UCB) per adattarsi alla natura non stazionaria del processo di apprendimento (man mano che le politiche migliorano, il valore di diversi contratti cambia).
Garanzia di Sicurezza: Il Teorema 3 garantisce che finché il selettore cambia i contratti solo ai confini degli episodi e sceglie sempre dalla libreria pre-certificata, il sistema rimarrà sicuro end-to-end.

Contributi Chiave

Il paper delinea quattro contributi primari:

Decomposizione e Compilazione: Un metodo per scomporre una specifica globale $LTL_{safe}$ condivisa in obblighi locali candidati e compilarli in automi di sicurezza deterministici per la sintesi dello scudo.
Correttezza Formale e Recuperabilità: Garanzie formali per lo scudo decentralizzato basate sul ragionamento assume-guarantee circolare e sui punti fissi del prodotto dei contratti. Gli autori dimostrano che se la politica deterministica sicura ottima è rappresentabile da un contratto nella libreria, il framework può recuperarla.
Ottimizzazione sotto Certificazione: Un meccanismo che utilizza la ricerca di profili certificati limitata e la selezione D-UCB per ridurre la conservatività. Ciò consente al sistema di selezionare contratti che espongono comportamenti coordinati ad alto rendimento senza sacrificare la sicurezza deterministica.
Valutazione Empirica: Valutazione estesa attraverso 6 ambienti multi-agente cooperativi (inclusi Flatland, RWARE e Pressure Plate) e 15 varianti algoritmiche, dimostrando l'efficacia dell'approccio.

Risultati

La valutazione empirica confronta il proposto Contract-IPPO e Contract-IQL contro algoriti MARL standard (IPPO, IQL, MAPPO) e vari baseline di scudo (scudi unilaterali, scudi centralizzati).

Prestazioni: In ambienti in cui le maschere fattorizzate unilaterali sono troppo conservative (es. RWARE, Pressure Plate, Connector), lo scudo basato su contratti migliora significativamente il rendimento di squadra, convergendo verso le prestazioni degli scudi centralizzati (come Shielded-Joint-PPO).
Sicurezza: La sicurezza è strutturalmente imposta; le curve nella Figura 4 misurano il rendimento mantenuto, implicando che le violazioni di sicurezza sono prevenute dalle maschere stesse.
Scalabilità: Negli ambienti più grandi, la ricerca limitata ha considerato fino a 12.001 profili, con fino a 390 certificati come sicuri, dimostrando la fattibilità dell'approccio di enumerazione offline.
Risultati Specifici: Nell'ambiente "Pressure Plate", gli scudi fattorizzati standard costringevano il corridore a stare fuori dalle regioni protette delle porte per essere sicuro rispetto a qualsiasi comportamento dell'utente della piastra. L'approccio basato su contratti ha permesso al corridore di attraversare facendo affidamento sull'impegno certificato dei possessori delle piastre a rimanere sulle stesse, recuperando il comportamento coordinato ottimo.

Significato e Rivendicazioni

Il paper sostiene di affrontare il fondamentale compromesso nel MARL sicuro tra esecuzione decentralizzata e coordinamento ottimale.

Recupero del Coordinamento: Gli autori affermano che il loro metodo recupera il "comportamento sicuro ottimo per la squadra" che viene tipicamente perso dagli scudi puramente fattorizzati (unilaterali). Consentendo agli agenti di fare affidamento su assunzioni circolari che sono simultaneamente certificate, il sistema evita la "decomposizione cartesiana conservativa" che scarta azioni congiunte sicure.
Sicurezza End-to-End: Il framework separa l'adattamento del rendimento (apprendimento) dall'imposizione della sicurezza (scudo). Il processo di apprendimento può esplorare e ottimizzare entro i confini dei contratti pre-certificati, garantendo che nessun comportamento non sicuro venga ammesso durante l'addestramento o l'implementazione.
Ambito Modesto: Il paper è modesto riguardo ai propri limiti. Riconosce che la capacità di recuperare l'ottimo globale dipende dalla rappresentabilità della politica ottima all'interno della libreria finita di contratti locali. Se il linguaggio dei contratti non è abbastanza espressivo (ad esempio, se il limite di profondità $D$ è troppo basso) per catturare il coordinamento necessario, il sistema non può recuperare l'ottimo globale. Inoltre, l'approccio attuale si basa sull'enumerazione esaustiva (sebbene limitata) dei contratti, e si suggerisce che il lavoro futuro possa esplorare euristiche per trovare contratti quasi ottimali senza la piena enumerazione.

In sintesi, il paper presenta un approccio rigoroso e formalmente verificato al MARL sicuro che consente agli agenti decentralizzati di coordinarsi efficacemente senza controllo centralizzato in tempo di esecuzione, colmando il divario tra la verifica formale e l'ottimizzazione del reinforcement learning.