Multiplayer Reach-Avoid Differential Games with Defender-Side Information Delay

Sintesi Tecnica: Giochi Differenziali Reach-Avoid Multi-Agente con Ritardo di Informazione Lato Difensore

Formulazione del Problema
Questo articolo investiga una classe di giochi differenziali reach-avoid che coinvolgono molteplici difensori e molteplici attaccanti che si muovono in un piano bidimensionale con velocità limitate. La sfida principale affrontata è la presenza di un ritardo di informazione lato difensore. In questo scenario, mentre gli attaccanti possiedono informazioni sullo stato in tempo reale, ogni difensore $D_i$ osserva gli stati degli altri agenti (sia altri difensori che attaccanti) con un ritardo temporale costante $\tau_i$. Di conseguenza, i difensori basano le loro decisioni di controllo sulle posizioni passate degli attaccanti ($t-\tau_i$) anziché sulle loro posizioni attuali.

Il gioco coinvolge $N$ difensori e $M$ attaccanti. Gli attaccanti mirano a raggiungere una regione target convessa e chiusa $T$, mentre i difensori mirano a catturare gli attaccanti (entro un raggio $r_i$) prima che raggiungano $T$. Se un attaccante viene catturato, i difensori cercano di massimizzare la distanza del punto di cattura da $T$, mentre l'attaccante cerca di minimizzare tale distanza. Il gioco termina quando tutti gli attaccanti sono stati o catturati o sono entrati nella regione target. Gli autori assumono condizioni iniziali specifiche per garantire che il gioco sia ben posto: i difensori sono inizialmente stazionari durante l'intervallo di ritardo, gli attaccanti partono al di fuori della regione target, i difensori sono più veloci degli attaccanti ($\bar{v}_D > \bar{v}_A$) e le distanze iniziali sono sufficienti per evitare una cattura immediata prima che termini il periodo di ritardo.

Metodologia
Gli autori impiegano un approccio geometrico combinato con l'analisi convessa e i concetti di equilibrio della teoria dei giochi per risolvere il problema.

1. Analisi One-Attacker-One-Defender (Un Attaccante e Un Difensore):

   • Caratterizzazione della Regione di Attacco: Gli autori derivano prima una caratterizzazione analitica esplicita della "regione di attacco ritardata" ($R_{total}^A$). Questa regione rappresenta l'insieme di punti che un attaccante può garantire di raggiungere non oltre il difensore, tenendo conto del lag di reazione del difensore.
   • Dimostrazione di Convessità: Utilizzando un'analisi specifica della curvatura del confine definito dai vincoli di distanza e dai parametri di ritardo, l'articolo dimostra che questa regione di attacco è un insieme convesso sotto deboli assunzioni.
   • Strategie Ottimali: Sulla base della regione di attacco convessa, gli autori formulano un problema di ottimizzazione convessa per trovare il punto di cattura (il punto nella regione di attacco più vicino alla regione target). Le strategie ottimali per entrambi i giocatori vengono derivate come movimento alla massima velocità in linea retta verso questo punto di cattura.
   • Verifica dell'Equilibrio: L'articolo stabilisce che queste strategie costituiscono un equilibrio di Nash sub-gioco perfetto (SPNE). Ciò viene dimostrato dividendo il gioco in due fasi (prima e dopo l'ingresso in gioco del difensore) e utilizzando l'induzione a ritroso per mostrare l'ottimalità in ogni fase.

2. Estensione a Scenari Multi-Agente:

   • One-Attacker-Multiple-Defenders (Un Attaccante e Più Difensori): La regione di attacco è definita come l'intersezione delle singole regioni di attacco tra l'attaccante e ciascun difensore. Il punto di cattura è determinato risolvendo un problema di ottimizzazione convessa soggetto ai vincoli di tutti i difensori. Gli autori osservano che, in linea con il lavoro precedente, al massimo due difensori sono sufficienti per determinare il punto di cattura sotto un gioco ottimale.
   • Multi-Attacker-Multi-Defender (Più Attaccanti e Più Difensori): Il problema viene esteso a un contesto generale $N$-contro-$M$. Gli autori incorporano le "relazioni di vittoria di coppia consapevole del ritardo" (determinare se un difensore specifico può garantire la cattura di un attaccante specifico) in una formulazione di matching massimo. Ciò consente l'assegnazione ottimale dei difensori agli attaccanti per massimizzare il numero di catture.

Contributi Chiave
L'articolo apporta i seguenti contributi specifici:

1. Formulazione Matematica: Propone una formulazione rigorosa di giochi reach-avoid in cui i difensori operano con informazioni ritardate riguardo alle posizioni degli attaccanti.
2. Caratterizzazione Analitica: Per il caso uno-contro-uno, deriva una rappresentazione analitica esplicita della regione di attacco ritardata e ne prova la convessità, un risultato non banale data la dinamica del ritardo temporale.
3. Strategie Ottimali ed Equilibrio: Deriva strategie ottimali per entrambi i giocatori e dimostra che esse costituiscono un equilibrio di Nash sub-gioco perfetto, affrontando la natura sequenziale del gioco indotta dal ritardo.
4. Scalabilità: Il framework è esteso a scenari one-attacker-multiple-defender e multi-agente generale, fornando strategie per il calcolo del punto di cattura e l'assegnazione difensore-attaccante tramite matching massimo.

Risultati
Sono state condotte simulazioni numeriche utilizzando MATLAB per validare i risultati teorici attraverso tre scenari:

• One-vs-One: Le simulazioni hanno confermato che le strategie ottimali proposte superano sia le policy di benchmark di attacco puro che di difesa pura. Nello specifico, deviazioni unilaterali da parte di uno qualsiasi dei giocatori hanno portato a esiti peggiori per il giocatore che ha deviato, validando la natura di equilibrio delle strategie.
• One-vs-Multiple: Simulazioni con un attaccante e due difensori hanno dimostrato che le strategie cooperative tra i difensori possono ottenere prestazioni migliori (minimizzando la distanza dell'attaccante dal target) rispetto a un singolo difensore che agisce da solo.
• Multi-Agent: Uno scenario con tre attaccanti e tre difensori ha illustrato l'efficacia dell'approccio di matching massimo. La simulazione ha mostrato che i difensori riescono ad assegnarsi con successo agli attaccanti che possono garantire di catturare, mentre l'attaccante non assegnato raggiunge con successo la regione target.

Significatività e Rivendicazioni
L'articolo sostiene di essere il primo a fornire strategie ottimali per i giochi reach-avoid specificamente sotto la condizione di ritardo di informazione lato difensore. Sebbene lavori precedenti abbiano affrontato ritardi negli attaccanti o giochi reach-avoid standard, questo lavoro colma una lacuna nella letteratura riguardante come i difensori possano mitigare ottimamente il degrado delle prestazioni quando le loro informazioni sono intrinsecamente ritardate.

Gli autori sottolineano che il loro approccio va oltre la difficoltà di risolvere direttamente l'equazione di Hamilton-Jacobi-Isaacs (HJI) ad alta dimensionalità. Invece, sfruttando la struttura geometrica della regione di attacco ritardata e la sua convessità, forniscono un framework analitico trattabile basato sulla verifica. Ciò consente il calcolo efficiente delle condizioni di vittoria e delle strategie di equilibrio in scenari che sarebbero altrimenti analiticamente intrattabili. Il lavoro si posiziona come un passo verso la modellazione più realistica di sistemi avversari (come applicazioni militari o aerospaziali) dove le latenze di comunicazione e di elaborazione sono inevitabili.