$\texttt{Flip-Team}$: Cooperative Takeover Games with Stochastic Human Override

Sintesi Tecnica: Flip-Team: Giochi di Presa di Controllo Cooperativi con Override Umano Stocastico

Definizione del Problema
I sistemi di autonomia condivisa, critici in domini come la guida autonoma e la robotica assistiva, richiedono meccanismi fondati per il trasferimento del controllo tra umani e agenti autonomi. Gli approcci esistenti spesso si affidano alla miscelazione del controllo (control blending) o a regole di commutazione euristiche che mancano di garanzie teoriche e non tengono conto della dinamica del trasferimento dell'autorità. Inoltre, molti framework attuali assumono ruoli simmetrici o richiedono la conoscenza completa dell'utilità umana, il che è spesso irrealistico. Esiste una lacuna specifica nella modellazione dello scambio di autorità in cui gli umani mantengono una capacità di "override" asimmetrica (la capacità di intervenire anche quando l'agente è in controllo) in condizioni stocastiche, mentre entrambi gli agenti perseguono un obiettivo comune di missione. Questo articolo affronta la necessità di un framework cooperativo che determini politiche di commutazione ottimali senza fare affidamento su regole ad hoc o sul coinvolgimento continuo dell'umano.

Metodologia
Gli autori propongono Flip-Team, un framework di teoria dei giochi cooperativi formulato come un gioco dinamico a interesse identico. L'innovazione principale è l'integrazione della decisione di commutazione direttamente nelle dinamiche di sistema, anziché trattarla come un meccanismo di arbitraggio esterno.

1. Formulazione del Gioco:

   • Spazio degli Stati: Lo stato del sistema $x_k$ evolve sotto il controllo umano ($\alpha_k = H$) o il controllo autonomo ($\alpha_k = A$).
   • Stato FlipDyn: Uno stato discreto $\alpha_k$ traccia chi detiene l'autorità. Le transizioni sono governate dalle azioni degli agenti: "idle" (mantenere il controllo) o "takeover/request" (presa di controllo/richiesta).
   • Override Stocastico: Una caratteristica chiave è l'override umano stocastico. Quando l'agente autonomo è in controllo ($\alpha_k = A$) e l'umano tenta di intervenire ($\pi^H_k = 1$) mentre l'agente non richiede il passaggio di consegne, la presa di controllo avviene con probabilità $p_k$. Ciò cattura la latenza dell'interfaccia e i meccanismi di arbitraggio in cui l'autorità umana è superiore ma non garantita.
   • Funzione di Costo: Gli agenti minimizzano congiuntamente un costo totale $J$ che comprende i costi di stato (errore di inseguimento, energia) e i costi di takeover (carico cognitivo, rischio di transizione). I costi sono asimmetrici ($g^H \neq g^A$, $h \neq a$) per riflettere la diversa efficacia del controllo e gli oneri di commutazione.

2. Analisi del Sistema Generale:

   • Il problema viene risolto tramite programmazione dinamica. Gli autori definiscono funzioni di valore e matrici di costo residuo (cost-to-go) per entrambi gli stati FlipDyn ($H$ e $A$).
   • Teorema 1 stabilisce l'esistenza di politiche di commutazione ottimali in strategie pure. Deriva esplicite condizioni di soglia per il trasferimento dell'autorità basate sulla differenza tra i valori futuri ($\tilde{v}_{k+1} = v^A_{k+1} - v^H_{k+1}$) scalate dai costi di takeover e dalla probabilità di override $p_k$.

3. Estensione Lineare-Quadratica (LQ):

   • Per sistemi lineari con costi quadratici, gli autori derivano il Corollario 1, fornendo ricorsioni in forma chiusa per le politiche di commutazione ottimali e i parametri della funzione di valore ($P^H_k, P^A_k$).
   • Fondamentalmente, questa formulazione permette di calcolare le soglie di commutazione offline, rendendole indipendenti dallo stato continuo $x$ nel caso scalare, o dipendenti dallo stato solo attraverso una forma quadratica nel caso multidimensionale. Ciò garantisce l'efficienza computazionale indipendentemente dalla cardinalità dello spazio degli stati continui.

Contributi Chiave

1. Formulazione del Takeover Cooperativo: L'articolo formula il problema del takeover tra uomo e automazione come un gioco dinamico a interesse identico dove le decisioni di commutazione sono incorporate nelle dinamiche di sistema. Questo framework unificato cattura l'autorità asimmetrica, l'override umano stocastico e i costi dipendenti dallo stato.
2. Caratterizzazione della Commutazione Ottimale: Gli autori stabiliscono l'esistenza di politiche ottimali per il team e le caratterizzano tramite esplicite condizioni di soglia. Queste condizioni determinano quando avvengono i trasferimenti di autorità basandosi sul compromesso tra la differenza dei costi futuri e il costo probabilistico della commutazione.
3. Soluzioni Analitiche per Sistemi LQ: Per i sistemi linear-quadratic, l'articolo deriva ricorsioni in forma chiusa per le politiche ottimali e le funzioni di valore. Ciò consente il calcolo efficiente di strategie di takeover cooperativo in spazi di stato continui, con soglie di commutazione che sono indipendenti dallo stato continuo (nei casi scalari) o definite da disuguaglianze matriciali (nei casi multidimensionali).

Risultati
Il framework è stato validato su sistemi lineari scalari e multidimensionali:

• Sistema LTI Scalare: Le simulazioni su un orizzonte finito ($L=40$) hanno dimostrato che il comportamento di commutazione è altamente sensibile alla probabilità di override $p$. È stata identificata una soglia critica $p^* = H/(H+A)$; al di sotto di questo valore, l'override unilaterale dell'umano non è mai ottimale. Man mano che $p$ aumenta, la frequenza degli override ottimali cresce, mostrando un'evoluzione della politica non monotona nei regimi intermedi.
• Regolazione Laterale del Veicolo (2D): In un compito di inseguimento della corsia 2D, la politica Flip-Team ha ridotto il costo peggiore del 18,65% rispetto a un baseline "sempre autonomo" e ha superato le strategie di commutazione a intervalli fissi.
• Dimensionalità dello Stato: I risultati hanno evidenziato una differenza strutturale fondamentale tra sistemi scalari e multidimensionali. Nei sistemi scalari, la commutazione è indipendente dallo stato. In dimensioni superiori, la condizione di commutazione implica disuguaglianze matriciali ($\tilde{P}_{k+1} \succeq H/p$), il che significa che l'override può essere ottimale per stati allineati con specifici autovettori della matrice della differenza di valore, ma non per altri.

Significatività e Rivendicazioni
L'articolo sostiene che basare l'autonomia condivisa sulla teoria dei giochi cooperativi fornisca un'alternativa fondata alla miscelazione euristica o all'arbitrato. Trattando l'umano e l'autonomia come un team unificato con un obiettivo comune ma ruoli distinti, Flip-Team fornisce politiche di commutazione ottimali che si adattano alle dinamiche di sistema, alle strutture di costo e all'affidabilità dell'intervento umano. Il framework affronta esplicitamente i compromessi tra l'adattabilità umana e l'efficienza autonoma.

Gli autori rilevano alcune limitazioni: il framework assume interessi identici (obiettivi allineati), tratta la probabilità di override come nota (richiedendo stima durante l'implementazione) e limita i risultati in forma chiusa ai sistemi LQ. Si propone come lavoro futuro l'estensione del framework a giochi bayesiani con informazioni private, l'apprendimento online delle probabilità di override e la validazione fisica con esperimenti human-in-the-loop.