Sintesi Tecnica: TRUST-UP

Definizione del Problema

Il documento affronta il divario critico tra le elevate prestazioni dell'Apprendimento per Rinforzo (RL) nel perseguimento di veicoli aerei autonomi (UAV) e i rigorosi requisiti di sicurezza e trasparenza necessari per la certificazione aeronautica, in particolare in ambienti urbani a bassa quota con presenza umana.

Sebbene l'RL permetta un controllo del volo agile, la sua natura di "scatola nera" (black-box) e la mancanza di garanzie di sicurezza deterministiche ostacolano la certificazione di aeronavigabilità. Una sfida specifica identificata è il concetto di "sicurezza percepita" o "raggio di fiducia". A differenza degli ostacoli inanimati, gli esseri umani richiedono margini di sicurezza ampliati basati sulla comodità psicologica e sulla prossemica. Le politiche RL standard spesso danno priorità all'evitamento tecnico delle collisioni (ad esempio, sfiorare strettamente un pedone ad alta velocità), il che può soddisfare tecnicamente i vincoli di collisione ma violare la fiducia umana invadendo lo spazio personale. I metodi esistenti di RL sicuro, come la modellazione della ricompensa (reward shaping) o lo scudo statico (static shielding), spesso non riescono a fornire le garanzie deterministiche richieste per la fiducia psicologica umana o faticano con la fattibilità quando impongono vincoli complessi e consapevoli della presenza umana insieme ai limiti di spinta e ai range di rilevamento.

Metodologia: Il Framework TRUST-UP

Gli autori propongono TRUST-UP (Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit), un framework che integra una politica RL model-free con un filtro di sicurezza formale basato su Funzioni di Barriera di Controllo (CBF). Il sistema è progettato per trasformare le azioni RL non sicure in comandi di volo provabilmente sicuri, mantenendo al contempo la trasparenza operativa.

1. Augmentazione e Trasformazione del Sistema

Per affrontare i problemi di fattibilità comuni nei sistemi con vincoli di spinta, gli autori aumentano la dinamica dell'UAV introducendo input di controllo virtuali. Questa trasformazione trasforma il problema originale del primo ordine, vincolato dalla spinta, in un problema del secondo ordine, vincolato dall'output. Questa trasformazione incorpora l'inerzia dell'attuatore nei vincoli di sicurezza, alleviando i problemi di sovraccarico causati da cambiamenti bruschi di input tipici dei CBF del primo ordine e migliorando la fattibilità del Programma Quadratico (QP) risultante.

2. Costruzione del Filtro di Sicurezza Adattivo

Il cuore di TRUST-UP è un filtro di sicurezza costruito su tre CBF adattivi, formulati come un problema QP. Questi vincoli assicurano l'invarianza verso il futuro di tre specifici set di sicurezza:

• Vincolo di Input ($C_{u,i}$): Un vincolo variabile nel tempo che adatta dinamicamente l'allowance massima di spinta in base alla posizione relativa tra l'inseguitore e l'obiettivo. Ciò consente di rilassare i limiti durante le manovre di emergenza pur regolando rigorosamente i comandi erratici durante il volo nominale.
• Evitamento delle Collisioni ($C_{c,i}$): Garantisce una distanza minima di sicurezza tra l'inseguitore e tutti gli altri agenti (obiettivi, altri UAV) e gli ostacoli statici.
• Range di Rilevamento ($C_{s,i}$): Garantisce che l'inseguitore rimanga entro una distanza massima per mantenere la copertura sensoriale del proprio obiettivo.

Il filtro tiene conto delle incertezze del sistema (ad esempio, vento, rumore dei sensori) utilizzando leggi adattive per stimare i parametri sconosciuti, garantendo la robustezza contro le perturbazioni.

3. Strategia di Commutazione Trasparente

Il framework impiega una legge di controllo ibrida con una strategia di commutazione:

• Regione $R_1$: Se l'azione RL nominale ($\pi_i$) soddisfa tutti i vincoli di sicurezza (ovvero, si trova all'interno dell'insieme ammissibile), il sistema esegue direttamente l'azione RL.
• Regione $R_2$: Se l'azione RL viola qualsiasi vincolo, il filtro di sicurezza viene attivato. Il sistema risolve il CBF-QP per trovare l'input di controllo più vicino all'azione nominale ($v^*_i$) che soddisfi tutti i vincoli.

Gli autori dimostrano formalmente che questa strategia di commutazione assicura che il problema QP soddisfi le condizioni di Karush-Kuhn-Tucker (KKT), garantendo l'esistenza di una soluzione unica e Lipschitz continua che mantiene l'invarianza del set di sicurezza.

Contributi Chiave

1. Design di CBF Vincolato alla Spinta: Il documento introduce un metodo per gestire i vincoli di spinta aumentando il sistema con input virtuali. Questo approccio impone i limiti dell'inviluppo di volo operativo, rilassando adattivamente i limiti superiori durante le manovre di emergenza, bilanciando le prestazioni della missione con una sicurezza verificabile.
2. Filtro di Sicurezza Adattivo: Il design di due CBF basati sulla posizione (per l'evitamento delle collisioni e il range di rilevamento) combinati con il CBF vincolato alla spinta forma un filtro di sicurezza con fattibilità garantita. La natura adattiva di questi vincoli consente agli UAV di mantenere operazioni sicure anche sotto disturbi atmosferici.
3. Algoritmo TRUST-UP con Fattibilità Provata: La proposta di una strategia di commutazione trasparente che determina la sicurezza degli output RL. Gli autori forniscono una prova formale che l'algoritmo soddisfi le condizioni KKT per tutti i vincoli di sicurezza, garantendo la conformità ai requisiti di affidabilità per la distribuzione certificata.

Risultati della Simulazione

Gli autori hanno validato TRUST-UP attraverso simulazioni numeriche che coinvolgono due UAV inseguitori che tracciano obiettivi in ambienti con ostacoli statici e disturbi sconosciuti. Sono stati testati due scenari:

1. Manovre Circolari: Gli obiettivi eseguono grandi manovre circolari.
2. Manovre a Figura di 8: Gli obiettivi eseguono traiettorie complesse a "figura di 8" con curvatura variabile.

Analisi Comparativa:

• SAC-Only vs. TRUST-UP: L'algoritmo baseline Soft Actor-Critic (SAC), addestrato senza il filtro di sicurezza, non è riuscito a garantire la sicurezza. Nelle simulazioni, gli agenti SAC-only hanno collisionato con gli ostacoli e hanno perso il rilevamento dei loro obiettivi (superando il raggio di rilevamento).
• Garanzie di Sicurezza: TRUST-UP ha mantenuto con successo tutti i vincoli di sicurezza (evitamento collisioni, range di rilevamento e limiti di input) in entrambi gli scenari, anche quando gli obiettivi eseguivano manovre evasive aggressive.
• Stabilità del Controllo: Gli input di controllo generati da TRUST-UP sono rimasti entro i limiti prescritti senza oscillazioni ad alta frequenza, mentre l'approccio SAC-only ha mostrato un comportamento di tracciamento instabile sotto perturbazioni.
• Efficienza Computazionale: L'implementazione CBF-QP di TRUST-UP ha dimostrato una migliore efficienza computazionale online, riducendo il tempo medio di risoluzione del QP di circa il 14,1% rispetto a una tecnica standard CBF-QP vincolata all'input.

Significato e Rivendicazioni

Il documento afferma che TRUST-UP affronta la carenza fondamentale nel dispiegamento di sistemi autonomi in ambienti umani: il disconnessione tra sicurezza tecnica e fiducia percepita. Convertendo le zone di sicurezza psicologica (raggi di fiducia) in vincoli deterministici e rigidi all'interno di un filtro di sicurezza trasparente, il framework colma il divario tra le prestazioni dell'IA e gli standard di certificazione aeronautica.

Gli autori sottolineano che il loro lavoro contribuisce verso framework di IA certificabili e spiegabili per l'aviazione a bassa quota. A differenza dei metodi che si basano sulla modellazione della ricompensa (penalità morbide), TRUST-UP fornisce garanzie deterministiche. La strategia di commutazione trasparente assicura che le decisioni di sicurezza siano interpretabili, soddisfacendo i requisiti per la certificazione di aeronavigabilità nelle operazioni aeree critiche per la sicurezza. Il documento conclude che questo approccio è un passo necessario verso sistemi di volo autonomi affidabili per la futura mobilità aerea urbana, particolarmente dove la presenza umana e il comfort psicologico sono fattori critici.