Curvature-Guided Safety Filters: State-Dependent Hessian-Weighted Projection with Provable Performance Bounds

1. Il Problema

Nel campo del controllo basato sull'apprendimento (es. Reinforcement Learning - RL), garantire la sicurezza è una sfida critica. I filtri di sicurezza (Safety Filters - SF) sono meccanismi leggeri che modificano online i comandi di controllo per garantire che il sistema rimanga all'interno di un insieme sicuro, minimizzando al contempo le alterazioni rispetto al controllore nominale.

Tuttavia, gli approcci esistenti presentano limiti significativi:

• Proiezione Euclidea: I metodi standard proiettano l'azione nominale sull'insieme sicuro minimizzando la distanza euclidea. Questo approccio ignora la struttura a lungo termine della funzione di valore (performance), portando a soluzioni conservatrici e subottimali vicino ai confini dello spazio sicuro.
• Ottimizzazione Diretta: Ottimizzare direttamente la funzione valore d'azione ($Q$) all'interno dell'insieme sicuro garantisce la performance ottimale, ma il problema risultante è spesso non convesso e computazionalmente proibitivo per sistemi ad alta dimensionalità in tempo reale.
• Trade-off: Esiste una difficoltà nel progettare un filtro che offra contemporaneamente garanzie di sicurezza rigorose, buone prestazioni a lungo termine ed efficienza computazionale in tempo reale.

2. Metodologia Proposta

Gli autori propongono un Filtro di Sicurezza Guidato dalla Curvatura, che sostituisce la metrica euclidea con una proiezione pesata dipendente dallo stato, basata sull'informazione di curvatura della funzione valore d'azione.

A. Proiezione Pesata dall'Hessiano

Invece di minimizzare la distanza euclidea $\|u - u_{ref}\|^2$, il filtro minimizza una distanza pesata:
$$u_W = \arg \min_{u \in U(x)} \|u - u_{ref}\|^2_{W(x)}$$
dove $U(x)$ è l'insieme delle azioni ammissibili (sicure) e la matrice di pesatura $W(x)$ è definita come:
$$W(x) = -\nabla^2_u Q(x, u_{ref})$$
Questa scelta utilizza l'Hessiano della funzione valore d'azione $Q$ valutato all'azione di riferimento $u_{ref}$.

• Logica: Poiché $Q$ rappresenta la performance a lungo termine, la sua curvatura indica la sensibilità del valore rispetto alle variazioni dell'azione. Proiettare lungo le direzioni con alta curvatura (alta sensibilità) penalizza maggiormente le deviazioni che degraderebbero significativamente la performance, preservando quelle meno critiche.
• Convessità: Se $Q$ è concava (tipico in RL), l'Hessiano è negativo definito, rendendo $W(x)$ positiva definita. Questo mantiene il problema di proiezione convesso, garantendo efficienza computazionale simile alla proiezione euclidea.

B. Garanzie Teoriche

Il paper stabilisce due risultati fondamentali sotto ipotesi di regolarità (Lipschitzianità dell'Hessiano e definita negativa locale):

1. Limite di Performance: Esiste un limite uniforme sul gap di performance tra l'azione ottenuta dalla proiezione pesata e l'azione sicura ottimale ($u^*$).
2. Condizione di Superiorità: Viene derivata una condizione sufficiente in cui la proiezione pesata dall'Hessiano supera la proiezione euclidea. Questo avviene quando la curvatura locale è forte (grande $\mu$) rispetto alle variazioni di ordine superiore (piccolo $L_2$) e quando il vincolo di sicurezza impone una deviazione significativa.

C. Costruzione Data-Driven (Per Controller "Black-Box")

Poiché la funzione $Q$ è spesso sconosciuta o approssimata, gli autori propongono un metodo per costruire $W(x)$ dai dati:

• Approssimazione Lineare Strutturata: La funzione $Q$ è approssimata con una mappa di caratteristiche che include esplicitamente un blocco quadratico strutturato ($\psi_s(x) \otimes \text{vech}(uu^T)$) per garantire che l'Hessiano sia analiticamente estraibile.
• Regolarizzazione: Durante l'addestramento (Fitted Q-Iteration), vengono introdotti termini di regolarizzazione specifici:
  • $R_\mu(\theta)$: Promuove la dominanza dei termini quadratici e garantisce che l'Hessiano sia definita negativa con un limite inferiore spettrale uniforme ($\mu$).
  • $R_{L2}(\theta)$: Controlla le derivate di ordine superiore dei termini non lineari per mantenere la costante di Lipschitz dell'Hessiano ($L_2$) piccola.
• Questo processo è eseguito offline. In fase online, il filtro risolve solo un problema di proiezione convessa.

3. Risultati Sperimentali

Il metodo è stato validato su un sistema di quadricottero per un compito di inseguimento ed evitamento ostacoli.

• Sicurezza: Sia la proiezione euclidea che quella pesata hanno garantito l'evitamento degli ostacoli, mantenendo l'invarianza dell'insieme sicuro.
• Performance: La proiezione pesata ha mostrato un miglioramento nel tracking (traiettoria più vicina al riferimento) e una riduzione della degradazione del valore ($Q$) rispetto alla proiezione euclidea, specialmente vicino agli ostacoli.
• Efficienza Computazionale: Il tempo di calcolo per passo è stato comparabile a quello della proiezione euclidea, rendendo il metodo adatto per operazioni in tempo reale.

4. Contributi Chiave

1. Nuovo Filtro di Sicurezza: Introduzione di un filtro che utilizza la curvatura della funzione valore per guidare la proiezione, migliorando le prestazioni a lungo termine senza sacrificare la convessità.
2. Garanzie di Performance: Dimostrazione teorica di limiti di sub-ottimalità e condizioni sufficienti per la superiorità rispetto ai metodi euclidei.
3. Metodo Data-Driven: Sviluppo di un algoritmo di apprendimento strutturato che permette di stimare la matrice di pesatura $W(x)$ anche quando il modello dinamico o la funzione $Q$ non sono noti a priori, garantendo che le condizioni teoriche siano soddisfatte tramite regolarizzazione.

5. Significato e Impatto

Questo lavoro colma un divario importante tra la sicurezza rigorosa e l'ottimizzazione delle prestazioni nel controllo apprendibile.

• Superamento del Conservatorismo: Risolve il problema della proiezione euclidea che tende a essere eccessivamente conservativa, ignorando la struttura del valore a lungo termine.
• Praticità: Dimostra che è possibile incorporare informazioni di "secondo ordine" (curvatura) in un filtro di sicurezza senza incorrere nei costi computazionali dell'ottimizzazione non convessa globale.
• Applicabilità: La capacità di funzionare con controller "black-box" e di essere implementato in tempo reale lo rende una soluzione promettente per applicazioni critiche come la guida autonoma, la robotica industriale e i sistemi IoT, dove la sicurezza e l'efficienza devono coesistere.

In sintesi, il paper propone un approccio matematicamente fondato che trasforma il filtro di sicurezza da un semplice meccanismo di "blocco" a un ottimizzatore di performance consapevole della curvatura, garantendo al contempo la sicurezza del sistema.