Riepilogo Tecnico: Ottimizzazione della Politica Vincolata tramite Proiezione nello Spazio dei Pesi Basata su Campionamento (SCPO)

1. Enunciato del Problema

Il documento affronta la sfida dell'apprendimento critico per la sicurezza, in particolare la necessità di migliorare le prestazioni dei controllori basati sull'apprendimento senza violare i vincoli di sicurezza o uscire da un regime operativo sicuro noto. Gli autori si concentrano su un contesto in cui:

• I Vincoli di Sicurezza sono Basati sul Rollout: La sicurezza è definita da metriche a livello di traiettoria (ad esempio, vincoli sullo stato, margini di stabilità) che possono essere valutate tramite simulazione (rollout) ma non sono analiticamente differenziabili rispetto ai parametri della politica.
• Vincoli Black-Box: Le funzioni di vincolo $g(\theta)$ mancano di Jacobiani in forma chiusa, rendendo inapplicabili i metodi standard di ottimizzazione vincolata (come quelli che richiedono gradienti espliciti dei vincoli).
• Obiettivo: Eseguire un'ottimizzazione della politica vincolata che garantisca la fattibilità ricorsiva (mantenere la sicurezza ad ogni passo di addestramento) e il miglioramento monotono dell'obiettivo del compito, partendo da un'inizializzazione sicura certificata.

2. Metodologia: SCPO

Gli autori propongono SCPO (Ottimizzazione della Politica Vincolata Basata su Campionamento), un metodo che impone la sicurezza direttamente nello spazio dei pesi della rete neurale della politica.

2.1 Architettura e Inizializzazione

Ispirandosi all'Adattamento a Basso Rango (LoRA), la politica $\pi_\theta$ è strutturata come una combinazione di un controllore di base certificato ($\pi_{safe}$) e una rete neurale residua ($\phi_\theta$):
$$\pi_\theta(x) = \begin{cases} \pi_{safe}(x) + \phi_\theta(x) & x \notin X_f \\ \pi_{safe}(x) & x \in X_f \end{cases}$$

• $\pi_{safe}$: Un controllore non parametrico e stabilizzante (ad esempio, LQR con clipping) che garantisce sicurezza e stabilità all'interno di una regione $\Omega$.
• $\phi_\theta$: Una rete neurale inizializzata per produrre un output nullo ($\phi_{\theta_0} \equiv 0$). Ciò garantisce che la politica iniziale sia identica alla base sicura.
• Obiettivo di Apprendimento: Il processo di addestramento è visto come un "adattamento sicuro" nel vicinato di $\pi_{safe}$, dove $\phi_\theta$ impara a migliorare le prestazioni mentre il meccanismo di proiezione garantisce che la politica combinata rimanga stabilizzante.

2.2 Costruzione della Regione Sicura Locale

Poiché $g(\theta)$ non è differenziabile, SCPO costruisce un insieme sicuro locale nello spazio dei pesi utilizzando:

1. Valutazioni Punto per Punto: Le metriche di sicurezza sono valutate su un insieme finito di aggiornamenti candidati dei pesi (rollout).
2. Limiti di Liscezza: Il metodo assume la continuità di Lipschitz locale dei vincoli di sicurezza. Utilizza un limite superiore quadratico per approssimare la superficie del vincolo:
   $$g_i(\theta_t + \Delta\theta) \leq g_i(\theta_t) + \nabla g_i(\theta_t)^\top \Delta\theta + \frac{L_i}{2}\|\Delta\theta\|^2$$
   dove $L_i$ sono costanti di curvatura stimate dagli aggiornamenti campionati.

2.3 Proiezione Basata su Campionamento

Invece di risolvere direttamente un problema di ottimizzazione vincolata ad alta dimensionalità, SCPO vincola l'aggiornamento allo span degli aggiornamenti candidati campionati ($D$).

• Banca dei Candidati: Un buffer $D$ memorizza gli aggiornamenti recenti e le loro corrispondenti valutazioni di sicurezza $G$.
• Proiezione a Bassa Dimensionalità: L'aggiornamento è parametrizzato come $\Delta\theta = Dc$, dove $c \in \mathbb{R}^m$ è un vettore di coefficienti.
• Ottimizzazione Convessa: Il problema si riduce a un Programma a Cono di Secondo Ordine (SOCP) (o Programma Quadratico con Vincoli Quadratici) nello spazio a bassa dimensionalità $c$:
  $$\min_c \|c - e_m\|_S^2 \quad \text{s.t.} \quad (1 - \mathbf{1}^\top c)g(\theta_t) + Gc + \frac{1}{2}(c^\top Sc + |c|^\top \text{diag}(S))L \leq 0$$
  Questo proietta l'aggiornamento del gradiente grezzo su un insieme sicuro locale conservativo, garantendo che i nuovi pesi soddisfino i vincoli di sicurezza.

2.4 Garanzie Teoriche

• Sicurezza per Induzione: Partendo da un'inizializzazione sicura ($g(\theta_0) \leq 0$), la proiezione garantisce $g(\theta_{t+1}) \leq 0$ per tutti i passi successivi, purché la proiezione sia fattibile.
• Stabilità: Per sistemi dinamici lineari, il metodo preserva il margine di Lyapunov, garantendo che il sistema in anello chiuso rimanga asintoticamente stabile localmente e che la regione sicura $\Omega$ sia invariante in avanti.
• Miglioramento Monotono: Utilizzando una ricerca lineare di backtracking in stile Armijo, l'algoritmo garantisce una diminuzione della perdita del compito $L(\theta)$ senza violare i vincoli.

3. Contributi Chiave

1. Proiezione nello Spazio dei Pesi: Un metodo innovativo basato su campionamento che esegue la proiezione di sicurezza direttamente nello spazio dei parametri senza richiedere gradienti delle funzioni di vincolo.
2. Meccanismo di Sicurezza per Induzione: Un framework di apprendimento che garantisce la fattibilità ricorsiva e il miglioramento monotono dell'obiettivo, partendo da qualsiasi inizializzazione sicura.
3. Analisi Teorica del Controllo: Una prova formale che SCPO mantiene la stabilità in anello chiuso per sistemi lineari preservando i margini di Lyapunov.
4. Validazione Empirica: Dimostrazione di robustezza contro supervisioni dannose e esplorazione sicura in compiti di regressione vincolata e apprendimento per imitazione.

4. Risultati Sperimentali

Gli autori valutano SCPO su due compiti:

4.1 Regressione Vincolata

• Configurazione: Un problema di regressione 1D in cui la funzione target viola un vincolo rigido ($|y| \leq 1.4$) in certe regioni.
• Risultato: SCPO adatta con successo la funzione target nelle regioni sicure, saturando dolcemente al confine del vincolo. A differenza di una base con vincoli soft (che richiede vincoli differenziabili e sintonizzazione degli iperparametri), SCPO impone rigorosamente il vincolo rigido senza violazioni.

4.2 Apprendimento per Imitazione del Doppio Integratore

• Configurazione: Un compito di controllo in cui una rete neurale tenta di imitare un "esperto malizioso" (una politica aggressiva che destabilizza il sistema) partendo da una base sicura LQR.
• Risultato:
  • Rifiuto degli Aggiornamenti Dannosi: SCPO rifiuta gli aggiornamenti che porterebbero all'instabilità, impedendo alla politica di imitare il comportamento destabilizzante dell'esperto.
  • Preservazione della Stabilità: La politica appresa mantiene la regione di stabilizzazione del controllore sicuro originale, mentre l'esperto malizioso non riesce a stabilizzare il sistema su una grande porzione dello spazio degli stati.
  • Prestazioni: La politica ottiene un miglioramento significativo nell'obiettivo di imitazione rimanendo all'interno del regime operativo sicuro.

5. Significato e Limitazioni

Significato:
Il documento afferma che SCPO fornisce un approccio pratico e guidato dai dati all'apprendimento sicuro che non si basa su costi di vincolo espliciti o filtri di sicurezza differenziabili. Trattando un controllore di backup certificato come base fissa e proiettando gli aggiornamenti nello spazio dei pesi, consente un adattamento sicuro oltre le basi conservative. Ciò è particolarmente rilevante per domini come la guida autonoma e la robotica, dove è difficile derivare garanzie formali ma la sicurezza è non negoziabile.

Limitazioni:
Gli autori riconoscono che il metodo è conservativo. Il passo di proiezione non genera nuove direzioni per il miglioramento; seleziona solo la migliore direzione sicura tra i candidati campionati esistenti. Gli autori notano che il lavoro futuro mira a integrare altre tecniche per modificare l'obiettivo al fine di migliorare l'esplorazione sicura, affrontando questa conservatività.

Conclusione:
SCPO offre un framework rigoroso per l'ottimizzazione della politica vincolata che colma il divario tra apprendimento ad alte prestazioni e requisiti di sicurezza rigorosi, garantendo che i controllori basati sull'apprendimento rimangano sicuri e stabili durante tutto il processo di addestramento.