Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning

1. Enunciato del Problema

Gli agenti di Reinforcement Learning (RL) offline, addestrati su dataset statici (ad es. D4RL, DSRL), spesso falliscono quando vengono dispiegati in ambienti reali a causa di spostamenti della distribuzione. Anche se un agente performa bene sui dati di addestramento, lievi differenze nelle dinamiche o nelle transizioni di stato possono portare a comportamenti non sicuri (ad es. collisioni, superamento delle soglie di costo).

Le soluzioni esistenti affrontano limitazioni significative:

• Adattamento basato su credenze: Richiede un riaddestramento da zero per modellare l'incertezza.
• RL vincolato/conservativo: Spesso sacrifica le prestazioni (ritorno) o richiede un affinamento con segnali di costo aggiuntivi.
• Adattamento al momento del test: La maggior parte dei metodi attuali non può adattare un agente offline preaddestrato ai vincoli di sicurezza al momento del dispiegamento senza aggiornamenti dei parametri o supervisione umana.

La domanda fondamentale affrontata è: Un agente RL offline può essere auto-allineato per la sicurezza al momento del test utilizzando solo la sua distribuzione preaddestrata, senza riaddestramento?

2. Metodologia: SAS (Self-Alignment for Safety)

Gli autori propongono SAS, un framework basato su transformer che abilita l'adattamento al momento del test attraverso un auto-allineamento guidato da Lyapunov. Il metodo opera senza aggiornare i parametri del modello, affidandosi invece all'apprendimento in contesto e all'inferenza bayesiana.

Componenti Principali

1. Modello di Densità Lyapunov (LDM) per RL Offline:

   • Gli autori riformulano la stabilità di Lyapunov utilizzando misure di occupazione derivate dai dati offline.
   • Definiscono una funzione di energia $E(s, a) = -\log \hat{\rho}_\pi(s, a)$, dove $\hat{\rho}_\pi$ è la misura di occupazione basata sul modello stimata da traiettorie immaginate.
   • Viene costruita una surrogata di Lyapunov $G_{SAS}(s, a)$ per garantire che l'agente rimanga all'interno di un insieme invariante per il controllo ($R_{SAS}^G$). Questo insieme garantisce che le traiettorie non entrino in regioni a bassa densità (non sicure/fuori distribuzione).
   • $G_{SAS}$ è definita come l'energia minima incontrata lungo qualsiasi traiettoria, assicurando che la politica eviti di collassare in regioni non sicure a bassa probabilità.

2. Prospettiva di Inferenza Probabilistica:

   • Il paper interpreta l'agente RL basato su transformer come un sistema di RL Gerarchico in cui la politica di alto livello seleziona abilità latenti ($z_t$) e la politica di basso livello esegue le azioni.
   • L'apprendimento in contesto è inquadrato come inferenza bayesiana su queste abilità latenti. Fornendo un prompt (una sequenza di coppie stato-azione), il modello inferisce la politica di alto livello più probabile coerente con quel prompt.
   • Le condizioni di sicurezza sono codificate come indicatori osservabili ($U_t$ e $V_t$):
     • $U_t$: Indica se la coppia stato-azione corrente rientra nella regione di densità sicura ($G_{SAS} > 0$).
     • $V_t$: Indica se la funzione di Lyapunov è non crescente ($G_{SAS}(s_t, a_t) \geq G_{SAS}(s_{t+1}, a_{t+1})$).

3. L'Algoritmo SAS (Algoritmo 1):
   Il processo coinvolge due cicli di "immaginazione" e selezione:

   • Passo 1 (Condizione $U_t$): Da uno stato iniziale fisso, il transformer immagina $N$ traiettorie. Seleziona il segmento di traiettoria che minimizza l'energia massima (rischio nel caso peggiore) per formare un prompt iniziale.
   • Passo 2 (Condizione $V_t$): Utilizzando il prompt iniziale, il transformer immagina $M$ nuove traiettorie. Seleziona la traiettoria che massimizza la discesa cumulativa di Lyapunov (somma degli indicatori $V_t$).
   • Passo 3 (Dispiegamento): Il segmento sicuro selezionato viene utilizzato come prompt in contesto ($p_{1:K}$) per il transformer. L'agente condiziona quindi le sue azioni su questo prompt e sullo stato corrente, guidando efficacemente la politica preaddestrata verso un comportamento sicuro senza aggiornamenti del gradiente.

3. Contributi Chiave

1. Nuova Formulazione: Una definizione novella di stabilità di Lyapunov per il RL offline basata su misure di occupazione, che permette di imporre vincoli di sicurezza attraverso la densità dei dati piuttosto che funzioni di costo esplicite.
2. Quadro Teorico: Un'interpretazione di RL Gerarchico del RL basato su transformer tramite inferenza bayesiana, in cui il prompting corrisponde all'inferenza di abilità latenti di alto livello. Ciò fornisce una base teorica sul perché l'apprendimento in contesto funzioni per la sicurezza.
3. Metodo di Adattamento al Momento del Test (SAS): Un algoritmo pratico che genera prompt guidati da Lyapunov per riallineare il comportamento dell'agente. Garantisce la sicurezza limitando l'agente a insiemi invarianti per il controllo derivati dai dati offline.
4. Garanzia Probabilistica di Sicurezza: Gli autori forniscono un limite formale (Teorema 4) che mostra come la probabilità che l'agente esca dall'insieme sicuro diminuisca esponenzialmente con il numero di roll-out immaginati ($N$) e tentativi di reimmaginazione ($M$).

4. Risultati Sperimentali

Il metodo è stato valutato sui benchmark Safety Gymnasium, MuJoCo e Bullet-Safety-Gym.

• Prestazioni vs Sicurezza: SAS ha ridotto costantemente i costi e i tassi di fallimento (fino a un miglioramento di 2 volte) mantenendo o migliorando il ritorno (ricompensa) rispetto a baseline come Decision Transformer (DT), Constrained Decision Transformer (CDT) e varie baseline di RL sicuro (BC-Safe, COptiDICE, ecc.).
• Generalizzazione: SAS ha migliorato la sicurezza anche per backbones (DT) che non erano stati addestrati con segnali di costo espliciti, dimostrando che la guida di Lyapunov basata sulla densità agisce come un proxy di sicurezza implicito.
• Studi di Ablazione:
  • Discesa di Lyapunov ($V_t$): Rimuovere la condizione di discesa ha aumentato significativamente i costi, dimostrandone la necessità per la stabilità a lungo termine.
  • Selezione del Prompt: Il prompting casuale o la selezione basata sull'energia massima hanno performato peggio della selezione guidata da Lyapunov, confermando l'efficacia dei criteri di selezione specifici.
  • Robustezza del Modello: Il metodo ha mostrato robustezza attraverso diverse lunghezze di prompt, numeri di traiettorie immaginate e dimensioni dei modelli backbone (da DT a GPT-2).

5. Significato e Impatto

• Collegamento tra LLM e RL: Il paper adatta con successo il concetto di auto-allineamento (popolare nei Large Language Models) al dominio del RL Sicuro, permettendo agli agenti di "ragionare" sulla sicurezza utilizzando i propri modelli interni del mondo.
• Fattibilità del Dispiegamento: Eliminando la necessità di riaddestramento o affinamento, SAS offre una soluzione scalabile per il dispiegamento di agenti RL offline in ambienti dinamici e incerti dove la sicurezza è critica.
• Rigor Teorico: Va oltre i controlli euristici di sicurezza fornendo una garanzia probabilistica che l'agente rimanga all'interno di un insieme invariante per il controllo, fondato sulla teoria della stabilità di Lyapunov e sull'inferenza bayesiana.
• Efficienza: Sebbene richieda calcolo al momento dell'inferenza per l'immaginazione (roll-out), evita il costo computazionale del riaddestramento completo, rendendolo adatto a scenari in cui i dati sono statici ma l'ambiente non lo è.

In sintesi, SAS rappresenta un passo significativo avanti nel rendere gli agenti RL offline robusti agli spostamenti della distribuzione sfruttando l'immaginazione guidata da Lyapunov per auto-correggere il comportamento al momento del test attraverso l'apprendimento in contesto.