Riepilogo Tecnico: Generazione Proattiva di Costi Basata su Modello per l'Apprendimento Offline di Politiche Sicure con Dati di Violazione Limitati

1. Enunciato del Problema

L'Apprendimento per Rinforzo (RL) Sicuro mira a derivare politiche che soddisfino vincoli di sicurezza predefiniti, aspetto critico per applicazioni come la guida autonoma e la robotica. Sebbene l'RL sicuro offline offra un paradigma per apprendere da dataset pre-raccolti senza esplorazione online rischiosa, i metodi esistenti affrontano una limitazione fondamentale in scenari ad alto rischio: la scarsità o l'assenza totale di campioni non sicuri.

In molti processi pratici di raccolta dati (ad esempio, manipolazione robotica), interventi esterni spesso impediscono agli agenti di raggiungere stati non sicuri, risultando in dataset composti quasi interamente da traiettorie sicure. I metodi convenzionali di RL sicuro offline, che si basano sull'apprendimento di funzioni di valore dei costi da abbondanti campioni non sicuri per definire i confini di sicurezza, falliscono in questo contesto. Tendono a trattare tutti i dati osservati come uniformemente sicuri, trascurando gli stati "sicuri ma non fattibili" — stati che attualmente soddisfano i vincoli ma che inevitabilmente li violano entro pochi passi a causa della dinamica (ad esempio, l'inerzia). Questa negligenza porta a fallimenti nel dispiegamento delle politiche, dove gli agenti scivolano in regioni non sicure.

La sfida centrale è: Come possiamo apprendere una politica sicura offline quando i campioni non sicuri sono scarsi o completamente assenti?

2. Metodologia: PROCO

Gli autori propongono PROCO (Generazione Proattiva di Costi Basata su Modello), un framework di RL sicuro offline basato su modello progettato per identificare stati non fattibili e apprendere politiche sicure da dataset con pochi o nessun campione non sicuro. La metodologia integra tre componenti chiave:

A. Generazione Conservativa di Funzioni di Costo Assistita da LLM

Per colmare il divario causato dalla mancanza di dati non sicuri, PROCO sfrutta i Large Language Models (LLM) per incorporare conoscenze in linguaggio naturale nel processo di apprendimento.

• Input: L'LLM riceve informazioni sul compito ($L_{task}$), una descrizione in linguaggio naturale dei vincoli di sicurezza ($L_{cost}$) e istruzioni esplicite ($L_{inst}$) per generare una funzione di costo che sia più conservativa della definizione rigorosa del vincolo.
• Output: Una funzione Python $\bar{c}$ che etichetta gli stati come non sicuri (1) o sicuri (0).
• Validazione e Ciclo di Feedback: Poiché gli output degli LLM possono essere inaffidabili, PROCO impiega un meccanismo di validazione:
  1. Controllo di Sicurezza: La funzione di costo generata viene validata contro un piccolo insieme di campioni non sicuri noti ($D_{unsafe}$, $\le 100$ campioni). Deve raggiungere il 100% di accuratezza su questi per garantire che nessuno stato non sicuro noto venga ignorato.
  2. Controllo di Conservatività: La funzione viene valutata sul dataset sicuro ($D$). Viene misurata la proporzione di campioni sicuri etichettati come non sicuri. Se questa proporzione rientra in un intervallo controllato da iperparametri $[p_{min}, p_{max}]$, la funzione viene accettata.
  3. Raffinamento: Se la funzione è troppo conservativa o non abbastanza conservativa, viene generata una descrizione di feedback ($L_{feed}$) e reimmessa nell'LLM per raffinare la funzione di costo.

B. Identificazione della Fattibilità Basata su Modello di Dinamica

PROCO apprende un modello di dinamica ensemble $\hat{T}$ dai dati offline. Per identificare stati non fattibili senza violazioni osservate, esegue rollout di modello ramificati:

• Partendo dai campioni dei dati offline, il modello simula traiettorie future.
• Viene introdotto un operatore di Bellman fattibile conservativo ($\bar{B}^*$). A differenza degli operatori standard, $\bar{B}^*$ considera la transizione nel caso peggiore all'interno dell'insieme di modelli di dinamica per garantire robustezza contro l'incertezza del modello.
• Questo processo genera proattivamente campioni non sicuri controfattuali diversificati. Etichettando come non sicuri gli stati vicini agli stati non sicuri reali (tramite la funzione di costo conservativa), il metodo accorcia efficacemente i passi di transizione dagli stati non fattibili a quelli non sicuri, riducendo l'impatto degli errori del modello sull'identificazione della fattibilità.

C. Pipeline di Apprendimento della Politica

1. Aumento dei Dati: Il modello di dinamica appreso $\hat{T}$ e la funzione di costo conservativa $\bar{c}$ vengono utilizzati per eseguire rollout di modello. Le traiettorie contenenti violazioni di sicurezza (secondo $\bar{c}$) vengono aggiunte a un dataset sintetico $D_{\hat{T}}$.
2. Rietichettatura: Il dataset offline $D$ viene rietichettato con costi di violazione dei vincoli utilizzando $\bar{c}$.
3. Aggiornamento della Funzione di Valore: L'algoritmo aggiorna la funzione di valore della violazione del vincolo ($V_h$) e la funzione valore-azione ($Q_h$) utilizzando il dataset combinato ($D \cup D_{\hat{T}}$). Impiega la regressione expectile inversa per approssimare l'operatore di minimizzazione nell'aggiornamento di Bellman fattibile.
4. Ottimizzazione della Politica: La politica viene aggiornata utilizzando il dataset offline originale $D$, guidata dai critici di costo appresi dai dati aumentati.

3. Contributi Chiave

1. Formulazione del Problema: Il documento identifica e formalizza la sfida di apprendere politiche sicure da dataset "solo-sicuri" in cui gli stati non fattibili sono indistinguibili da quelli sicuri senza campioni non sicuri.
2. Integrazione Conoscenza-Dati: Introduce un nuovo framework (PROCO) che integra specifiche di sicurezza in linguaggio naturale (tramite LLM) con dati empirici offline per generare funzioni di costo conservatrici, permettendo la stima del rischio senza violazioni osservate.
3. Identificazione Proattiva della Fattibilità: Combinando un modello di dinamica appreso con una funzione di costo conservativa, PROCO sintetizza campioni non sicuri controfattuali per identificare stati non fattibili, affrontando il punto cieco "sicuro ma non fattibile" dei metodi esistenti.
4. Garanzie Teoriche: Gli autori forniscono un'analisi teorica (Teorema 4.8) che dimostra che l'integrazione di PROCO con qualsiasi algoritmo di base di RL sicuro offline non degrada le prestazioni di sicurezza a causa della sottostima dei valori di sicurezza, anche senza assunzioni sulla magnitudine dell'errore del modello.

4. Risultati Sperimentali

Gli autori hanno valutato PROCO su 17 compiti del benchmark Safety-Gymnasium (compiti di Navigazione e Velocità) utilizzando il dataset OSRL, costruendo specificamente dataset "solo-sicuri" rimuovendo tutti i dati non sicuri.

• Prestazioni: PROCO ha superato significativamente gli algoritmi originali di RL sicuro offline (FISOR, LSPC, CAPS) e le basi di clonazione comportamentale (BC, CDT) su dataset solo-sicuri.
  • Ha raggiunto un miglioramento superiore al 400% nelle prestazioni di sicurezza su vari algoritmi, con alcuni compiti che mostrano miglioramenti superiori al 1000%.
  • Nel caso di studio "Ant Circle", PROCO ha identificato con successo stati non fattibili vicino al confine di sicurezza e ha raggiunto zero violazioni di sicurezza, mentre le basi non sono riuscite a distinguere stati fattibili da non fattibili e hanno subito violazioni significative.
• Robustezza: Il metodo è rimasto efficace anche quando la quantità di dati non sicuri disponibili era estremamente limitata (ad esempio, il 10% del dataset non sicuro originale).
• Studi di Ablazione:
  • La rimozione del modello di dinamica o della generazione della funzione di costo conservativa ha portato a cali significativi nelle prestazioni di sicurezza.
  • Il meccanismo di feedback per la funzione di costo generata dall'LLM è stato cruciale per raggiungere il livello desiderato di conservatività.
  • Il metodo ha mostrato stabilità su diversi LLM (GPT-o4-mini, Gemini 2.5 Pro), sebbene le prestazioni variassero leggermente.

5. Significato e Affermazioni

Il documento afferma che PROCO affronta un collo di bottiglia critico nel dispiegare RL sicuro in ambienti reali ad alto rischio, dove la raccolta di dati non sicuri è non fattibile o pericolosa. Sfruttando gli LLM per tradurre vincoli di sicurezza in linguaggio naturale in funzioni di costo conservatrici e utilizzando rollout di modello per esplorare proattivamente potenziali fallimenti, PROCO permette l'apprendimento di politiche sicure da dataset che altrimenti sarebbero insufficienti per il processo decisionale critico per la sicurezza.

Gli autori sottolineano che il loro approccio non richiede campioni non sicuri per apprendere una politica sicura, rendendolo adatto a scenari in cui i dati sono raccolti tramite teleoperazione umana o intervento esterno che previene collisioni. Concludono che, sebbene il metodo faccia attualmente affidamento su osservazioni basate sullo stato e su LLM, rappresenta un passo significativo verso un RL sicuro offline guidato dalla conoscenza. Si suggerisce un lavoro futuro per estendere questo approccio a compiti visivi utilizzando Modelli Linguaggio-Visione (VLM).