🤖 machine learning

Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning

Questo articolo introduce il Noisy-Space Policy Gradient (NSPG), un nuovo framework che consente un apprendimento per rinforzo offline efficace con policy di diffusione derivando un obiettivo regolarizzato KL sui latenti di diffusione che ottimizza utilizzando stime del valore nello spazio delle azioni pulite senza richiedere la backpropagation attraverso il processo di denoising.

Autori originali: Mahmoud Selim, Cristina Cipriani, Karl H. Johansson

Pubblicato 2026-09-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mahmoud Selim, Cristina Cipriani, Karl H. Johansson

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'intelligenza artificiale, esiste una sfida persistente nota come apprendimento per rinforzo offline. Immaginate uno studente che cerca di imparare a giocare a un videogioco complesso, ma gli è proibito toccare il controller. Può solo guardare ore di filmati registrati di altri giocatori, alcuni dei quali erano esperti e altri che commettevano frequenti errori. L'obiettivo è imparare una strategia che vinca più spesso delle persone nei video, senza mai rischiare una nuova mossa che possa portare a un incidente. Questo è difficile perché l'IA deve imparare da un insieme fisso di dati senza la rete di sicurezza del tentativi ed errori. Se l'IA ipotizza una mossa che non è mai stata vista nelle registrazioni, potrebbe fallire catastroficamente, poiché non ha modo di sapere se quella mossa è effettivamente buona o solo un'allucinazione pericolosa.

Per risolvere questo problema, i ricercatori si sono rivolti a un tipo di modello di IA chiamato politica di diffusione (diffusion policy). Questi modelli sono eccezionali nel comprendere schemi complessi, come i molti modi diversi in cui una mano umana potrebbe impugnare uno strumento o un robot potrebbe navigare in un labirinto. Funzionano partendo da un tentativo caotico e rumoroso e raffinandolo, passo dopo passo, finché non diventa un'azione chiara e utilizzabile. Tuttavia, sorge un problema fondamentale quando si cerca di insegnare a questi modelli come vincere: il modello prende le sue decisioni in uno spazio nascosto e rumoroso, ma i premi che riceve si basano sulle azioni finali, pulite, che compie effettivamente. È come cercare di valutare il saggio di uno studente guardando le sue bozze disordinate e con cancellature anziché la pagina finale rifinita. Il ciclo di feedback è interrotto e l'IA fatica a imparare quali dei suoi passaggi nascosti abbiano portato al successo.

Un team di ricercatori ha ora colmato questa lacuna con un nuovo metodo chiamato Noisy-Space Policy Gradient. Inveve di cercare di forzare i passaggi rumorosi e nascosti a corrispondere direttamente ai premi finali, hanno creato un nuovo modo per assegnare valore a quei passaggi nascosti. Hanno capito che un singolo tentativo rumoroso non corrisponde a un'unica azione finale, ma piuttosto a un'intera nuvola di possibili azioni che potrebbero emergere da esso. Calcolando la ricompensa media di tutte le possibili azioni pulite che potrebbero derivare da un particolare tentativo rumoroso, hanno creato un punteggio equo e accurato per quel tentativo. Questo punteggio dice all'IA esattamente quanto sia buono un particolare passaggio nascosto, basandosi sui risultati potenziali che può produrre, piuttosto che forzarla a impegnarsi in un'unica risposta finale, potenzialmente errata.

I ricercatori hanno testato questo approccio su una vasta gamma di compiti, che vanno da semplici movimenti robotici a complessi enigmi visivi. In questi esperimenti, il nuovo metodo ha costantemente superato le tecniche precedenti, specialmente in scenari difficili dove i dati erano scarsi o i compiti richiedevano lunghe catene di azioni precise. Ad esempio, in compiti che comportavano la navigazione in grandi labirinti o la manipolazione di oggetti delicati, il nuovo metodo ha ottenuto tassi di successo significativamente più alti rispetto ai modelli precedenti. Si è dimostrato particolarmente efficace in situazioni in cui l'IA doveva scegliere tra un'azione comune e sicura e un'azione rara ad alto rendimento, una scelta che spesso confondeva i modelli precedenti. Guardando all'intera gamma di possibilità invece che a un singolo percorso, l'IA ha imparato a mirare ai risultati ad alto rendimento in modo più affidabile.

Uno degli aspetti più significativi di questo lavoro è come gestisce la relazione tra il processo di pensiero interno dell'IA e il mondo reale. I metodi precedenti cercavano spesso di valutare direttamente i passaggi nascosti dell'IA, il che portava a confusione e instabilità. Altri hanno cercato di semplificare il processo di pensiero dell'IA per renderlo più facile da valutare, ma ciò ha spesso rimosso proprio la complessità che rendeva l'IA potente. Il nuovo approccio evita questi trabocchetti mantenendo la valutazione strettamente nel mondo delle azioni reali, pur permettendo all'IA di pensare nel suo modo complesso e rumoroso. Agisce come un traduttore, assicurando che il feedback ricevuto dall'IA sia sempre ancorato alla realtà, anche se l'IA sta imparando in uno spazio nascosto.

I risultati suggeriscono che questo metodo fornisce una base solida per l'addestramento di sistemi di IA avanzati su dati storici. I ricercatori hanno scoperto che il metodo rimane stabile ed efficiente, richiedendo solo un piccolo numero di calcoli per stimare il valore di ogni passaggio. Questa efficienza è cruciale, poiché significa che il metodo può essere applicato a problemi grandi e complessi senza diventare troppo lento per essere pratico. Il team ha anche esplorato quanto il sistema fosse sensibile a diverse impostazioni, scoprendo che funziona bene in un'ampia gamma di condizioni senza richiedere una regolazione costante e delicata. Questa robustezza lo rende uno strumento promettente per le future applicazioni nella robotica e nell'automazione, dove imparare dai dati passati è spesso l'unica opzione disponibile.

In definitiva, questo lavoro risolve una disconnessione di lunga data nel modo in cui l'IA impara dall'esperienza. Dimostra che, comprendendo correttamente la relazione tra pensieri nascosti e azioni visibili, possiamo insegnare a sistemi complessi come migliorare senza mai uscire dai confini dei loro dati di addestramento. Il metodo non si affida alla magia o alle congetture; si basa su una chiara comprensione matematica di come il rumore si trasformi in azione. Mentre il campo dell'intelligenza artificiale continua a evolversi, approcci che possano imparare in modo sicuro ed efficace dal passato saranno essenziali per costruire sistemi che siano sia capaci che affidabili. Questa nuova tecnica offre una via procedurale, trasformando il processo disordinato dell'apprendimento da dati statici in un percorso chiaro verso un migliore processo decisionale.

Riassunto Tecnico: Noisy-Space Policy Gradient per Diffusion Policies nell'Apprendimento per Rinforzo Offline

1. Definizione del Problema

L'Apprendimento per Rinforzo (RL) Offline mira a apprendere politiche efficaci da dataset fissi senza ulteriori interazioni con l'ambiente. Una sfida primaria in questo contesto è il problema dello "spostamento della distribuzione" (distributional shift): le politiche che estraggono valori al di fuori del supporto del dataset spesso soffrono di stime del valore distorte. Per affrontare le complesse distribuzioni di azioni multimodali presenti nei dati offline, sono emersi modelli generativi espressivi come le diffusion policies. Queste politiche generano azioni attraverso un processo iterativo di denoising, mappando una sequenza di variabili latenti rumorose verso l'azione finale pulita.

Tuttavia, l'integrazione delle diffusion policies con l'RL basato sul valore introduce un fondamentale disallineamento strutturale:

Spazio di Ottimizzazione: L'ottimizzazione della policy avviene in uno spazio latente rumoroso (la sequenza di variabili $x^{(k)}$ durante il processo di denoising).
Definizione del Valore: Gli obiettivi di reinforcement learning (funzioni di valore, vantaggi, gradienti) sono definiti su azioni eseguite e pulite ( $a \in \mathcal{A}$ ) che interagiscono con l'ambiente.

Gli approcci esistenti per colmare questo divario soffrono di significativi svantaggi:

Campionamento nello Spazio delle Azioni: Trattare i modelli di diffusione meramente come campionatori e ripesare le azioni in base a un critico nello spazio delle azioni evita la guida nello spazio latente.
Backpropagation End-to-End: Ottimizzare le policy tramite backpropagation attraverso l'intera traiettoria di denoising crea grafi computazionali stocastici lunghi, portando a un sovraccarico computazionale e instabilità.
Valutazione Diretta nel Latente: Iniettare la guida del valore direttamente nei latenti rumorosi valutando le funzioni Q su variabili intermedie ignora il fatto che queste variabili non sono le azioni che determinano i reward.

Il paper identifica una lacuna nella definizione di una formulazione del valore che colleghi l'ottimizzazione nello spazio latente rumoroso e i rendimenti nello spazio delle azioni in modo principiato e semanticamente coerente.

2. Metodologia

Gli autori propongono un framework centrato su una Noisy-Space Action-Value Function e una derivata Noisy-Space Policy Gradient (NSPG).

2.1 Noisy-Space Action-Value Function ( $Q_{noisy}$ )

Il nucleo del contributo teorico è la definizione di una funzione di valore per variabili latenti rumorose che non assegna un valore intrinseco al rumore, bensì alla distribuzione di azioni pulite che esso induce.

Definzione: Per uno stato $s$ , un passo di diffusione $k$ , e un latente rumoroso $x^{(k)}$ , la funzione action-value nello spazio rumoroso è definita come il rendimento atteso nello spazio delle azioni indotto dalla diffusion policy condizionata su $(s, x^{(k)}, k)$ :
$Q_{noisy}^\pi(s, x^{(k)}, k) \triangleq \mathbb{E}_{a \sim \pi(\cdot|s, x^{(k)}, k)} [Q^\pi(s, a)]$
Correttezza Semantica: Gli autori dimostrano che $Q_{noisy}$ è esattamente uguale al rendimento scontato atteso ottenuto quando la policy è inizializzata in $(s, x^{(k)}, k)$ ed eseguita nell'ambiente. Ciò garantisce che la funzione di valore sia coerente con l'interfaccia dell'ambiente, che osserva solo azioni pulite.
Semantica Surrogata: Per rendere il condizionamento su $x^{(k)}$ ben definito senza alterare la dinamica di reverse-time della policy, gli autori introducono una distribuzione congiunta surrogata. Questa modella la relazione tra un'azione pulita $a$ e un latente rumoroso $x^{(k)}$ tramite il processo di diffusione forward (corruzione di un'azione pulita). Ciò consente la derivazione dei gradienti senza cambiare il meccanismo generativo della policy.

2.2 Noisy-Space Policy Gradient (NSPG)

Utilizzando la semantica surrogata, gli autori derivano un'espressione in forma chiusa per il gradiente di $Q_{noisy}$ rispetto al latente rumoroso $x^{(k)}$ .

Formulazione del Gradiente:
$\nabla_{x^{(k)}} Q_{noisy}^\pi(s, x^{(k)}, k) = \mathbb{E}_{a \sim \pi} \left[ A_{noisy}^\pi(s, a, x^{(k)}, k) \nabla_{x^{(k)}} \log q_k(x^{(k)} | a) \right]$
Dove:
- $A_{noisy}^\pi = Q^\pi(s, a) - Q_{noisy}^\pi(s, x^{(k)}, k)$ è l'advantage nello spazio rumoroso.
- $\nabla_{x^{(k)}} \log q_k(x^{(k)} | a)$ è la funzione di score del kernel di diffusione forward.
Distinzione Chiave: A differenza degli approcci che mappano un latente rumoroso in un'unica azione decodificata $\hat{a}$ e differenziano $Q(s, \hat{a})$ , NSPG differenzia l'aspettativa del valore sulla distribuzione di azioni pulite compatibili. Ciò permette al gradiente di rinforzare le direzioni nello spazio rumoroso associate ad azioni compatibili ad alto valore, pur sopprimendo quelle a basso valore, anche se l'azione più probabile non è quella di maggior valore.
Nessuna Backpropagation: Fondamentalmente, questo gradiente è calcolato utilizzando solo stime del valore nello spazio delle azioni pulite ( $Q^\pi$ ) e il kernel di diffusione forward. Esso evita la backpropagation attraverso l'intera traiettoria di denoising, migliorando significativamente stabilità ed efficienza.

2.3 Noisy-Space Actor-Critic (NSAC)

Gli autori istanziano questo framework in NSAC, un algoritmo pratico di RL offline:

Critico: Apprende una funzione Q conservativa nello spazio delle azioni ( $Q_\phi$ ) utilizzando dati offline e un target Lower-Confidence Bound (LCB) per mitigare la sovrastima e lo spostamento della distribuzione. Il critico non viene mai valutato su latenti rumorosi.
Attore: Aggiorna la diffusion policy utilizzando un obiettivo di regressione che combina lo standard denoising loss (behavior cloning) con un termine di guida del valore derivato da NSPG.
- La loss dell'attore include un termine: $\lambda \cdot \epsilon_\theta^\top \nabla_{x^{(k)}} Q_{noisy}$ .
- Questo permette alla policy di migliorare nello spazio latente rimanendo ancorata alla distribuzione dei dati.

3. Contributi Chiave

Identificazione del Disallineamento: Il paper identifica formalmente il divario semantico tra l'ottimizzazione nello spazio latente rumoroso e le funzioni di valore nello spazio delle azioni nelle diffusion-based RL.
Formulazione Teorica: Introduzione di $Q_{noisy}$ , una funzione di valore che assegna valore ai latenti rumorosi strettamente attraverso la distribuzione delle azioni pulite che generano, garantendo la coerenza semantica con l'MDP.
Derivazione di NSPG: Derivazione di un policy gradient che ottimizza i latenti rumorosi utilizzando solo stime del valore nello spazio delle azioni pulite, eliminando la necessità di backpropagation attraverso il processo di denoising.
Algoritmo NSAC: Sviluppo di un algoritmo actor-critic stabile che implementa NSPG, dimostrando che le diffusion policies espressive possono essere addestrate efficacemente in contesti offline.

4. Risultati Sperimentali

Gli autori valutano NSAC su benchmark D4RL basati su stato (locomozione, AntMaze, Adroit) e compiti basati su visione OGBench.

Performance: NSAC raggiunge performance allo stato dell'arte o competitive in diversi ambienti.
- Locomozione: Supera o eguaglia i metodi precedenti (es. CQL, IQL, Diffuser) su HalfCheetah, Hopper e Walker2d. In particolare, ottiene guadagni di circa il 10% su HalfCheetah medium-replay.
- AntMaze: Dimostra miglioramenti sostanziali rispetto ai metodi esistenti, particolarmente in ambienti maze di grandi dimensioni dove supera il baseline più vicino (DAC) di oltre il 50% in termini di performance relativa.
- Adroit: Raggiunge la migliore performance su Pen-Cloned-v1 tra i metodi valutati.
- Visione (OGBench): Ottiene il punteggio aggregato più alto (271.5) su compiti visivi, superando le policy basate su flow e DAC.
Studi di Ablazione:
- Forza della Guida ( $\lambda$ ): Il metodo è robusto attraverso un intervallo di intensità della guida; valori intermedi producono la performance ottimale. Una guida troppo aggressiva degrada la performance spingendo la policy fuori dal supporto dei dati.
- Approssimazione Monte Carlo: L'aspettativa nello spazio rumoroso può essere stimata efficientemente con un piccolo numero di campioni (es. 2-4), comportando un overhead computazionale minimo rispetto a DAC.
- Pessimismo: L'algoritmo rimane robusto attraverso una vasta gamma di coefficienti di pessimismo.

5. Significato e Claim

Il paper sostiene che NSPG fornisca una base principiata ed efficace per l'addestramento di diffusion policies nell'RL offline. Risolvendo il disallineamento tra l'ottimizzazione nello spazio latente e il valore nello spazio delle azioni, il metodo evita l'instabilità della backpropagation end-to-end e l'incoerenza semantica della valutazione dei critici su variabili rumorose.

Gli autori sottolineano che il loro approccio:

Preserva l'espressività delle diffusion policies multi-step senza sacrificare la trattabilità.
Offre un miglioramento modesto ma significativo in termini di stabilità e performance, specialmente in contesti complessi, a lungo orizzonte e multimodali dove la stima del valore e l'ottimizzazione della policy sono strettamente accoppiate.
Suggerisce che il framework potrebbe estendersi naturalmente all'apprendimento online e offline-to-online, sebbene ciò sia lasciato come lavoro futuro.

Il lavoro non pretende di risolvere tutti i problemi dell'RL offline, ma affronta specificamente l'integrazione delle diffusion policies con obiettivi basati sul valore, offrendo un'alternativa teoricamente fondata al campionamento euristico o all'instabile addestramento end-to-end.