🤖 machine learning

Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation

Questo articolo propone un framework leggero chiamato Conservative Query and Adaptive Regularization under Uncertainty Estimation, che sfrutta una rete Morse per stimare l'incertezza delle azioni al fine di guidare query di preferenza informative e regolare dinamicamente i vincoli a livello di dati, migliorando così le prestazioni del reinforcement learning offline sul benchmark D4RL.

Autori originali: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Pubblicato 2026-07-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Li-Rong Zhou, Qin-Wen Luo, Sheng-Jun Huang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come camminare, ma senza poterlo far esercitare nel mondo reale. Forse è troppo costoso, troppo pericoloso o il robot potrebbe rompere qualcosa. Invece, dai al robot una gigantesca libreria di video di qualcun altro che cammina. Questo è il mondo dell'Apprendimento per Rinforzo Offline (Offline Reinforcement Learning). Il robot deve imparare una strategia solo guardando questi vecchi video, senza mai compiere un passo di testa sua. La parte difficile è che il robot potrebbe provare a copiare un movimento visto nel video, ma se prova a fare qualcosa di leggermente diverso da ciò che era presente nella libreria, potrebbe confondersi o cadere. Questo è chiamato il problema dello "spostamento della distribuzione" (distribution shift): il robot sta tirando a indovinare su cose che non ha ancora visto.

Per rendere il robot più intelligente, gli scienziati a volte permettono di chiedere aiuto a un esperto umano. Immagina che il robot dica: "Dovrei fare un passo a sinistra o a destra?" e l'esperto risponda: "Sinistra è meglio". Questo è chiamato una query di preferenza d'azione (action preference query). È come ricevere un suggerimento senza dover effettivamente andare fuori a provare quel movimento di persona. Tuttavia, c'è un trucco: se il robot chiede consiglio su un movimento che è troppo strano o lontano da ciò che ha visto nel video, il consiglio dell'esperto potrebbe in realtà confondere la matematica interna del robot, portandolo a imparare la cosa sbagliata. La grande domanda è: come possiamo chiedere il tipo di aiuto giusto senza mettere il robot nei guai?

Questo articolo introduce un nuovo e astuto sistema chiamato CQ2L (Conservative Query Q-Learning) per risolvere esattamente questo problema. Gli autori, Li-Rong Zhou, Qin-Wen Luo e Sheng-Jun Huang della Nanjing University of Aeronautics and Astronautics, si sono resi conto che i metodi precedenti erano un po' troppo imprudenti. Chiedevano consiglio su qualsiasi mossa che al robot venisse in mente, anche se quella mossa era totalmente estranea ai video di addestramento. Questo spesso portava il robot a "ubriacarsi" di cattivi consigli e a barcollare.

Gli autori propongono una rete di sicurezza in due parti per risolvere il problema. Per prima cosa, utilizzano uno strumento speciale chiamato rete neurale Morse. Immaginala come un "rilevatore di stranezze". Prima che il robot chieda aiuto, questo rilevatore controlla: "Questo nuovo movimento è qualcosa che abbiamo già visto, o è totalmente alieno?". Se il movimento è troppo alieno (fuori distribuzione), il sistema dice: "No, non chiedere di questo; è troppo rischioso". Permette al robot di chiedere solo riguardo a movimenti che sono vicini a quelli presenti nella libreria video. Questa è la Query Conservativa (Conservative Query).

In secondo luogo, anche quando il robot riceve un buon consiglio, il sistema deve sapere quanto ascoltarlo. Gli autori hanno creato un sistema di Regolarizzazione Adattiva (Adaptive Regularization). Immagina che il robot abbia una manopola del volume per il consiglio dell'esperto. Se il robot sta facendo qualcosa di molto familiare (sicuro), il volume viene abbassato perché il robot può imparare bene solo dai dati del video. Ma se il robot sta provando qualcosa di leggermente nuovo ma ancora sicuro, il volume viene alzato per lasciare che il consiglio dell'esperto lo guidi. Se il robot prova qualcosa di pericoloso, il sistema alza il volume al massimo per costringerlo a tornare verso la sicurezza. Questo aggiustamento dinamico impedisce al robot di essere troppo testardo o di lasciarsi influenzare troppo facilmente.

I ricercatori hanno testato questa idea su un celebre benchmark chiamato D4RL, che include compiti come far correre un ghepardo virtuale o far navigare una formica in un labirinto. Hanno confrontato il loro metodo con altri algoritmi di alto livello. I risultati hanno dimostrato che il loro approccio di "domande intelligenti" ha funzionato meglio dell'apprendimento offline standard. In effetti, ha performato quanto, o talvolta meglio, di metodi che sono stati autorizzati a esercitarsi nel mondo reale per molto tempo, ma lo hanno fatto con molti meno "domande" (solo 90.000 query di preferenza rispetto ai 250.000 passi di pratica nel mondo reale di altri metodi).

L'articolo sostiene esplicitamente contro il vecchio modo di chiedere semplicemente consiglio su ogni movimento casuale, dimostrando che questo porta a un apprendimento instabile e a risultati scadenti. Suggeriscono che, essendo prudenti su cosa si chiede e su come si ascolta, si può ottenere il meglio di entrambi i mondi: la sicurezza di imparare da una libreria statica e la spinta della guida di un esperto, senza il rischio che il robot si schianti. I loro esperimenti sul benchmark D4RL suggeriscono che questo approccio è un modo solido e affidabile per rendere l'apprendimento offline più intelligente e sicuro.

Riepilogo Tecnico: Query Conservativa e Regolarizzazione Adattiva per l'RL Offline sotto Stima dell'Incertezza

1. Definizione del Problema

L'Apprendimento per Rinforzo (RL) Offline mira a apprendere politiche efficaci da dataset statici senza ulteriore interazione con l'ambiente. Tuttavia, le prestazioni sono fondamentalmente limitate dalla copertura del dataset. Una sfida primaria è lo spostamento della distribuzione (distribution shift), in cui la politica appresa seleziona azioni fuori distribuzione (OOD), portando a stime del valore imprecise e alla propagazione dell'errore.

Tuttavia, i meccanismi di query di preferenza delle azioni (action preference query) offrono un modo per migliorare le politiche utilizzando il feedback di un esperto (confrontando coppie di azioni) senza interazione online, ma i metodi esistenti (ad es. OAP [41]) affrontano due criticità fondamentali:

Spostamento della Query (Query Shift): Le strategie esistenti selezionano le azioni da interrogare basandosi esclusivamente sulla distanza euclidea dal dataset. Ciò può portare alla selezione di azioni molto al di fuori della distribuzione del dataset (OOD). Nei metodi di regolarizzazione del valore, questo induce una stima inaccurata del valore e aggiornamenti della politica instabili, poiché il termine di regolarizzazione può erroneamente elevare i valori Q di azioni OOD.
Sfruttamento Inefficiente: Gli approoli attuali trattano le preferenze interrogate come vincoli statici durante tutto l'addestramento. Essi non riescono ad adattare dinamicamente l'affidamento a queste preferenze man mano che la politica migliora, applicando spesso vincoli non necessari ad azioni affidabili o fallendo nel sfruttare il potenziale ottimistico degli aggiornamenti di Bellman per le azioni in-distribuzione.

2. Metodologia

Gli autori propongono un framework leggero che integra Query Conservativa e Regolarizzazione Adattiva sotto Stima dell'Incertezza. I componenti principali sono:

A. Stima dell'Incertezza tramite Reti Neurali Morse
Il metodo impiega una Rete Neurale Morse [10, 4, 45, 33] come stimatore di incertezza pre-addestrato.

Addestramento: La rete è addestrata sul dataset offline $D$ per produrre un "punteggio Morse" $M_\phi(s, a) \in [0, 1]$ . Un punteggio di 1 indica che l'azione si trova sul sotto-manifold modale della distribuzione dei dati, mentre punteggi inferiori indicano deviazione (maggiore incertezza/grado OOD).
Meccanismo: La rete minimizza la divergenza KL tra la distribuzione dei dati e l'output della rete, quantificando efficacementamente la certezza che una coppia stato-azione provenga dal dataset offline.

B. Query Conservativa Guidata dall'Incertezza
Per prevenire lo spostamento della query, il framework filtra le azioni candidate prima di interrogare un oracolo (ad es. la funzione Q di una politica più forte).

Strategia di Selezione: Invece di una semplice selezione basata sulla distanza, il metodo classifica le azioni candidate in base alla loro divergenza dal dataset ma le filtra utilizzando una soglia consapevole del dataset $\delta = \mu - n\sigma$ (dove $\mu$ e $\sigma$ sono la media e la deviazione standard dei punteggi Morse sul dataset).
Vincolo: Solo le azioni con $M_\phi(s, \hat{a}) > \delta$ vengono mantenute per la query di preferenza. Ciò assicura che le azioni interrogate rimangano vicine alla distribuzione del dataset, preservando la stabilità degli aggiornamenti di Bellman e prevenendo la sovrastima dei valori OOD.

C. Regolarizzazione Adattiva Consapevole dell'Incertezza
Per utilizzare efficacemente le informazioni di preferenza, il metodo sostituisce i coefficienti di regolarizzazione fissi con coefficienti dipendenti dai dati.

Modulazione Dinamica: La forza della regolarizzazione $\alpha(s, a)$ $α (s, a)$ è regolata dinamicamente in base al punteggio Morse dell'azione corrente della politica.
- Alta Confidenza In-Distribuzione: Se un'azione è vicina al dataset (alto punteggio Morse), la forza della regolarizzazione viene ridotta (avvicinandosi a 0), permettendo alla politica di beneficiare pienamente degli aggiornamenti di Bellman ottimistici.
- Bassa Confidenza In-Distribuzione: Se un'azione è OOD (basso punteggio Morse), viene applicata una regolarizzazione più forte per guidare la politica verso la distribuzione del dataset.
Scaling Non Lineare: Per garantire capacità discriminativa (poiché lo scaling lineare spesso risulta in vincoli deboli), viene introdotta una funzione di scaling non lineare per modulare la forza della regolarizzazione in base alla distribuzione dei punteggi Morse.

D. Integrazione con CQL
Il framework è integrato in Conservative Q-Learning (CQL), un algoritmo rappresentativo di regolarizzazione del valore. L'algoritmo risultante, Conservative Query Q-Learning (CQ2L), modifica l'obiettivo CQL per includere il termine di regolarizzazione adattiva e aggiorna le azioni preferite $\tilde{a}$ basandosi sul meccanismo di query conservativa.

3. Contributi Chiave

Stima dell'Incertezza Basata su Morse: L'introduzione delle Reti Neurali Morse per quantificare il grado OOD delle azioni candidate rispetto al dataset offline, fungendo da fondamento sia per la query che per la regolarizzazione.
Query Conservativa Guidata dall'Incertezza: Un meccanismo che filtra i candidati alla query per garantire che rimangano all'interno della distribuzione del dataset, mitigando lo spostamento della query e stabilizzando la stima del valore nei framework di regolarizzazione del valore.
Regolarizzazione Adattiva Consapevole dell'Incertezza: Un meccanismo di vincolo dinamico che bilancia la regolarizzazione pessimistica con gli aggiornamenti ottimistici di Bellman in base all'affidabilità delle azioni correnti della politica, evitando vincoli inefficaci sulle azioni in-distribuzione.
Estensione alla Regolarizzazione del Valore: Estensione con successo del paradigma di query di preferenza delle azioni dai metodi di vincolo della politica ai metodi di regolarizzazione del valore (specificamente CQL), un dominio in cui i precedenti metodi di query incontravano difficoltà.

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark D4RL, coprendo i compiti di locomozione MuJoCo e navigazione AntMaze.

Prestazioni Offline: CQ2L ha ottenuto prestazioni superiori o competitive rispetto ai baseline di stato dell'arte dell'RL offline (inclusi AWAC, IQL, CQL, TD3+BC) e al precedente metodo di query di preferenza delle azioni (OAP). In particolare, ha raggiunto un punteggio normalizzato medio di 91.4 nei compiti MuJoCo e 75.8 nei compiti AntMaze, superando OAP (rispettivamente 89.9 e 69.3 nello schema offline).
Efficienza Offline-to-Online (O2O): Nel contesto O2O, CQ2L ha utilizzato solo 90.000 query di preferenza (significativamente meno dei 250.000 step di interazione online usati dai baseline di fine-tuning e meno delle 100.000 query di OAP). Nonostante ciò, ha superato la maggior parte dei baseline che hanno subito un esteso fine-tuning online e ha ottenuto risultati comparabili o migliori del fine-tuning di CQL.
Studi di Ablazione: Gli esperimenti hanno confermato che entrambi i componenti, Conservative Query (CQ) e Adaptive Regularization (AR), sono essenziali.
- Nei compiti con ricompensa densa e bassa dimensionalità (MuJoCo), la Regolarizzazione Adattiva è stata cruciale per sfruttare gli aggiornamenti di Bellman.
- Nei compiti con ricompensa sparsa e alta dimensionalità (AntMaze), la Query Conservativa è stata vitale per prevenire la sovrastima delle azioni OOD e facilitare il "trajectory stitching" all'interno del manifold dei dati.

5. Significato e Rivendicazioni

Il paper sostiene che il framework proposto affronta l'instabilità fondamentale dell'integrazione delle query di preferenza delle azioni nei metodi di regolarizzazione del valore. Sfruttando la stima dell'incertezza, il metodo:

Mitiga lo Spostamento della Query (Query Shift): Garantisce che le query di preferenza non destabilizzino la funzione di valore limitando le query alla regione in-distribuzione.
Ottimizza l'Utilizzo delle Informazioni: Bilancia dinamicamente il compromesso tra vincoli conservativi e la natura ottimistica degli aggiornamenti di Bellman, assicurando che le informazioni di preferenza siano utilizzate efficacemente senza ostacolare l'apprendimento sulle azioni affidabili.
Amplia l'Applicabilità: Dimostra che le query di preferenza delle azioni possono essere adattate con successo agli algoritmi di regolarizzazione del valore, offrendo una nuova direzione per migliorare le prestazioni dell'RL offline senza i costi e i rischi dell'interazione online.

Gli autori concludono che il loro metodo fornisce una soluzione robusta e leggera che raggiunge prestazioni superiori in compiti diversi, validando l'efficacia della combinazione tra querying guidata dall'incertezza e regolarizzazione adattiva.