🤖 machine learning

Drift Q-Learning

DriftQL è un nuovo metodo di apprendimento per rinforzo offline che combina un regolarizzatore comportamentale basato sul drift con il miglioramento della policy guidato dal critic in un'unica rete per generare azioni in modo efficiente in un unico passaggio in avanti, raggiungendo prestazioni allo stato dell'arte su D4RL e OGBench e dimostrando una robustezza superiore alla degradazione della qualità dei dati rispetto agli approcci basati su diffusione e flow.

Autori originali: Anas Houssaini, Mohamad H. Danesh, Amin Abyaneh, Scott Fujimoto, Hsiu-Chin Lin, David Meger

Pubblicato 2026-06-02

📖 20 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Anas Houssaini, Mohamad H. Danesh, Amin Abyaneh, Scott Fujimoto, Hsiu-Chin Lin, David Meger

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come camminare attraverso un labirinto usando solo la registrazione video dei tentativi di un robot precedente. Non puoi lasciare che il nuovo robot provi nuove cose nel mondo reale perché potrebbe scontrarsi; deve imparare rigorosamente da quel vecchio video. Questa è la sfida dell'Apprendimento per Rinforzo Offline (Offline Reinforcement Learning).

Il problema è complicato: il vecchio video potrebbe mostrare il robot che cammina in cerchio o che urta i muri (azioni cattive). Se il nuovo robot cercasse di essere "troppo intelligente" e inventasse un nuovo percorso, potrebbe calpestare una "zona proibita" dove i dati esistenti non sono presenti. In queste zone sconosciute, il suo "pagella" (stima del valore) è inaffidabile, e potrebbe scegliere accidentalmente una mossa terribile.

Il Vecchio Modo: L'Artista Lento e Iterativo

I metodi precedenti cercavano di risolvere questo problema usando modelli di Diffusione (Diffusion) o di Flusso (Flow). Immaginali come uno scultore che cerca di scolpire una statua da un blocco di marmo.

Partono da una massa casuale di rumore.
Lavorano lentamente, via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via via

Sintesi Tecnica: Drift Q-Learning (DriftQL)

Definizione del Problema
L'Apprendimento per Rinforzo Offline (Offline Reinforcement Learning - RL) mira a apprendere politiche ottimali da dataset fissi senza ulteriori interazioni con l'ambiente. Una sfida centrale in questo contesto è il problema "fuori distribuzione" (out-of-distribution - OOD): le funzioni di valore addestrate su dati statici producono stime inaffidabili per azioni non presenti nel dataset. Per mitigare ciò, è necessaria una regolarizzazione del comportamento che vincoli la politica appresa verso la distribuzione dei dati, consentendo comunque il miglioramento verso azioni ad alto valore.

Le soluzioni esistenti che utilizzano modelli generativi espressivi, come le politiche basate su diffusione e flow, modellano efficacemente la struttura multimodale delle distribuzioni di comportamento. Tuttavia, esse soffrono di significative limitazioni pratiche: richiedono il denoising iterativo o pesanti integrazioni di solver durante l'inferenza, portando a un'esecuzione lenta. Sebbene esistano alternative basate sulla distillazione per velocizzare l'inferenza, queste introducono complessità richiedendo reti aggiuntive e pipeline di addestramento a due stadi.

Metodologia
Gli autori propongono Drift Q-Learning (DriftQL), un metodo generativo a singolo step che combina un regolarizzatore comportamentale basato sul drift con un miglioramento della politica guidato dal critic. DriftQL si basa sul framework dei "Modelli di Drift" (Drifting Models), che apprendono una mappa di pushforward diretta in un singolo step dal rumore a priori e dai segnali di condizionamento ai dati.

Il nucleo di DriftQL è una rete actore stocastica $f_\theta(s, \epsilon)$ che mappa uno stato $s$ e un rumore gaussiano $\epsilon$ in un'azione $a$ . L'obiettivo di addestramento unifica la modellazione della distribuzione con la ricerca del reward attraverso due meccanismi primari:

Campo di Drift Condizionale: La politica è supervisionata da un campo di drift condizionato allo stato composto da due forze opposte:
- Attrazione ( $V^+$ ): Attira le azioni generate verso le azioni osservate nel dataset (behavior cloning). Nel contesto dell'offline RL, dove tipicamente è presente un'unica azione osservata per stato, ciò si semplifica in una differenza vettoriale diretta tra l'azione generata e l'azione del dataset.
- Repulsione ( $V^-$ ): Spinge le azioni generate lontano l'una dall'altra. Questo evita che la politica collassi su un singolo modo (l'azione del dataset) e mantiene un insieme diversificato di candidati all'interno di regioni ad alto valore. La repulsione è calcolata tramite un mean-shift pesato da kernel su $N$ azioni candidate generate per un singolo stato.
Miglioramento Guidato dal Critic: A differenza dei modelli di drift standard usati per la generazione incondizionata, DriftQL incorpora un obiettivo basato sul valore. Un critic double-Q troncato stima il valore delle azioni. L'attore minimizza una perdita combinata:
$L_{actor}(\theta) = \alpha L_{drift}(\theta) + L_Q(\theta)$
dove $L_{drift}$ è la perdita di drift (regressione delle azioni verso il target di drift) e $L_Q$ è il valore Q negativo atteso. Il gradiente del valore orienta la politica verso regioni ad alto valore del supporto dei dati, permettendo alla politica di concentrarsi su molteplici modi ad alto valore se presenti nei dati.

Contributi Chiave

Politica Generativa a Singolo Step: DriftQL genera azioni in un unico passaggio in avanti (forward pass), eliminando la necessità di catene di denoising iterative, solver ODE o stadi di distillazione richiesti dai metodi basati su diffusione e flow.
Obiettivo di Addestramento Unificato: Il metodo integra la regolarizzazione del comportamento (tramite il campo di drift) e il miglioramento della politica (tramite il Q-critic) in un'unica rete con una perdita unificata, evitando la complessità delle pipeline di addestramento multi-stadio.
Selezione del Modo e Diversità: La combinazione di attrazione (verso i dati) e repulsione (tra i candidati) consente alla politica di mantenere massa tra i candidati durante l'addestramento pur convergendo verso i modi ad alto valore, prevenendo il collasso verso un'azione deterministica singola o la dispersione in regioni non supportate.

Risultati Sperimentali
DriftQL è stato valutato sui benchmark D4RL e OGBench, coprendo compiti di controllo continuo, navigazione e manipolazione.

Performance: DriftQL supera costantemente o eguaglia i baseline allo stato dell'arte basati su diffusione e flow (es. Diffusion-QL, FQL, IDQL) in 78 compiti di apprendimento offline. Mostra guadagni particolarmente forti nei compiti di navigazione a lungo termine (es. antmaze-large-st, antmaze-giant-st) e nei compiti di manipolazione complessi.
Robustezza: In condizioni di qualità dei dati degradata (simulata sostituendo una frazione di azioni con rumore casuale), DriftQL mantiene una performance più vicina al suo baseline di dati puliti rispetto ai metodi concorrenti, che mostrano evidenti difficoltà all'aumentare del rumore.
Efficienza: In termini di latenza di inferenza, DriftQL è circa 2 $\times$ più veloce di FQL, 3 $\times$ più veloce di Diffusion-QL e 4 $\times$ più veloce di IDQL/IFQL. Raggiunge questo risultato senza richiedere uno stadio di distillazione separato. I costi di addestramento scalano con il numero di campioni generati ( $N$ ) a causa dei calcoli kernel a coppie, ma rimangono modesti rispetto all'overhead del denoising iterativo dei modelli di diffusione.

Significatività e Rivendicazioni
Il paper posiziona DriftQL come una promettente alternativa ai metodi di offline RL basati su diffusione e flow. Afferma di offrire l'espressività dei modelli generativi (gestione di distribuzioni multimodali) mantenendo la semplicità e l'efficienza degli approcci deterministici (singolo passaggio in avanti).

Gli autori sostengono che DriftQL riesca a conciliare gli obiettivi contrastanti dell'offline RL: vincola la politica al supporto dei dati per garantire stime di valore affidabili, permettendo al contempo il miglioramento verso regioni ad alto reward. Rimuovendo l'overhead computazionale del campionamento iterativo, DriftQL fornisce una soluzione più pratica per l'implementazione nel mondo reale dove la velocità di inferenza è critica, il tutto mantenendo la robustezza contro la corruzione dei dati. Il lavoro suggerisce che il "drifting" rappresenti un utile "punto di equilibrio" per l'offline RL, offrendo segnali di addestramento distribuzionali e stocastici senza i costi di test-time associati alle politiche generative multi-step.

Il Vecchio Modo: L'Artista Lento e Iterativo

Sintesi Tecnica: Drift Q-Learning (DriftQL)

Articoli simili