🤖 machine learning

Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning

Questo articolo presenta un metodo offline di apprendimento per rinforzo condizionato agli obiettivi che integra aggiornamenti locali e globali tramite una quasimetrica multistep, dimostrando prestazioni superiori su compiti a lungo raggio e la capacità di "stitching" in scenari di manipolazione robotica reale.

Autori originali: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

Pubblicato 2026-02-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come raggiungere un obiettivo, ma senza dargli mai un premio o una punizione mentre lo fa. Devi solo dargli un album di foto di qualcuno che ha già provato a farlo (magari in modo disordinato) e dire: "Ehi, guarda queste foto, impara da qui".

Questo è il cuore del Reinforcement Learning Condizionato agli Obiettivi (GCRL) Offline. Il problema è che quando i compiti diventano lunghi e complessi (come attraversare un labirinto enorme o montare un mobile con 100 pezzi), i metodi attuali si perdono. Sbagliano un piccolo passaggio e poi non riescono più a recuperare.

Gli autori di questo paper (pubblicato a ICLR 2026) hanno creato un nuovo metodo chiamato MQE (Multistep Quasimetric Estimation). Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: "Guarda solo il prossimo passo" vs "Guarda tutto il viaggio"

Immagina di dover andare da Roma a Tokyo.

I vecchi metodi (TD Learning): Sono come un turista che guarda solo il prossimo incrocio. "Gira a destra, poi a sinistra". Funziona bene se sei vicino alla destinazione, ma se sbagli un incrocio all'inizio, dopo 1000 km sei nel posto sbagliato.
I metodi globali (Monte Carlo): Sono come qualcuno che guarda l'intero viaggio sulla mappa. Vede subito che la rotta è sbagliata. Ma il problema è che se la mappa è piena di errori (dati rumorosi), si confonde e non sa dove iniziare.

2. La Soluzione MQE: La "Bussola Magica"

MQE combina il meglio dei due mondi usando un concetto matematico chiamato Quasimetrica.

Immagina che il robot non stia imparando una lista di istruzioni, ma stia imparando a misurare la distanza tra due punti, non in chilometri, ma in "difficoltà" o "tempo necessario".

Se sei vicino al goal, la distanza è piccola.
Se sei lontano, la distanza è grande.

La magia di MQE è che questa "bussola" non guarda solo il passo successivo. Guarda diversi passi avanti (multistep) contemporaneamente. È come se il robot, invece di guardare solo il prossimo sasso nel fiume, guardasse anche il sasso a 10 metri di distanza per capire se il percorso è sicuro.

3. L'Analogia del "Punto di Riferimento" (Waypoints)

Per imparare a misurare questa distanza su lunghi tragitti, MQE usa dei punti di riferimento intermedi (waypoints).
Immagina di dover cucinare una cena complessa. Invece di dire al robot "Fai la cena", gli dici: "Guarda la foto del piatto finito, e poi guarda una foto di metà cottura presa da un video di qualcuno che ha cucinato prima".
MQE prende queste foto di "metà cottura" (stati futuri casuali) e le usa per calcolare quanto manca alla fine. Invece di imparare a fare un solo passo alla volta, impara a saltare in avanti e a capire quanto manca ancora.

4. La Regola d'Oro: "Non importa come arrivi" (Invarianza all'Azione)

C'è un trucco intelligente. Spesso, per arrivare a un obiettivo, puoi usare azioni diverse (es. puoi afferrare una tazza con la mano destra o sinistra, o con un movimento veloce o lento).
MQE insegna al robot che la distanza verso l'obiettivo è la stessa, indipendentemente da quale azione specifica hai appena fatto. È come dire: "Non importa se hai camminato o corso per arrivare alla porta; la porta è sempre lì, alla stessa distanza". Questo stabilizza l'apprendimento e impedisce al robot di impazzire cercando la "azione perfetta" per ogni singolo istante.

5. I Risultati: Cosa ha fatto davvero?

Gli autori hanno testato questo metodo in due modi:

Simulazioni (Labirinti Giganti): Hanno creato un labirinto 50% più grande di quelli usati finora (chiamato "Colossal"). I vecchi robot si perdevano dopo pochi passi. MQE, invece, è riuscito a trovare la strada anche in labirinti che richiedevano 4000 passi per essere completati, un record incredibile.
Robot Reale (Braccio Robotico): Hanno provato su un vero robot fisico (BridgeData). Hanno chiesto al robot di fare cose complesse come "Apri il cassetto e metti il fungo dentro" o "Prendi 4 oggetti diversi e mettili tutti sul piatto".
- Gli altri robot fallivano miseramente se dovevano fare più di un'azione di fila.
- MQE ha funzionato: È riuscito a "cucire" (stitching) azioni semplici apprese separatamente per compiere compiti lunghi e complessi che non aveva mai visto prima.

In Sintesi

MQE è come dare al robot una mappa mentale che non si basa su istruzioni rigide, ma sulla capacità di capire "quanto manca" alla destinazione, guardando avanti nel tempo e ignorando i piccoli errori di percorso. Questo permette al robot di essere molto più intelligente, stabile e capace di risolvere problemi lunghi e complessi, sia nel mondo virtuale che in quello reale.

È un passo avanti enorme verso robot che possono imparare da soli, guardando video di altre persone, e poi applicare quella conoscenza a situazioni nuove e difficili senza bisogno di essere riaddestrati da zero.

1. Il Problema

L'apprendimento di come raggiungere obiettivi in un ambiente è una sfida fondamentale nell'IA, in particolare per il Reinforcement Learning Condizionato all'Obiettivo (GCRL) su orizzonti temporali lunghi.

Sfida principale: Stimare la distanza temporale tra coppie di osservazioni.
Limiti degli approcci esistenti:
- I metodi Temporal Difference (TD) (aggiornamenti locali) offrono garanzie di ottimalità teorica ma spesso falliscono su orizzonti lunghi a causa dell'accumulo di errori.
- I metodi Monte Carlo (MC) (aggiornamenti globali, es. multi-step) funzionano bene nella pratica ma mancano di garanzie teoriche di ottimalità e tendono a recuperare solo la funzione Q del comportamento ( $Q_\beta$ ) piuttosto che quella ottimale ( $Q^*$ ).
- Le attuali metodologie offline tendono a separare questi due approcci, rendendo difficile ottenere sia la stabilità teorica che l'efficacia pratica su compiti complessi e visivi.

2. Metodologia: Multistep Quasimetric Estimation (MQE)

Il paper propone MQE, un metodo offline GCRL che integra l'apprendimento di valori multi-step con architetture di quasimetriche, senza richiedere gerarchie esplicite.

Concetti Chiave:

Architettura Quasimetrica:
- Invece di apprendere direttamente $Q(s, a)$ , MQE apprende una funzione di distanza $d(s, g)$ tra stati e obiettivi.
- La funzione Q è definita come $Q_g(s, a) = V_g(g) e^{-d((s,a), g)}$ .
- Viene utilizzata l'architettura Metric Residual Network (MRN) per garantire che la funzione appresa soddisfi le proprietà di una quasimetrica (non-negatività, identità, disuguaglianza triangolare), permettendo un ragionamento spaziale e temporale coerente.
Backup Multi-Step con Waypoint:
- A differenza dei metodi TD standard che aggiornano solo lo stato successivo $s'$ , MQE introduce un meccanismo di waypoint ( $s^w_t$ ).
- Vengono campionati stati intermedi lungo la traiettoria futura utilizzando una combinazione di distribuzioni geometriche e Bernoulliane.
- L'obiettivo di apprendimento (Eq. 9) estende il backup a questi waypoint: $e^{-d((s,a),g)} \leftarrow \mathbb{E}[\gamma^{k'} e^{-d(s^w_t, g)}]$ . Questo permette una propagazione globale del valore simile al MC, ma all'interno di un framework di ottimizzazione locale.
Invarianza all'Azione (Action Invariance):
- Per garantire che la funzione valore $V(s)$ sia coerente con il massimo delle azioni $Q(s, a)$ , il metodo impone il vincolo $d(s, (s, a)) = 0$ .
- Viene introdotta una funzione di perdita specifica ( $L_I$ ) che penalizza le deviazioni da questa invarianza in modo scalabile, evitando soluzioni banali (come rappresentazioni nulle) e stabilizzando l'addestramento.
Estrazione della Politica:
- La politica $\pi(s, g)$ viene estratta minimizzando la distanza appresa tra lo stato corrente e l'obiettivo, regolarizzata con il comportamento (Behavior Cloning + DDPG).

3. Contributi Chiave

Primo metodo end-to-end offline GCRL: MQE è il primo approccio a combinare con successo i ritorni multi-step con architetture quasimetriche per l'apprendimento di distanze temporali.
Generalizzazione dell'Orizzonte: Il metodo dimostra una capacità superiore di generalizzare su orizzonti temporali molto più lunghi rispetto a quelli presenti nel dataset di addestramento (fino a 4000 passi).
Composizionalità nel mondo reale: È il primo metodo a dimostrare il "stitching" (cucitura) di comportamenti complessi in un dominio robotico reale (BridgeData) partendo da un dataset offline non etichettato di osservazioni visive, senza pianificatori di alto livello.
Stabilità: L'approccio è stabile anche su dati rumorosi e in ambienti ad alta dimensionalità (fino a 21 gradi di libertà).

4. Risultati Sperimentali

Valutazione Simulata (OGBench)

Dataset: 95 task su ambienti basati su stato e pixel (inclusi labirinti AntMaze e HumanoidMaze).
Prestazioni: MQE supera significativamente lo stato dell'arte (SOTA) su task complessi.
- Su AntMaze-Colossal (50% più grande di "Giant", fino a 4000 passi), MQE è l'unico metodo a mantenere tassi di successo non nulli, mentre altri metodi (come HIQL, TMD, CRL) falliscono completamente.
- Miglioramenti fino a 10x rispetto ai metodi precedenti su task di stitching (es. humanoidmaze-giant-stitch).

Valutazione nel Mondo Reale (BridgeData)

Task: Manipolazione robotica complessa, inclusi compiti di "Pick and Place" multipli (fino a 4 oggetti consecutivi) e task sequenziali dipendenti (es. aprire un cassetto e inserire un oggetto).
Risultati:
- MQE supera i metodi basati su BC (GCBC) e RL offline standard (GCIQL) e approcci basati su allineamento temporale (TRA).
- Dimostra una generalizzazione composizionale: riesce a combinare primitive apprese separatamente per eseguire task mai visti nel dataset (es. 4 pick-and-place consecutivi), dove altri metodi falliscono o hanno successo nullo.
- Su task di 4 passaggi, MQE ottiene un tasso di successo del ~13% (2/15), mentre gli altri metodi sono a 0.

Studi di Ablazione

L'uso dell'invarianza all'azione ( $L_I$ ) è cruciale: senza di essa, il successo crolla dal 26.5% al 7.9%.
Il campionamento dei waypoint tramite distribuzione geometrica è superiore rispetto a distribuzioni uniformi o intervalli fissi.
L'uso esclusivo di backup a un passo (TD) è insufficiente per apprendere rappresentazioni di distanza efficaci su orizzonti lunghi.

5. Significato e Impatto

Il lavoro MQE risolve una delle principali contraddizioni nel RL offline: la necessità di aggiornamenti globali (per gestire orizzonti lunghi) senza perdere le garanzie di stabilità dei metodi locali.

Scalabilità: Dimostra che il GCRL può scalare a compiti robotici reali complessi senza bisogno di dati etichettati o gerarchie manuali.
Generalizzazione: Fornisce una soluzione pratica al problema della generalizzazione su orizzonti temporali, permettendo agli agenti di "cucire" insieme comportamenti brevi per risolvere compiti lunghi.
Futuro: Apre la strada all'applicazione di queste tecniche in scenari offline-to-online e per politiche di tipo "action-chunking".

In sintesi, MQE rappresenta un avanzamento significativo verso agenti robotici autonomi capaci di pianificazione a lungo termine e composizione di abilità complesse, superando i limiti delle attuali metodologie di apprendimento per rinforzo offline.