🤖 machine learning

Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL

Il documento propone DCRL (Divide-and-Conquer RL), un metodo ricorsivo di apprendimento per rinforzo offline condizionato all'obiettivo che decompone le traiettorie in alberi binari bilanciati per ridurre la profondità del bootstrap e l'accumulo di errore, superando così sostanzialmente i baseline piatti e gerarchici esistenti nei compiti a lungo orizzonte.

Autori originali: Hyeonseong Jeon, Youngwoon Lee

Pubblicato 2026-09-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hyeonseong Jeon, Youngwoon Lee

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'intelligenza artificiale, esiste una sfida specifica nota come apprendimento condizionato dall'obiettivo (goal-conditioned learning). Immaginate di insegnare a un robot non solo a camminare, ma a camminare verso una sedia specifica, o verso una porta specifica, o verso un interruttore della luce specifico, utilizzando solo una libreria di vecchi video di altri robot che si muovono. Il robot deve osservare queste vecchie registrazioni, capire come andare dal punto A al punto B e poi cercare di farlo da solo. Questo funziona bene per brevi spostamenti. Se l'obiettivo è a pochi passi di distanza, il robot può facilmente unire i puntini. Ma quando il viaggio è lungo — richiedendo centinaia o migliaia di passi per raggiungere una destinazione lontana — il robot spesso si perde. Fatica a ricordare l'inizio del percorso mentre cerca di pianificare la fine, e piccoli errori nella sua memoria di brevi passi si accumulano in errori massicci nel momento in cui raggiunge l'obiettivo.

Questo problema diventa ancora più difficile quando il robot non può imparare provando le cose nel mondo reale. In molti scenari reali, come l'uso di macchinari pesanti o la navigazione in una fabbrica complessa, commettere errori è troppo pericoloso o costoso. Il robot deve imparare interamente da un dataset fisso di esperienze passate, un campo noto come apprendimento per rinforzo offline (offline reinforcement learning). I ricercatori sanno da tempo che per risolvere un lungo viaggio, è necessario comprendere i segmenti più brevi che lo compongono. Tuttavia, i metodi standard per insegnare ai robot da questi dataset statici spesso cercano di imparare l'intero viaggio tutto in una volta, o saltano casualmente tra segmenti brevi e lunghi. Questo approccio è come cercare di leggere un libro sfogliando pagine a caso; il robot finisce per indovinare il significato di un lungo capitolo basandosi su una frase che non ha ancora compreso appieno, portando alla confusione e al fallimento.

Un team di ricercatori dell'Università Yonsei e dell'Università Nazionale di Seul ha proposto un nuovo modo per insegnare a questi robot, chiamato DCRL. Invece di indovinare l'intero percorso in una volta sola, il loro metodo scompone ogni lungo viaggio in una gerarchia strutturata passo dopo passo, proprio come organizzare un compito enorme iniziando con il padroneggiamento dei pezzi più piccoli per poi combinarli. I ricercatori hanno preso un percorso lungo da un dataset e lo hanno diviso esattamente a metà, poi hanno diviso quelle metà a metà di nuovo, continuando questo processo fino a raggiungere i singoli passi. Hanno poi insegnato al robot a comprendere questi minuscoli movimenti a singolo passo. Una volta che il robot è stato sicuro di questi piccoli passi, ha usato quella conoscenza per comprendere i segmenti leggermente più lunghi, e poi quelli più lunghi, costruendo la sua comprensione dal basso verso l'alto. Questa strategia "divide et impera" assicura che il robot non provi mai a imparare un percorso lungo e complesso finché non ha già padroneggiato i percorsi più brevi che lo compongono.

I ricercatori hanno scoperto che questo approccio strutturato ha risolto due grandi problemi che avevano tormentato i metodi precedenti. Primo, ha impedito al robot di fare ipotesi ottimistiche. I vecchi metodi spesso guardavano molti punti intermedi possibili e sceglievano quello che sembrava migliore, sperando in una scorciatoia. Ma poiché i dati erano limitati, il robot spesso sceglieva un punto che sembrava buono solo a causa di un errore nella sua memoria, e poi costruiva l'intero piano su quell'errore. Il nuovo metodo evita questo seguendo rigorosamente il percorso effettivo mostrato nei dati, dividendo il percorso esattamente nel mezzo e imparando il valore di quel percorso specifico senza fare ipotesi. Secondo, il metodo riduce l'impatto degli errori grazie alla sua struttura. Poiché il robot impara in una struttura bilanciata ad albero, l'influenza di un singolo errore è contenuta e gestita in modo più efficace rispetto ai metodi tradizionali.

Quando testato su una varietà di compiti difficili, inclusa la navigazione di un robot umanoide gigante attraverso un labirinto e la risoluzione di puzzle complessi, questo nuovo metodo ha superato tutti gli approcci precedenti. Sui cinque compiti a lungo termine più impegnativi disponibili nel loro benchmark, il nuovo metodo ha migliorato il punteggio medio di successo da 55 a 64, superando persino sistemi gerarchici più complessi che erano precedentemente considerati all'avanguardia. In un test specifico che coinvolgeva un robot umanoide in un enorme labirinto, il nuovo metodo ha raggiunto un tasso di successo del 93 percento, mentre il secondo miglior metodo raggiungeva solo il 79 percento. Forse più impressionante, in un compito che coinvolgeva un cubo che richiedeva otto movimenti separati per essere risolto, il nuovo metodo è stato l'unico a completare con successo il compito, raggiungendo un tasso di successo del 5 percento mentre tutti gli altri metodi fallivano completamente. Inoltre, nei test condotti sul dataset CALVIN, il metodo ha dimostrato la sua capacità di gestire sequenze complesse, riuscendo a completare con successo quattro sottotask consecutivi.

I ricercatori hanno anche scoperto che l'ordine in cui il robot impara è fondamentale. Mentre i metodi precedenti utilizzano spesso un ordine di apprendimento casuale (scrambled-order), i risultati di DCRL dimostrano che l'approccio "dal basso verso l'alto" è essenziale per le prestazioni ottimali. Lo studio suggerisce che rispettando la naturale dipendenza dei lunghi viaggi dai brevi passi, e organizzando il processo di apprendimento per riflettere tale dipendenza, i robot possono imparare a navigare percorsi molto più lunghi e complessi di quanto mai fatto prima. Questo lavoro non offre solo un nuovo algoritmo; fornisce una comprensione più chiara di come scalare l'intelligenza artificiale per gestire i compiti lunghi e intricati che definiscono il mondo reale.

Sintesi Tecnica: Apprendimento Ricorsivo del Valore per il GCRL Offline a Lungo Orizzonte

Definizione del Problema

Scalare l'Apprendimento per Rinforzo Goal-Conditioned (GCRL) offline a compiti a lungo orizzonte affronta due sfide primarie:

Accumulo di Errore tramite Dipendenza: Le stime del valore a lungo raggio dipendono intrinsecamente da stime a breve raggio. I metodi GCRL offline standard spesso effettuano il bootstrapping di valori a lungo raggio partendo da valori a breve raggio che sono essi stessi inaccurati o non ancora convergenti, portando a errori cumulativi.
Sovrastima tramite Backups Basati su Max: I classici backup di tipo Bellman e transiti seleziona in modo ottimistico tra azioni o stati intermedi (ad es. $\max_w V(s, w) \cdot V(w, g)$ ). Con dati offline finiti, questo processo di selezione tende a favorire candidati sovrastimati, propagando i loro errori attraverso ripetuti backup e creando grandi inconsistenze globali.

I metodi esistenti, inclusi gli approcci gerarchici e il classico apprendimento transitivo (come Transitive RL o TRL), spesso non riescono a imporre esplicitamente l'ordine di dipendenza per cui i valori a breve orizzonte debbano essere appresi prima di quelli a lungo orizzonte, o si affidano a selezioni rumorose e ottimistiche che amplificano gli errori su lunghi orizzonti.

Metodologia: DCRL (Divide-and-Conquer RL)

Gli autori propongono DCRL, un algoritmo che istanzia esplicitamente una strategia di divide-and-conquer per l'apprendimento del valore. DCRL affronta le suddette sfide attraverso tre meccani centrali:

1. Struttura Ricorsiva Divide-and-Conquer

Invece di campionare segmenti di traiettoria di lunghezze arbitrarie in modo indipendente, DCRL decompone ricorsivamente un segmento di traiettoria campionato $(s_i, s_j)$ in un albero binario bilanciato:

Divide: Un segmento viene diviso nel suo punto medio $k = \lfloor (i+j)/2 \rfloor$ in due figli: $(s_i, s_k)$ e $(s_k, s_j)$ . Questa ricorsione continua fino a raggiungere i segmenti a singolo step (foglie).
Conquer: La funzione valore viene addestrata dal basso verso l'alto (bottom-up). Le foglie a singolo step sono ancorate (ad es. $V(s_i, s_{i+1}) = \gamma$ ). I nodi genitori vengono aggiornati solo dopo che i loro figli sono stati addestrati.
Beneficio: Questa struttura riduce la profondità di bootstrap nel caso peggiore da lineare ( $O(H)$ nei metodi standard) a logaritmica ( $O(\log_2 H)$ ) rispetto all'orizzonte $H$ . Questa catena di dipendenza più breve corrisponde empiricamente a un accumulo di errore significativamente più lento.

2. Fattorizzazione Esatta della Rotta (Aggiornamenti Senza Selezione)

Per evitare la sovrastima causata dalla massimizzazione su stati intermedi rumorosi, DCRL utilizza una fattorizzazione esatta lungo la rotta osservata per il valore del comportamento $V_\tau$ :
$V_\tau(s, g) = V_\tau(s, w) \cdot V_\tau(w, g)$
dove $w$ è il punto medio fisso del segmento.

A differenza dei classici backup transitivi che massimizzano su tutti i possibili $w$ , questa regola di aggiornamento valuta un'unica rotta supportata dal dataset.
Ciò assicura che l'algoritmo apprenda i valori del comportamento (valori delle rotte dimostrate) senza introdurre bias di selezione. Gli autori dimostrano che la subottimalità della rotta cresce sotto composizione, motivando la necessità di apprendere da costituenti più brevi e meno subottimali per primi.

3. Propagazione del Valore per l'Ottimalità

Mentre la fattorizzazione ricorsiva apprende valori del comportamento affidabili, essa non scopre intrinsecamente rotte ottimali più brevi non presenti nella specifica traiettoria. Per recuperare i valori ottimali ( $V^*$ ), DCRL impiega un secondo obiettivo:

Propagazione Multistep: La funzione valore viene addestrata utilizzando obiettivi rintelati globalmente (stile Hindsight Experience Replay) con una perdita ad alto es cierto (upper-expectile loss).
Meccanismo: Questo obiettivo compone segmenti attraverso diverse traiettorie per identificare rotte più brevi.
Sinergia: La componente di divide-and-conquer ricorsivo fornisce una base affidabile e a bassa dipendenza per i valori del comportamento a lungo raggio, che l'obiettivo di propagazione può poi sfruttare per comporre percorsi ottimali.

Implementazione: Slot Scheduling Parallelo

Per eseguire questo addestramento ricorsivo in modo efficiente senza sacrificare la diversità dei batch, DCRL utilizza lo slot scheduling:

Molteplici "slot" indipendenti mantengono alberi ricorsivi separati per diversi segmenti radice.
Ogni slot elabora il proprio albero dalle foglie alla radice.
Durante l'addestramento, i campioni vengono estratti da questi slot. Poiché gli slot si svuotano e si riempiono a ritmi diversi, i minibatch contengono un mix di lunghezze di segmento (brevi e lunghe) pur preservando rigorosamente l'ordine di addestramento figlio-padre all'interno di ogni slot.

Contributi Chiave

Algoritmo: L'introduzione di DCRL, che costruisce esplicitamente alberi binari bilanciati su segmenti intra-traiettoria, impone l'addestramento bottom-up tramite fattorizzazione del valore e utilizza lo slot scheduling per l'esecuzione parallela.
Analisi: Una prova teorica che dimostra come DCRL riduca la profondità di bootstrap nel caso peggiore da lineare a logaritmica nell'orizzonte. L'analisi empirica in un ambiente controllato dimostra che questa struttura di dipendenza più breve porta a un accumulo di errore sensibilmente più lento rispetto ai metodi a profondità lineare.
Performance: DCRL raggiunge prestazioni allo stato dell'arte in diversi benchmark di GCRL offline, inclusi ambienti basati su stati e su pixel. In particolare, sui cinque compiti a lungo orizzonte più impegnativi in OGBench, DCRL migliora il miglior punteggio medio precedente da 55 a 64, superando sia i baseline flat che quelli gerarchici.

Risultati

Compiti a Lungo Orizzonte: Nei compiti OGBench come humanoidmaze-giant e ambienti puzzle complessi, DCRL supera significativamente i precedenti metodi flat (es. IQL, TD, TRL) e i metodi gerarchici (es. HIQL, SHARSA). È l'unico metodo flat a ottenere un successo non nullo nel compito cube-octuple.
Accumulo di Errore: In esperimenti controllati (ambiente combination-lock), l'errore Q di DCRL rimane relativamente piatto all'aumentare dell'orizzonte, mentre i metodi standard TD e TRL mostrano una rapida crescita dell'errore.
Studi di Ablazione: Rimuovere lo scheduling ricorsivo (addestramento in ordine casuale) causa un drastico calo delle prestazioni (il tasso di successo scende dal 93% al 18% in humanoidmaze-giant), confermando la necessità dell'ordine figlio-padre. Rimuovere l'obiettivo di propagazione degrada anch'esso le prestazioni, validando la necessità di entrambi l'apprendimento del comportamento e il recupero del valore ottimale.
Confronto con TRL: Sebbene TRL utilizzi simili backup intra-traiettoria, manca della struttura ricorsiva esplicita e dello scheduling bilanciato, portando a una profondità nel caso peggiore lineare e a un maggiore accumulo di errore.

Significato e Limitazioni

Il paper sostiene che DCRL fornisca una base per scalare il GCRL a orizzonti più lunghi mitigando l'accumulo di errore indotto dall'orizzonte attraverso un processo di apprendimento strutturato e ricorsivo. Dimostra che modellare esplicitamente la struttura di dipendenza dell'apprendimento del valore (segmenti più brevi prima di quelli più lunghi) è critico per la stabilità in contesti offline.

Limitazioni riconosciute dagli autori:

Dinamiche Deterministiche: Come altri metodi basati sulla disuguaglianza triangolare, DCRL assume dinamiche deterministiche. In ambienti stocastici, la fattorizzazione esatta $E[XY] \neq E[X]E[Y]$ generalmente fallisce.
Superiorità Gerarchica in Domini Specifici: Sebbene DCRL eccella in compiti a lungo orizzonte come humanoidmaze-giant, gli approcci gerarchici superano ancora il suo rendimento in compiti come cube-manipulation, suggerendo che la difficoltà del compito non è solo una funzione della lunghezza dell'orizzonte e che la gerarchia può rimanere benefica in certi contesti.

Gli autori identificano l'estensione del campionamento ricorsivo a dinamiche stocastiche e la comprensione delle condizioni in cui la gerarchia rimane vantaggiosa come importanti direzioni per il lavoro futuro.