Dual-Robust Cross-Domain Offline Reinforcement Learning Against Dynamics Shifts

Il paper presenta DROCO, un nuovo algoritmo di apprendimento per rinforzo offline cross-domain che garantisce robustezza sia durante l'addestramento che al test, affrontando gli spostamenti dinamici attraverso un innovativo operatore di Bellman robusto e tecniche di penalizzazione del valore.

L'essenziale

Immagina di voler insegnare a un robot a camminare o a giocare a calcio. Normalmente, per imparare, il robot deve fare milioni di tentativi ed errori nel mondo reale. Ma nel mondo reale, sbagliare può essere costoso (il robot si rompe) o pericoloso.

Qui entra in gioco l'Apprendimento per Rinforzo Offline: invece di far provare il robot, gli diamo un "libro di appunti" pieno di dati raccolti da altri robot o da simulatori, e gli chiediamo di imparare da lì senza toccare il mondo reale.

Il problema è che spesso il "libro di appunti" del robot target (quello che deve imparare) è molto piccolo. Per risolvere questo, gli scienziati usano il Cross-Domain Offline RL: prendono un libro di appunti enorme da un robot "cugino" (un dominio diverso, magari un simulatore imperfetto) e lo mescolano con il piccolo libro del robot target.

Il Problema: La Fragilità

Il documento spiega che c'è un grosso difetto nei metodi attuali. Immagina di allenare un calciatore usando le statistiche di una squadra che gioca su un campo di terra battuta (il "dominio sorgente") e poche partite su un campo di erba perfetta (il "dominio target").

Se il calciatore impara solo a giocare su terra battuta, quando scende in campo sull'erba (o se il campo diventa fangoso o scivola), potrebbe cadere e perdere. I metodi attuali sono bravi a mescolare i dati per allenarsi, ma sono fragili: appena le condizioni cambiano leggermente (il "moto" del robot cambia, o il simulatore non è perfetto), il robot smette di funzionare bene.

La Soluzione: DROCO (Il "Doppio Scudo")

Gli autori di questo paper (ICLR 2026) hanno creato un nuovo metodo chiamato DROCO. L'idea è creare un allenatore che non si preoccupi solo di vincere la partita di allenamento, ma che prepari il robot a resistere a qualsiasi imprevisto, sia durante l'allenamento che durante la partita vera.

Ecco come funziona, con delle analogie semplici:

1. L'Operatore "Robusto" (RCB): Il Simulatore di Tempeste

Immagina che il robot stia imparando dai dati del "cugino" (il dominio sorgente, magari un simulatore). Invece di dire "fai esattamente quello che dice il libro", DROCO dice: "Fai quello che dice il libro, ma immagina che il terreno sotto i tuoi piedi possa scivolare o cambiare forma".

• L'analogia: È come se un istruttore di guida facesse guidare un allievo su un percorso normale, ma gli dicesse: "Ora immagina che la strada sia ghiacciata, o che ci sia nebbia, e calcola la tua mossa pensando a questi rischi".
• Il risultato: Il robot impara una strategia che funziona bene anche se le condizioni fisiche cambiano leggermente (robustezza al "test-time").

2. Il "Penalità Dinamica": Il Termometro dell'Ansia

C'è un rischio: se pensi troppo ai pericoli, potresti diventare troppo timido e non giocare affatto (sottostimare il valore delle mosse). Se non pensi ai pericoli, potresti essere troppo sicuro e fare errori grossolani (sovrastimare).

• L'analogia: Immagina un termometro che misura quanto sei "ansioso" di sbagliare. DROCO ha un termometro intelligente che si regola da solo. Se nota che il robot sta diventando troppo sicuro di sé (e potrebbe sbagliare), gli dà una "sculacciata" (penalità) per abbassare l'entusiasmo. Se nota che il robot è troppo spaventato, riduce la penalità per farlo giocare con più fiducia.
• Il risultato: Il robot trova il perfetto equilibrio tra cautela e coraggio.

3. La "Penna Rossa" (Huber Loss): Il Filtro per gli Errori

A volte, nei dati di allenamento, ci sono errori strani o dati "sporchi" (come un sensore che si blocca e registra un valore assurdo). I metodi normali cercano di correggere questi errori come se fossero normali, il che confonde il robot.

• L'analogia: Immagina di correggere un compito a scuola. Se un alunno sbaglia un calcolo di un numero, lo correggi. Ma se scrive "100000" invece di "10" perché ha sbagliato a digitare, un buon insegnante (DROCO) non si arrabbia troppo per quel singolo numero folle, ma guarda il resto del compito. Usa una "penna rossa speciale" che ignora gli errori enormi per non distruggere la valutazione complessiva.
• Il risultato: Il robot impara dai dati veri e ignora i "rumori" strani che potrebbero confonderlo.

Perché è importante?

Prima di DROCO, se un robot imparava da un simulatore e poi veniva messo in un magazzino reale, se il pavimento era leggermente più scivoloso o se un ingranaggio si usurava, il robot falliva.

Con DROCO, il robot è come un atleta che ha allenato la sua mente non solo per correre veloce, ma anche per correre sotto la pioggia, sul fango o con le scarpe sbagliate. Quando viene messo nel mondo reale, anche se le condizioni non sono perfette, continua a funzionare bene.

In Sintesi

Gli autori hanno creato un algoritmo che:

1. Usa dati di altri robot (domini diversi) per imparare di più.
2. Si allena pensando a scenari peggiori (per non farsi cogliere impreparato).
3. Si corregge da solo per non essere né troppo sicuro né troppo pauroso.
4. Ignora i dati "sporchi" che potrebbero confonderlo.

Il risultato è un robot molto più affidabile, capace di adattarsi ai cambiamenti del mondo reale senza rompersi o fermarsi. È un passo avanti fondamentale per portare i robot intelligenti nelle nostre case e nelle fabbriche, dove le cose non sono mai perfettamente come nei simulatori.

Sommario tecnico

1. Il Problema: Robustezza Duale nell'RL Offline Cross-Domain

L'apprendimento per rinforzo offline (Offline RL) addestra agenti utilizzando solo dataset pre-registrati, evitando interazioni costose o rischiose con l'ambiente reale. Tuttavia, l'RL offline standard soffre di una copertura limitata dei dati. Per ovviare a ciò, l'RL Offline Cross-Domain utilizza dati aggiuntivi da un dominio sorgente (es. un simulatore imperfetto) per aiutare l'apprendimento in un dominio target (es. un robot reale) dove i dati sono scarsi.

Il problema centrale identificato dagli autori è la mancanza di robustezza "test-time":

• Robustezza Train-time: Le tecniche esistenti si concentrano sul gestire il disallineamento delle dinamiche tra i dati di training (sorgente e target) durante l'addestramento.
• Fragilità Test-time: Quando il policy appresa viene deployata in un ambiente reale, le dinamiche possono subire perturbazioni impreviste (es. usura dei componenti meccanici, variazioni fisiche). Gli studi empirici mostrano che le policy ottenute con l'RL cross-domain sono estremamente fragili a queste perturbazioni durante l'esecuzione, specialmente quando i dati del dominio target sono limitati.

L'obiettivo del paper è introdurre e risolvere il problema della robustezza duale: garantire sia la robustezza durante l'addestramento (contro il disallineamento sorgente-target) sia durante il test (contro le perturbazioni ambientali dinamiche).

2. Metodologia: L'algoritmo DROCO

Gli autori propongono DROCO (Dual-RObust Cross-domain Offline RL), un algoritmo che integra tre componenti chiave per raggiungere la robustezza duale:

A. Operatore di Bellman Robusto Cross-Domain (RCB)

Il cuore teorico è un nuovo operatore di Bellman, $T^{RCB}$, che tratta diversamente i dati del dominio sorgente rispetto a quelli del dominio target:

• Dominio Target: Utilizza l'operatore di Bellman standard (in-sample) per massimizzare le prestazioni nell'ambiente pulito.
• Dominio Sorgente: Applica un operatore di Bellman robusto. Invece di usare la dinamica osservata, l'operatore considera il caso peggiore all'interno di un insieme di incertezza delle dinamiche ($\mathcal{M}_\epsilon$).
• Formulazione Pratica: Poiché l'insieme di incertezza delle dinamiche è spesso inaccessibile (il simulatore è una "scatola nera"), gli autori derivano una riformulazione duale basata sulla distanza di Wasserstein. Questo trasforma il problema di perturbazione delle dinamiche in una perturbazione dello stato. L'operatore pratico ($\hat{T}^{RCB}$) cerca il valore minimo di $Q$ all'interno di un intorno dello stato osservato ($U_\epsilon(s')$), rendendo l'operatore trattabile.

Teorema di Robustezza: È stato dimostrato teoricamente che applicare l'operatore RCB solo sui dati del dominio sorgente garantisce:

1. Robustezza Train-time: Stima conservativa dei valori per evitare l'overestimation dovuta a dinamiche fuori distribuzione (OOD).
2. Robustezza Test-time: La policy appresa mantiene prestazioni superiori al caso peggiore anche se l'ambiente di deployment subisce perturbazioni dinamiche entro una certa soglia.

B. Gestione dell'Errore di Stima del Valore

L'uso dell'operatore inf (minimo) e dei modelli di dinamica può portare a sottostime o sovrastime dei valori. Per mitigare ciò, DROCO introduce due tecniche:

1. Dynamic Value Penalty: Viene introdotta una penalità dinamica basata sulla discrepanza tra il valore atteso e il valore minimo previsto dall'ensemble di modelli di dinamica. Un coefficiente $\beta$ regola l'intensità della penalità per bilanciare tra sovrastima e sottostima.
2. Funzione di Perdita Huber: Al posto della classica perdita quadratica ($\ell_2$) nell'aggiornamento di Bellman, viene utilizzata la perdita di Huber. Questa funzione è meno sensibile agli outlier (errori di stima estremi), migliorando la stabilità dell'addestramento in presenza di dati rumorosi o dinamiche complesse.

C. Implementazione Pratica

DROCO utilizza un ensemble di modelli di dinamica addestrati sui dati del dominio target per simulare l'insieme di incertezza necessario per l'operatore RCB, evitando la necessità di campionamento casuale arbitrario e riducendo la conservatività eccessiva.

3. Risultati Sperimentali

Gli autori hanno condotto estese valutazioni su quattro task MuJoCo (HalfCheetah, Hopper, Walker2d, Ant) con dataset D4RL di diverse qualità (Medium, Expert, ecc.).

• Prestazioni Train-time (Shift Cinematici e di Morfologia):

  • DROCO supera i baselines più forti (come IGDF, OTDF, BOSA, DARA) in 9 task su 16 con shift cinematici e in 9 task su 16 con shift di morfologia.
  • Il punteggio normalizzato totale di DROCO è significativamente superiore (es. 1105.2 vs 969.8 per OTDF negli shift cinematici), dimostrando una migliore capacità di apprendimento nonostante il disallineamento delle dinamiche.

• Robustezza Test-time (Perturbazioni Dinamiche):

  • Gli esperimenti valutano la degradazione delle prestazioni sotto perturbazioni cinematiche, morfologiche e attacchi avversari (min-Q).
  • DROCO mostra una robustezza superiore: sotto perturbazioni "facili", la degradazione delle prestazioni è del 19.3%, mentre i baselines (IGDF, OTDF) subiscono degradazioni superiori al 50%.
  • Anche in scenari con dati target limitati (10% del dataset), DROCO mantiene una robustezza significativamente migliore rispetto agli altri metodi.

• Ablation Study:

  • L'uso della penalità dinamica e della perdita Huber è confermato come cruciale per le prestazioni finali e la stabilità.

4. Contributi Chiave

1. Identificazione del Problema: Dimostrazione empirica della fragilità dell'RL offline cross-domain alle perturbazioni test-time, specialmente con dati target scarsi, e avvio dello studio sulla "robustezza duale".
2. Nuovo Operatore Teorico (RCB): Introduzione di un operatore di Bellman robusto cross-domain con prove teoriche di contrazione e garanzia di robustezza duale.
3. Algoritmo Pratico (DROCO): Sviluppo di un algoritmo completo che combina modellazione di dinamica ensemble, penalità di valore dinamica e perdita Huber per gestire gli errori di stima.
4. Prestazioni Superiori: Risultati empirici che mostrano come DROCO superi lo stato dell'arte sia in termini di prestazioni medie che di resilienza a perturbazioni dinamiche.

5. Significato e Impatto

Questo lavoro è significativo perché sposta il paradigma dell'RL offline cross-domain dalla semplice gestione del disallineamento dei dati di training alla garanzia di sicurezza e stabilità durante il deployment reale.

• Applicabilità Reale: In scenari critici come la robotica, dove i componenti fisici si degradano nel tempo o i simulatori non sono perfetti, la capacità di un agente di mantenere prestazioni accettabili nonostante le variazioni dinamiche è fondamentale.
• Efficienza dei Dati: DROCO permette di sfruttare efficacemente grandi quantità di dati simulati (sorgente) anche quando i dati reali (target) sono molto limitati, senza sacrificare la robustezza.
• Fondamento Teorico: Fornisce un quadro teorico solido per la robustezza duale, collegando la teoria dell'RL robusto (Wasserstein) con le tecniche pratiche dell'RL offline (conservatività, modelli di dinamica).

In sintesi, DROCO rappresenta un passo avanti cruciale verso l'implementazione affidabile di agenti RL in ambienti reali non stazionari e incerti.