🤖 machine learning

Confounding Robust Continuous Control via Automatic Reward Shaping

Il lavoro propone un metodo per apprendere automaticamente funzioni di *reward shaping* da dataset offline per il controllo continuo, utilizzando un approccio causale per garantire la robustezza dell'agente anche in presenza di variabili confondenti non osservate.

Autori originali: Mateo Juliani, Mingxuan Li, Elias Bareinboim

Pubblicato 2026-02-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mateo Juliani, Mingxuan Li, Elias Bareinboim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: L'Allenatore "Distratto" e i Dati "Bugiardi"

Immagina di voler insegnare a un robot a correre o a muovere una mano meccanica per aprire una porta. Per farlo velocemente, decidi di usare dei video di un esperto che lo fa già. Questo si chiama "Apprendimento Offline".

Il problema è che i video dell'esperto sono "sporchi". L'esperto, magari, usa dei sensori super tecnologici che vedono tutto (la posizione esatta di ogni giunto, la velocità millimetrica, ecc.). Tu, però, stai cercando di addestrare un robot che ha dei sensori molto più economici e limitati: il tuo robot è come un corridore che deve correre con una benda sugli occhi o con dei sensori che non gli dicono quanto velocemente si sta muovendo.

In termini tecnici, questo si chiama "Confounding" (Confondimento). I dati dell'esperto sono influenzati da informazioni che il tuo robot non può vedere. Se il tuo robot prova a copiare l'esperto senza capire perché l'esperto fa certe mosse, finirà per fare confusione, sbaglierà tutto e non imparerà mai bene. È come cercare di imparare a guidare guardando solo le foto di un pilota di Formula 1, senza sapere che lui ha un cambio speciale che tu non hai.

La Soluzione: Il "Correttore di Rotta" (Reward Shaping)

Gli autori del paper hanno inventato un modo per aiutare il robot a non farsi ingannare dai dati dell'esperto. Lo fanno usando una tecnica chiamata "Automatic Reward Shaping" (Modellazione Automatica della Ricompensa).

Immagina che l'allenamento sia un percorso a ostacoli. Normalmente, il robot riceve un premio (una "ricompensa") solo quando arriva alla fine. Ma questo è frustrante e lento. Il Reward Shaping è come un allenatore che ti dà una pacca sulla spalla ogni volta che fai un passo nella direzione giusta.

Ma ecco il colpo di genio: gli autori hanno capito che, poiché i dati dell'esperto sono "confusi" (perché l'esperto vede cose che il robot non vede), non possiamo dare al robot ricompense basate semplicemente su ciò che l'esperto ha fatto. Se lo facessimo, il robot cercherebbe di imitare mosse che non può capire, fallendo miseramente.

Invece, hanno creato una formula matematica speciale (chiamata Causal Bellman Equation) che agisce come un "filtro della verità". Questo filtro dice al robot: "Guarda, l'esperto ha fatto questa mossa perché vedeva una cosa che tu non vedi. Non cercare di copiarla esattamente, ma usa questa informazione per capire quanto sei vicino a un obiettivo ideale, anche se non vedi tutto il quadro."

In parole povere: Come funziona il loro metodo?

Analisi dei "Segnali Fantasma": Il sistema guarda i dati dell'esperto e cerca di capire quali informazioni sono "nascoste" (i fattori confondenti).
Creazione di una Mappa Ottimistica: Invece di dire al robot "fai come l'esperto", il sistema crea una sorta di "mappa del tesoro" (chiamata potenziale) che indica le zone dove è probabile che il robot ottenga successo, basandosi su una versione "corretta" e cauta dei dati.
L'Allenatore Intelligente: Durante l'allenamento, il robot riceve piccoli premi extra basati su questa mappa. Questi premi non cambiano l'obiettivo finale (il robot deve comunque arrivare alla fine del percorso), ma rendono il viaggio molto più fluido e meno confusionario.

Perché è importante?

I risultati mostrano che i robot addestrati con questo metodo sono molto più robusti. Anche se hanno "occhi limitati" (sensori poveri), riescono a imparare compiti complessi come saltare (Hopper) o camminare (Walker) molto meglio di quelli che cercano di copiare l'esperto alla cieca.

In sintesi: È come dare a uno studente che studia su un libro incompleto una guida che non gli dice solo "copia questa pagina", ma gli spiega "ecco il senso logico di quello che sta succedendo, anche se mancano dei pezzi".

Riassunto Tecnico: Controllo Continuo Robusto al Confounding tramite Reward Shaping Automatico

1. Il Problema: Il Bias del Confounding nell'Apprendimento Offline

Il problema centrale affrontato dai ricercatori è l'inefficacia dei metodi di Reinforcement Learning (RL) offline quando i dati di addestramento sono "contaminati" da variabili confondenti non osservate (unobserved confounders).

In molti scenari reali (es. robotica), i dataset offline sono raccolti da agenti che hanno accesso a sensori più avanzati o informazioni privilegiate rispetto all'agente che dovrà operare online. Questa discrepanza crea un confounding bias: le azioni e le ricompense registrate nel dataset dipendono da variabili ( $U$ ) che l'agente online non può vedere. Di conseguenza, l'agente online non riesce a identificare correttamente la funzione di transizione o la funzione di ricompensa, portando a politiche sub-ottimali o pericolose. I metodi standard (come CQL) falliscono perché assumono implicitamente che il processo sia un MDP (Markov Decision Process) non confuso.

2. Metodologia Proposta

Gli autori propongono un framework che combina la Causal Inference con il Potential-Based Reward Shaping (PBRS) per mitigare questo bias in ambienti a controllo continuo ad alta dimensionalità.

A. L'Equazione di Bellman Causale (Causal Bellman Equation):
Il contributo teorico principale è l'estensione dell'equazione di Bellman per i Confounded Markov Decision Processes (CMDP). Invece di cercare di stimare direttamente il valore ottimale (che è non identificabile in presenza di confounders), gli autori derivano un'equazione che fornisce un limite superiore stretto (tight upper bound) sui valori di stato ottimali interventivi.
L'equazione include un termine di compensazione che tiene conto della "strada non percorsa" (the road not taken): ovvero, il miglior ritorno possibile che l'agente avrebbe potuto ottenere se avesse scelto azioni diverse da quelle registrate nel dataset, considerando l'incertezza causale.

B. Apprendimento Automatico dei Potenziali:
Poiché il problema è in uno spazio continuo, gli autori implementano un algoritmo neurale per approssimare questo limite superiore:

Modellazione della politica osservata: Si stima la distribuzione delle azioni nel dataset tramite una politica Gaussiana.
Modellazione della differenza di stato: Si modella la distribuzione delle transizioni ( $\Delta s$ ) per stimare dove l'agente potrebbe trovarsi dopo un'azione non osservata.
Stima del Potenziale: Il valore di stato appreso viene utilizzato come funzione di potenziale ( $\phi$ ) all'interno del framework PBRS.

C. Reward Shaping (PBRS):
La ricompensa viene modificata aggiungendo un segnale di shaping: $r' = r + \gamma\phi(s') - \phi(s)$ . Grazie alle proprietà del PBRS, questa modifica accelera l'apprendimento e guida l'esplorazione senza alterare la politica ottimale originale del compito.

3. Contributi Chiave

Teoria: Derivazione della Causal Bellman Optimality Equation per CMDP stazionari a orizzonte infinito e prova della sua convergenza a un punto fisso unico (limite superiore del valore ottimale).
Algoritmo: Sviluppo di un algoritmo di apprendimento neurale capace di gestire spazi di stato e azione continui e ad alta dimensionalità per stimare i potenziali causali.
Robustezza: Un metodo che garantisce la preservazione dell'ottimalità della politica originale pur fornendo segnali di guida informativi in presenza di bias.

4. Risultati Sperimentali

Il metodo è stato testato su benchmark di controllo continuo (MuJoCo e Adroit) con diverse configurazioni di "osservazione parziale" (rimozione di dimensioni dello stato per simulare i confounders).

Performance: Il metodo Causal PBRS ha superato costantemente i baseline, inclusi agenti SAC standard, agenti con reti ricorrenti (Recurrent SAC) e metodi di reward shaping non causali (come CQL-Shaping e T-REX-Shaping).
Efficacia nei casi critici: Il miglioramento è stato particolarmente marcato quando la dimensione rimossa era fondamentale per la ricompensa (es. velocità di avanzamento in Hopper o HalfCheetah). In questi casi, il Causal PBRS è riuscito a recuperare gran parte della performance persa a causa del confounding.
Qualità dei dati: Gli esperimenti hanno dimostrato che il metodo è robusto anche quando i dati offline provengono da agenti con diversi livelli di competenza (da "semplici" a "esperti").

5. Significato e Conclusioni

Il lavoro rappresenta un passo fondamentale verso il controllo continuo robusto dal punto di vista causale. Dimostra che è possibile estrarre conoscenza utile da dataset "contaminati" per guidare l'apprendimento online, trasformando un problema di identificazione impossibile in un problema di ottimizzazione di un limite superiore. Questo approccio apre la strada a sistemi robotici più affidabili che possono imparare da dati storici o dimostrazioni umane senza essere ingannati da informazioni sensoriali mancanti.