Riassunto Tecnico: Set-Supervised Diffusion Policy (SDP)

Definizione del Problema

Le Diffusion Policies (DP) sono emerse come un framework robusto per la manipolazione robotica, particolarmente negli spazi di azione continua ad alta dimensionalità (action-chunks). Tuttavia, come altri metodi di Behavior Cloning (BC), le DP sono vulnerabili allo shift distributivo, in cui la distribuzione degli stati indotta dalla policy devia dalla distribuzione dei dati di addestramento durante l'esecuzione. Una comune strategia di mitigazione prevede l'intervento dell'uomo nel loop (human-in-the-loop), in cui un insegnante corregge i fallimenti del robot.

Gli attuali pipeline di aggregazione dei dati e le standard perdite di BC ignorano ampiamente il "segnale negativo" fornito dalle azioni indesiderate del robot durante queste interazioni. Essi registrano tipicamente solo le azioni correttive dell'insegnante, polarizzando l'apprendimento verso la specifica distribuzione dell'insegnante. Ciò porta all'overfitting su dati dell'esperto potenzialmente imperfetti o rumorosi e a una crescente dipendenza da interventi costosi e di alta qualità. Inoltre, i metodi esistenti che tentano di apprendere da preferenze o correzioni (ad esempio, Direct Preference Optimization o modelli basati sull'energia come CLIC) faticano con gli action-chunks ad alta dimensionalità o mancano della stabilità e dell'integrazione con i meccanismi di action-chunking che rendono efficaci le DP.

Metodologia: Set-Supervised Diffusion Policy (SDP)

Gli autori propongono la Set-Supervised Diffusion Policy (SDP), un framework che sfrutta dati di action-chunk contrastivi (coppie di azioni positive e negative) per addestrare le diffusion policies. Inveve di trattare l'azione dell'insegnante come un singolo target esatto, SDP costruisce un insieme di action-chunks desiderati che funge da target a valori di insieme per l'apprendimento della policy.

1. Estensione degli Insiemi di Azioni Desiderati agli Action-Chunks

Costruendo sul concetto di supervisione a valori di insieme di CLIC (che opera su azioni a singolo step), SDP estende questo concetto agli action-chunks (sequenze di azioni $A_t = [a_t, \dots, a_{t+T-1}]$).

• Dato un'osservazione $O_t$ e una coppia di action-chunks (negativo $A^-$ dal robot, positivo $A^+$ dall'umano), SDP definisce un insieme di azioni desiderate $\hat{A}_t$.
• Questo insieme è costruito come una sequenza di insiemi desiderati a singolo step $\hat{A}^s_{t+i}$, dove ogni step è definito dalla distanza tra l'azione negativa e quella positiva.
• Un action-chunk appartiene all'insieme se ogni singola azione all'interno di esso rientra nel corrispondente insieme desiderato a singolo step. Ciò ammorbidisce il requisito di corrispondere esattamente all'azione dell'insegnante, permettendo azioni alternative ugualmente desiderabili.

2. Obiettivo di Addestramento e Campionamento

Addestrare una diffusion policy per massimizzare la probabilità di campionare da questo insieme non è banale perché i modelli di diffusione non forniscono stime esplicite di verosimiglianza (likelihood) richieste per le standard perdite di divergenza KL utilizzate nei modelli basati sull'energia.

• Approssimazione: SDP approssima l'obiettivo massimizzando la verosimiglianza di una lista di action-chunks desiderati campionati tratti dalla distribuzione target.
• Campionamento Vincolato: Per generare questi campioni, SDP impiega una procedura di campionamento di diffusione riflessa (reflected diffusion sampling). Durante il processo di denoising, i campioni intermedi vengono proiettati nuovamente nell'insieme desiderato se attraversano il confine. Nello specifico, se un passo di denoising cade al di fuori dell'insieme, viene proiettato all'azione positiva corrispondente ($a^+$). Ciò assicura che i campioni generati rimangano all'interno dell'insieme desiderato pur rimanendo vicini alla distribuzione attuale della policy.
• Funzione di Perdita: La policy viene addestrata utilizzando una standard perdita di denoising (simile alla BC) ma su questi action-chunks campionati anziché sulle azioni grezze dell'insegnante.

3. Pipeline di Aggregazione dei Dati

SDP si integra con un ciclo di apprendimento interattivo online:

• Quando un umano interviene, il sistema registra sia l'azione dell'insegnante ($A^+$) che l'azione non eseguita dal robot ($A^-$) per lo stesso istante temporale.
• Queste coppie formano un dataset contrastivo utilizzato per costruire gli insiemi di azioni desiderate.
• Il framework supporta sia l'apprendimento online (aggregazione dei dati durante l'esecuzione) che l'apprendimento offline (aumento dei dataset di dimostrazione esistenti sintetizzando azioni negative).

Contributi Chiave

1. Supervisione a Valori di Insieme per le Diffusion Policies: Il paper introduce un nuovo framework che adatta la supervisione a valori di insieme (precedentemente limitata agli EBM e alle azioni a singolo step) alle diffusion policies che operano in spazi di action-chunk ad alta dimensionalità.
2. Apprendimento Contrastivo dalle Correzioni: SDP utilizza efficacementmente il segnale negativo dai fallimenti del robot durante gli interventi umani, invece di scartarlo. Ciò riduce l'overfitting sulle specifiche azioni dell'insegnante e migliora la robustezza ai dati rumorosi.
3. Strategia di Campionamento per Riflessione: Gli autori propongono una pipeline di addestramento pratica che coinvolge un processo di denoising vincolato con operatori di riflessione per generare action-chunks desiderati validi per l'addestramento dei modelli di diffusione.
4. Miglioramento della Qualità dei Dati: Il metodo induce dataset di qualità superiore durante l'apprendimento online incoraggiando l'esplorazione all'interno dell'insieme di azioni desiderate, portando a una copertura dello stato più ampia rispetto agli approcci standard di BC.

Risultati Sperimentali

Gli autori hanno valutato SDP attraverso molteplici task di manipolazione simulata (Push-T, Square, PickCan, TwoArmLift) e task nel mondo reale (Insert-T, Round-table Assembly).

• Apprendimento Interattivo Online: SDP ha superato costantemente i baseline allo stato dell'arte (DP, DP-DPO, CLIC, IBC) sia in setting di intervento accurati che rumorosi. In particolare, SDP ha mostrato una degradazione delle prestazioni significativamente minore sotto feedback rumoroso rispetto alla standard DP, dimostrando una robustezza superiore.
• Apprendimento Offline: Le policy addestrate offline su dataset raccolti da agenti SDP hanno superato quelle addestrate su dataset raccolti da agenti DP standard. Ciò suggerisce che SDP genera dataset con migliore copertura dello stato e proprietà per la generalizzazione.
• Prestazioni nel Mondo Reale: In task a lungo orizzonte nel mondo reale, SDP ha ottenuto tassi di successo più elevati rispetto a DP, specialmente quando addestrata su dataset contenenti correzioni umane. Il metodo si è dimostrato più efficace nel sfruttare i dati di correzione per migliorare le prestazioni su task difficili.
• Studi di Ablazione: Gli esperimenti hanno confermato che la strategia di campionamento basata sulla riflessione è critica per le prestazioni, superando alternative come la guida tramite classificatore (classifier guidance).

Significato e Rivendicazioni

Il paper sostiene che la supervisione contrastiva sia un segnale potente ma sottoutilizzato per l'apprendimento di policy robotiche. Spostandosi dalla imitazione puntuale alla supervisione a valori di insieme, SDP mitiga i problemi di overfitting inerenti al classico behavior cloning. Gli autori sostengono che questo approccio permetta alle policy di migliorare oltre la qualità dei dati di addestramento (similmente al Reinforcement Learning) mantenendo al contempo la stabilità e l'espressività dei modelli di diffusione.

Il lavoro dimostra che modellare esplicitamente lo spazio delle azioni accettabili tramite correzioni umane porta a policy più robuste e a dati di addestramento di qualità superiore, riducendo la dipendenza da dimostrazioni esperte perfette. Gli autori riconoscono limitazioni, come il costo computazionale del campionamento degli action-chunks desiderati durante l'addestramento e l'assunzione di un feedback di correzione assoluto (anziché relativo).