💻 computer science

DiSPo: Diffusion-SSM based Policy Learning for Coarse-to-Fine Action Discretization

Il paper presenta DiSPo, una nuova architettura di policy basata su un modello di diffusione e su Mamba (SSM) che, imparando da abilità grezze, genera azioni a risoluzione variabile per l'apprendimento da dimostrazioni, ottenendo prestazioni superiori e maggiore efficienza rispetto ai metodi tradizionali.

Autori originali: Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

Pubblicato 2026-02-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Nayoung Oh, Jaehyeong Jang, Moonkyeong Jung, Daehyung Park

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot come compiere un compito delicato, come passare un anello attraverso un tubo stretto o premere un pulsante senza romperlo.

Il problema tradizionale è questo: se mostri al robot solo movimenti lenti e grossolani (come se guardassi un video in bassa risoluzione), il robot spesso non riesce a capire i dettagli fini necessari per non sbattere contro gli ostacoli. Se invece gli mostri movimenti super veloci e precisi (alta risoluzione), hai bisogno di tantissimi dati, che sono difficili e costosi da raccogliere.

DiSPo è la soluzione intelligente proposta in questo articolo. È come un "super-istruttore" che sa leggere sia le mappe grossolane che i dettagli microscopici, adattandosi a ciò di cui hai bisogno in tempo reale.

Ecco come funziona, spiegato con delle analogie semplici:

1. Il Cuore del Sistema: Un "Cantiere" che si Pulisce da Solo

Immagina che il robot debba disegnare una linea perfetta su un foglio, ma parta da un foglio completamente sporco di inchiostro nero (rumore).

L'approccio vecchio: I metodi tradizionali provano a disegnare la linea direttamente, ma se partono da un foglio sporco o con informazioni incomplete, la linea viene storta.
L'approccio DiSPo (Diffusione): DiSPo usa un processo chiamato "diffusione". Immagina di avere un artista che, passo dopo passo, toglie un po' di inchiostro nero dal foglio sporco, rivelando gradualmente la linea perfetta sottostante. All'inizio vede solo macchie, ma dopo molti piccoli passi, la linea diventa nitida e precisa.

2. Il Segreto: Il "Cambio di Marcia" Intelligente (SSM e Mamba)

Qui entra in gioco la vera magia. Il sistema usa una tecnologia chiamata Mamba (un tipo di intelligenza artificiale molto veloce ed efficiente).

Il problema: Di solito, i robot hanno una "marcia" fissa. Se imparano a guidare a 20 km/h (movimenti lenti), non sanno come fare a 100 km/h (movimenti rapidi e precisi) senza impazzire.
La soluzione DiSPo: DiSPo ha un "cambio di marcia" automatico. Può decidere di muoversi lentamente quando il robot è in uno spazio aperto (per risparmiare energia e tempo) e cambiare istantaneamente in una "marcia super veloce" quando deve passare attraverso un buco stretto o toccare un pulsante delicato.
L'analogia: È come un automobilista esperto. In autostrada guida fluido e veloce (movimenti grossolani), ma appena arriva in una strada di montagna piena di curve, rallenta e fa micro-correzioni precise (movimenti fini) senza che nessuno glielo dica esplicitamente.

3. L'Allenamento: Creare "Falsi" Addestramenti

Come fa il robot a imparare i movimenti fini se gli umani gli hanno mostrato solo movimenti lenti?

L'idea geniale: DiSPo crea da solo dei "movimenti finti" (chiamati pseudo-demonstrations). Prende i movimenti lenti che ha visto, immagina come sarebbero stati se fossero stati eseguiti più velocemente, e si allena su queste immagini mentali.
L'analogia: È come se un musicista ascoltasse una canzone suonata lentamente e poi provasse a suonarla a velocità doppia, immaginando come dovrebbero essere le note intermedie. Alla fine, riesce a suonare la versione veloce perfettamente, anche se non l'ha mai sentita prima.

4. I Risultati nella Vita Reale

Gli scienziati hanno testato questo sistema su un vero braccio robotico (un UR5e) in due compiti difficili:

Passare un anello attraverso un tubo: Il robot deve passare un anello quadrato attraverso un tubo senza toccarlo.
Premere un pulsante: Deve toccare un pulsante senza sbattere contro il muro accanto.

Il risultato?
Mentre altri robot (i "baselines") spesso sbattevano contro il tubo o mancavano il pulsante perché i loro movimenti erano troppo "grezzi", DiSPo ha avuto un successo superiore all'80-90%. Ha imparato a essere "grosso" dove non serve precisione e "finissimo" dove serve, tutto partendo da dimostrazioni umane che non erano perfette.

In Sintesi

DiSPo è un robot che non ha bisogno di vedere ogni singolo dettaglio per imparare. Capisce la "struttura" generale del movimento e sa esattamente quando rallentare per fare i dettagli precisi. È come avere un assistente che sa quando correre e quando camminare in punta di piedi, rendendo il lavoro più veloce, più sicuro e molto più intelligente.

1. Il Problema

Il lavoro affronta la sfida di apprendere abilità robotiche con granularità multipla (azioni da grossolane a fini) partendo da dimostrazioni eterogenee.

Limitazioni degli approcci attuali: I metodi tradizionali di Imitation Learning (IL) spesso richiedono dati ad alta frequenza (fini) per apprendere movimenti precisi, oppure si basano su tecniche di interpolazione o modelli dinamici che non riescono a codificare o decodificare efficacemente la diversità delle granularità intrinseche nelle abilità umane.
La sfida specifica: I modelli esistenti tendono a imparare da una specifica frequenza di traiettorie o da scale temporali non definite, fallendo nel generare azioni precise su scale di controllo variabili in base alle esigenze dell'utente. Inoltre, l'addestramento su dati fini comporta costi computazionali e di archiviazione elevati.

2. Metodologia: DiSPo

Gli autori propongono DiSPo, una politica basata su un modello ibrido Diffusion-State Space Model (SSM), che combina la potenza rappresentativa dei modelli di diffusione con la flessibilità di discretizzazione degli SSM (in particolare Mamba).

Architettura Chiave

Integrazione Diffusion-SSM: DiSPo utilizza un processo di denoising diffuso (DDPM) in cui il modello predice il rumore per generare azioni. Al posto delle tradizionali reti neurali ricorrenti o Transformer, impiega blocchi Mamba (SSM) per l'elaborazione delle sequenze.
Meccanismo di Step-Scaling (Fattore di Scala Temporale): Questa è l'innovazione centrale. DiSPo introduce un fattore di scala $r_t$ $r_{t}$ che modula i parametri dell'SSM discreto (specificamente il passo temporale $\Delta$ $Δ$ ).
- Questo permette al modello di apprendere da dimostrazioni a diverse frequenze (es. 2.5 Hz, 5 Hz, 20 Hz) e di generare azioni a granularità desiderate dall'utente in tempo reale.
- Il modello può adattarsi dinamicamente: usare passi temporali più grandi (azioni grossolane) in regioni non critiche e passi più piccoli (azioni fini) per manovre di precisione.
Struttura del Modello:
- L'input include osservazioni (immagini e propriocezione), azioni rumorose e il fattore di scala $r_t$ .
- I blocchi DiSPo utilizzano adaptive Layer Normalization (adaLN) condizionata al passo di diffusione e al fattore di scala.
- Viene escluso l'uso di strati convoluzionali fissi per evitare limitazioni nel campo ricettivo, permettendo di gestire sequenze di granularità variabile.

Strategia di Apprendimento Multi-Granularità

Per migliorare la previsione di azioni ad alta frequenza non presenti nel dataset originale, gli autori introducono uno schema di apprendimento in due fasi:

Pre-addestramento con Augmentation del Tasso di Campionamento: Il dataset viene arricchito casualmente con fattori di scala per simulare diverse frequenze.
Fine-tuning con Pseudo-Dimostrazioni:
- Il modello pre-addestrato genera sequenze ad alta frequenza partendo dal rumore.
- Vengono create "pseudo-dimostrazioni" sostituendo le azioni a bassa frequenza (già presenti nel dataset reale) con le azioni rumorose del dataset originale durante il processo di denoising, mantenendo così la coerenza con le dimostrazioni umane reali.
- Questo permette di apprendere dettagli fini senza raccogliere nuovi dati ad alta frequenza.

3. Contributi Chiave

Primo approccio Modulare Mamba per Manipolazione: È il primo tentativo di modulare un modello discreto come Mamba per la manipolazione robotica a grana fine, sfruttando la sua capacità di adattamento dell'input.
Generazione di Azioni a Granularità Variabile: DiSPo può generare azioni sia grossolane che fini a seconda delle necessità, utilizzando lo stesso modello addestrato, riducendo l'overhead computazionale nelle fasi non critiche.
Efficienza dei Dati: Il metodo apprende efficacemente da dimostrazioni "coarse" (a bassa frequenza) e le trasforma in comportamenti precisi, superando la necessità di costose raccolte di dati ad alta frequenza.
Benchmarks Nuovi: Introduzione di nuovi benchmark coarse-to-fine per valutare le politiche visuomotorie.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark simulati (Clamp passing, Passage passing, Button touch) e su due task reali con un braccio robotico UR5e.

Performance di Successo: DiSPo ha raggiunto tassi di successo superiori all'81% su tutti i benchmark, superando significativamente gli stati dell'arte (come DiffusionPolicy-C/T, D-Ma, VQ-BeT). In particolare, ha mostrato un miglioramento fino al 19% rispetto alle versioni senza fine-tuning e ha mantenuto alte performance anche partendo da dimostrazioni a 2.5 Hz, dove i metodi basali fallivano quasi completamente.
Apprendimento Multi-Granularità: In scenari con dati misti (2.5 Hz e 5 Hz), DiSPo ha ottenuto il 93% di successo nel task "Button touch", distinguendo le frequenze dei dati senza degradare le prestazioni, mentre i baselines producevano movimenti erratici.
Efficienza Inferenziale: L'uso del predittore di scala $\phi_r$ ha permesso di ridurre il numero di passi di azione necessari del 32% nei task meno critici, mantenendo un controllo fine solo dove necessario, senza compromettere il successo del task.
Validazione Reale: Sull'hardware reale (UR5e), DiSPo ha dimostrato capacità di evitare collisioni in compiti di precisione (es. inserire un clamp con una tolleranza di 2.5 mm) e di toccare pulsanti senza urti, superando il modello baseline D-Ma che tendeva a causare collisioni o fermarsi prematuramente.

5. Significato e Impatto

DiSPo rappresenta un passo avanti significativo nell'apprendimento per dimostrazione robotica.

Flessibilità Operativa: Permette agli operatori di specificare il livello di dettaglio desiderato in fase di esecuzione, adattando il comportamento del robot al contesto (es. movimento veloce in spazio libero, movimento lento e preciso vicino a ostacoli).
Riduzione dei Costi: Dimostra che non è necessario raccogliere enormi dataset ad alta frequenza per insegnare abilità fini; è possibile partire da dati "grezzi" e raffinarli tramite l'architettura del modello.
Scalabilità: L'uso di SSM (Mamba) garantisce un'inferenza efficiente e una scalabilità lineare rispetto alla lunghezza della sequenza, rendendo il metodo adatto per compiti di manipolazione complessi e a lungo termine.

In sintesi, DiSPo risolve il problema della discretizzazione delle azioni in modo adattivo, unendo l'accuratezza dei modelli di diffusione con l'efficienza computazionale e la flessibilità temporale degli State Space Models.