Reactive Motion Generation via Phase-varying Neural Potential Functions

1. Enunciato del Problema

Il paper affronta un compromesso fondamentale nell'Apprendimento dalla Dimostrazione (LfD) per la generazione di movimenti robotici: bilanciare la reattività (capacità di recuperare da disturbi) con la capacità di modellazione (capacità di gestire traiettorie complesse con intersezioni o stati ripetuti).

• Sistemi Dinamici (DS) basati solo sullo Stato: I modelli DS del primo ordine generano movimenti basandosi esclusivamente sullo stato corrente (posizione). Sono altamente reattivi ma falliscono in compiti con intersezioni (es. disegnare un "8" o annodare) perché la stessa posizione richiede vettori di velocità diversi in momenti diversi.
• DS del Secondo Ordine/Basati sulla Velocità: Questi modelli incorporano la velocità per disambiguare il movimento alle intersezioni. Tuttavia, sono sensibili ai disturbi; se una perturbazione altera il vettore di velocità vicino a un'intersezione, il robot potrebbe scegliere il percorso sbagliato. Inoltre, se due segmenti di movimento diversi hanno coppie posizione-velocità quasi identiche, il modello diventa ambiguo.
• Metodi Dipendenti dal Tempo/Fase: Approcci come i Movement Primitives utilizzano una variabile di tempo o fase in open-loop per gestire le intersezioni. Sebbene espressivi, mancano di reattività perché la progressione è governata da un programma predefinito piuttosto che dallo stato corrente, rendendo difficile un recupero fluido dopo un disturbo.

La Sfida Principale: Come creare una politica di controllo che sia invariante nel tempo (reattiva allo stato), gestisca i ritorni agli stati (intersezioni) e rimanga robusta ai disturbi di velocità.

---

2. Metodologia: Funzioni Potenziali Neurali a Fase Variabile (PNPF)

Gli autori propongono PNPF, un framework che condiziona una funzione potenziale neurale su una variabile di fase in closed-loop stimata direttamente dalla progressione dello stato, piuttosto che sul tempo in open-loop.

A. Architettura Principale

Il movimento è generato seguendo il gradiente negativo di una funzione potenziale scalare $\phi(x|s)$, dove $x$ è lo stato e $s$ è la variabile di fase:
$$\dot{x} = -\alpha \nabla_x \phi(x|s)$$

La funzione potenziale è composta da due termini energetici appresi:

1. Energia Nominal ($\phi_{nominal}$): Codifica il comportamento desiderato del compito. È derivata da una traiettoria nominale $x^*(t)$ e diminuisce monotonicamente man mano che il compito progredisce. Serve come base per stimare la variabile di fase $s$.
2. Energia di Sicurezza ($\phi_{safety}$): Codifica un insieme di sicurezza guidato dai dati (la regione dello spazio degli stati visitata durante le dimostrazioni). Agisce come un campo repulsivo/attrattivo che guida il robot indietro verso la regione dimostrata se viene spinto fuori da un disturbo, senza costringerlo a seguire un percorso rigido.

B. Componenti Tecnici Chiave

• Stima della Fase in Closed-Loop: Invece di utilizzare il tempo $t$, la fase $s$ è stimata dinamicamente dallo stato corrente. Mentre il robot si muove, $s$ viene aggiornata in base alla "lunghezza dell'arco" rimanente o all'energia della traiettoria nominale. Ciò garantisce che il sistema rimanga invariante nel tempo e reattivo.
• Sintesi Generativa di Traiettorie: Una rete neurale decoder-only (utilizzando un iperrete per assegnare embedding apprendibili alle dimostrazioni) genera un insieme denso di traiettorie.
  • La traiettoria nominale è selezionata come quella che minimizza la distanza di Dynamic Time Warping (DTW) rispetto alle dimostrazioni.
  • L'insieme di sicurezza è definito utilizzando una Signed Distance Function (SDF) appresa dall'insieme denso di traiettorie generate.
• Campi Neurali con Codifica Posizionale: Le funzioni energetiche sono modellate utilizzando campi neurali (MLP). Per garantire gradienti lisci (cruciali per un controllo stabile) e gestire cambiamenti di curvatura netti, gli autori utilizzano un'architettura specifica:
  • La variabile di fase $s$ viene elaborata tramite codifica posizionale e inserita in un iperrete che genera i pesi per l'MLP principale.
  • Lo stato $x$ viene inserito direttamente nell'MLP (senza codifica posizionale) per sfruttare il bias spettrale delle reti ReLU per la regolarità nel dominio spaziale.
• Gestione della Periodicità: Per compiti periodici (es. pulizia a figura-8), l'input di fase viene trasformato in coordinate seno/coseno per gestire la natura ciclica del movimento.
• Movimento 6D: Gli orientamenti sono gestiti mappando i quaternioni in rappresentazioni asse-angolo nello spazio tangente, permettendo allo stesso framework di funzioni potenziali di controllare sia la posizione che l'orientamento.

C. Stabilità

Il sistema è dimostrato essere asintoticamente stabile in regione mediante analisi di Lyapunov. La funzione potenziale agisce come un candidato di Lyapunov, garantendo che le traiettorie convergano all'insieme target (intersezione dell'insieme di sicurezza ed energia nominale zero) a condizione che le dimostrazioni siano localmente coerenti.

---

3. Contributi Chiave

1. Framework di Movimento Reattivo: Un nuovo framework LfD che combina la reattività dei DS basati sullo stato con l'espressività dei movement primitives, capace di gestire compiti con ritorni agli stati (intersezioni).
2. Variabile di Fase in Closed-Loop: Una variabile di fase stimata direttamente dalla progressione dello stato, eliminando la dipendenza dal tempo o dalla velocità in open-loop, risolvendo così i problemi di ambiguità e sensibilità dei modelli del secondo ordine.
3. Insieme di Sicurezza Guidato dai Dati: Un metodo per apprendere un confine di sicurezza liscio e non convesso dalle dimostrazioni, garantendo che il robot rimanga all'interno di regioni validate pur consentendo flessibilità.
4. Generalizzazione: Il metodo supporta compiti di movimento punto-punto, periodici e completi 6D (posizione + orientamento).

---

4. Risultati Sperimentali

Gli autori hanno valutato PNPF su dataset di simulazione (LASA, LAIR, RoboTasks) e esperimenti reali su robot (UR10).

• Benchmark di Simulazione:

  • Dataset: Confronto contro CONDOR (DS del secondo ordine) e NODE (DS del primo ordine).
  • Prestazioni: PNPF ha ottenuto i punteggi medi più alti su tutte le metriche (Distanza DTW, Distanza Fréchet, Errore di Posizione Finale).
  • Gestione delle Intersezioni: Sul dataset CHAR (progettato con traiettorie intersecanti precedute da segmenti simili), PNPF ha ridotto la distanza DTW di circa 80% rispetto a CONDOR. CONDOR non è riuscito a disambiguare le direzioni, spesso saltando o ripetendo segmenti, mentre PNPF ha navigato con successo le intersezioni.
  • Robustezza: Nei test di rollout con perturbazioni casuali, PNPF ha mantenuto la stabilità in oltre il 99,999% dei casi.

• Esperimenti Reali:

  • Compiti: Annodare una corda, versare fagioli e pulizia a figura-8 3D.
  • Disturbi: Il robot è stato sottoposto a:
    1. Ostacoli: Ha evitato con successo cubi statici utilizzando potenziali repulsivi.
    2. Spostamenti Spaziali: Il frame del compito è stato spostato a metà compito.
    3. Spostamento Manuale: L'end-effector è stato spinto manualmente fuori rotta.
  • Esito: In tutti i casi, il robot ha recuperato fluidamente e completato il compito senza saltare passaggi. Ad esempio, quando la corda è stata sciolta da una spinta, il robot l'ha correttamente riannodata. Ciò contrasta con le baseline (CONDOR, LPVDS) che spesso derivavano o ripetevano segmenti dopo il reset della velocità.

---

5. Significato e Impatto

• Risoluzione del Problema delle Intersezioni: PNPF fornisce una soluzione robusta al "problema delle intersezioni" nell'LfD senza sacrificare la reattività. Permette ai robot di apprendere compiti complessi e non monotoni (come annodare o intrecciare) da poche dimostrazioni.
• Sicurezza e Affidabilità: Imparando esplicitamente un insieme di sicurezza dai dati, il metodo garantisce che il robot operi all'interno di una regione "sicura" dello spazio degli stati, riducendo il rischio di comportamenti pericolosi in stati non visti.
• Applicabilità in Tempo Reale: Il metodo gira a 50 Hz sull'hardware reale, dimostrando che complessi campi potenziali neurali possono essere utilizzati per un controllo online e reattivo.
• Direzioni Future: Gli autori notano una limitazione in cui il metodo tende a "sovra-lisciare" gli angoli netti a causa della natura della formulazione energetica. Il lavoro futuro mira a rifinire la progettazione energetica per preservare i cambiamenti di direzione netti e incorporare feedback visivo/forza.

In sintesi, PNPF rappresenta un avanzamento significativo nell'apprendimento per imitazione robotico, colmando il divario tra un controllo stabile e reattivo e la capacità di apprendere traiettorie complesse e intersecanti dalle dimostrazioni umane.