Sintesi Tecnica: Manipolazione Inversa attraverso la Pianificazione Simbolica e l'Apprendimento di Operatori Residui

Definizione del Problema

Il documento affronta la sfida dell'inversione delle abilità (skill inversion) nella manipolazione robotica: la capacità di ripristinare un ambiente fisico allo stato precedente l'esecuzione di un'azione in avanti. Gli autori sostengono che il semplice riavvolgimento delle traiettorie motorie sia insufficiente per molti compiti, in particolare per le interazioni non prehensili (ad esempio, la spinta) in cui il robot non afferra l'oggetto. Sebbene la pianificazione simbolica possa generare sequenze inverse, essa spesso fallisce nel ripristinare completamente gli stati fisici continui a causa di primitivi di azione limitati e requisiti di precisione. Al contrario, la pura inversione della traiettoria è spesso fisicamente inapplicabile. Il problema centrale è colmare il divario tra gli obiettivi di ripristino simbolico di alto livello e il controllo continuo di basso livello per ottenere abilità inverse fisicamente fondate.

Metodologia

Il framework proposto è un sistema ibrido che combina la pianificazione simbolica con il Reinforcement Learning (RL) Residuo. Il processo opera in tre fasi principali:

1. Estrazione degli Operatori Simbolici

Il sistema analizza le dimostrazioni delle abilità in avanti per estrarre automaticamente gli operatori simbolici nel formalismo STRIPS (Fikes e Nilsson 1971).

• Predicati Soft: Un repertorio predefinito di predicati (ad es., AT POSE, GRIPPER OPEN) è ancorato al grafo della scena tramite predicati geometrici soft e differenziabili. Questi producono punteggi continui $V_p(s) \in [0, 1]$ basati su margini con segno $m_p(s)$.
• Definizione dell'Operatore: Un operatore $o = \langle Pre, Add, Del \rangle$ viene costruito analizzando gli stati iniziali e finali delle dimostrazioni. I predicati con punteggi iniziali elevati formano l'insieme delle precondizioni ($Pre$), mentre le variazioni nei punteggi determinano gli effetti di aggiunta ($Add$) e rimozione ($Del$).

2. Generazione del Target Inverso e Pianificazione Simbolica

L'obiettivo inverso non è definito come una reversione temporale, ma come un problema di ripristino. Il target state $I(o)$ è costruito per soddisfare le precondizioni originali, ripristinare gli effetti rimossi e negare gli effetti aggiunti:
$$I(o) = Pre \cup Del \cup \neg Add$$
Un pianificatore Breadth-First Search (BFS) tenta di soddisfare $I(o)$ utilizzando un set limitato di primitivi di azione scriptati (ad es., PICK, PLACE).

3. Apprendimento dell'Operatore Residuo

Poiché il pianificatore simbolico può soddisfare solo parzialmente il target inverso, il sistema suddivide gli obiettivi rimanenti:

• Insieme Fence ($F$): Predicati già soddisfatti dal piano simbolico ($\pi_{sym}$) che devono essere preservati.
• Insieme Residuo Attivo ($A$): Predicati non risolti che costituiscono l'obiettivo residuo.

Una policy di RL Residuo ($\pi_{res}$) viene addestrata per soddisfare l'insieme attivo $A$ mantenendo l'insieme fence $F$.

• Funzione di Ricompensa: La ricompensa è derivata direttamente dai predicati del piano simbolico.
  • Per i predicati attivi ($A$): Un margine normalizzato con segno utilizzando $\tanh$ per fornire ricompense limitate per il ripristino.
  • Per i predicati fence ($F$): Una penalità a lato singolo usando $\min(0, \cdot)$ per penalizzare le violazioni senza premiare il comportamento di "non fare nulla".
• Esecuzione: L'abilità inversa finale è la concatenazione della sequenza simbolica $\pi_{sym}$ e della policy residua appresa $\pi_{res}$.

Contributi Chiave

Il documento delinea tre contributi primari:

1. Formulazione Ibrida: Affrontare l'inversione delle abilità come un problema di ripristino ibrido simbolico-continuo, derivando i target inversi dagli operatori simbolici in avanti estratti dalle dimostrazioni anziché affidarsi alla reversione temporale.
2. Framework di Apprendimento dell'Operatore Residuo: Introdurre un meccanismo in cui l'RL viene attivato solo quando la pianificazione simbolica non può soddisfare completamente l'obiettivo inverso, gestendo efficacemente la parte "residua" del compito.
3. Ricompense Derivate dai Predicati: Derivare i segnali di ricompensa dell'RL direttamente dagli effetti dell'operatore del piano simbolico, eliminando la necessità di progettazione manuale della ricompensa per ogni specifico compito.

Risultati Sperimentali

Il framework è stato valutato sul compito ManiSkill3 PushCube utilizzando un manipolatore Franka Panda. L'abilità in avanti consisteva nel spingere un cubo verso una posizione obiettivo. Il compito inverso richiedeva di ripristinare il cubo alla sua posizione originale di partenza.

• Performance: L'approccio ibrido (Simbolico + RL) ha raggiunto un tasso di successo del 90% entro una tolleranza di 1 cm, con una precisione media di 1,4 mm.
• Confronti:
  • Solo Prefisso Simbolico: Ha ottenuto solo il 10% di successo, lasciando una distanza residua media di 16,6 mm.
  • Simbolico + Azione Casuale: Ha raggiunto il 50% di successo con alta varianza (18,8 mm medi), indicando che l'esplorazione casuale occasionalmente riesce per caso ma manca di affidabilità.
  • Inverso della Traiettoria Pura: Considerato inapplicabile a causa della natura non prehensile della spinta in avanti.
• Studi di Ablazione: Gli esperimenti hanno confermato che l'uso di una penalità $\tanh$ a lato singolo per i predicati fence era critico. Rimuovere la penalità portava l'agente a restare immobile (ricompense saturate), mentre rimuovere interamente la funzione $\tanh$ causava la divergenza della funzione di valore e grandi derive della ricompensa.

Significato e Rivendicazioni

Il documento sostiene che il controllo residuo derivato dai predicati può trasformare un'approssimazione simbolica inversa in un'abilità inversa fisicamente fondata. Trattando le abilità inverse come distinti operatori simbolici con i propri obiettivi di ripristino, il sistema evita i limiti delle assunzioni di reversione temporale presenti in lavori precedenti (ad es., Nair et al. 2020; Edwards et al. 2018).

Gli autori posizionano questo lavoro come un passo verso l'abilitazione della collaborazione uomo-robot e delle linee di assemblaggio-disassemblaggio dove la capacità di "annullare" i compiti è essenziale. Notano che, sebbene il sistema attualmente si basi su predicati progettati a mano e primitivi di basso livello scriptati, i risultati suggeriscono che le abilità inverse possono essere risolte efficacemente come un problema di pianificazione seguito da un problema di RL residuo con una ricompensa derivata. Il documento rimane modesto riguardo al proprio ambito, riconoscendo i limiti nella progettazione dei predicati e la dipendenza dai primitivi scriptati, e suggerisce futuri lavori per apprendere questi componenti dalle dimostrazioni.