SLAP: Shortcut Learning for Abstract Planning

Il paper presenta SLAP, un metodo che combina la pianificazione gerarchica basata su modelli con l'apprendimento per rinforzo senza modelli per scoprire automaticamente nuove azioni astratte ("scorciatoie"), permettendo a robot di risolvere compiti a lungo termine con maggiore efficienza e successo rispetto alle tecniche tradizionali.

L'essenziale

Immagina di dover spostare un grosso mobile in una stanza piena di ostacoli.

Il vecchio modo (la pianificazione classica):
Un robot "classico" pensa così: "Devo prendere questo scatolone, spostarlo, poi prendere quello, spostarlo... uno alla volta". È come se avesse un manuale di istruzioni scritto da un ingegnere umano che dice: "Prendi, metti giù, muoviti". È sicuro, ma lentissimo. Se ci sono 10 scatoloni, il robot ne sposta 10 volte, passo dopo passo, come un formica laboriosa.

Il modo "SLAP" (il nostro nuovo metodo):
Ora immagina un bambino intelligente che entra nella stanza. Il bambino guarda la situazione e pensa: "Ehi, invece di spostare tutto uno per uno, posso afferrare il mobile che voglio e... schiaffeggiare (slap) la pila di scatoloni per farli cadere tutti insieme da un lato!". È un movimento dinamico, un po' caotico, ma velocissimo.

Il problema è che i robot "classici" non sanno fare queste cose "furbe" perché i loro ingegneri umani non hanno mai scritto nel manuale: "Schiaffeggia le cose".

Cosa fa SLAP?
SLAP (che sta per Shortcut Learning for Abstract Planning, ovvero "Apprendimento delle Scorciatoie per la Pianificazione Astratta") è un metodo che insegna al robot a trovare da solo queste scorciatoie.

Ecco come funziona, spiegato con una metafora:

1. La Mappa Astratta (Il Piano):
   Il robot ha già una mappa mentale delle regole base (come "prendere" e "mettere"). Questa mappa gli dice come arrivare alla destinazione, ma è piena di passi lunghi e noiosi. È come avere un itinerario di viaggio che ti fa passare per ogni singola strada di una città invece di usare l'autostrada.

2. L'Allenamento (Il Laboratorio):
   SLAP prende questa mappa e dice: "Aspetta, c'è un modo più veloce per andare dal punto A al punto B?". Invece di imparare tutto da zero (che richiederebbe anni), il robot prova milioni di volte, in un simulatore, a fare cose diverse tra il punto A e il punto B.

   • Esempio: Se il piano dice "sposta il blocco rosso", SLAP prova a vedere cosa succede se il robot spinge il blocco rosso con il palmo della mano invece di prenderlo. O se lo scuote (wiggle) per liberare spazio.

3. La Scoperta (Le Scorciatoie):
   Dopo aver provato, SLAP scopre che certi movimenti "strani" (come lo schiaffo o lo scuotimento) funzionano meglio e sono più veloci. Questi diventano le sue nuove abilità apprese. Non sono più regole scritte da umani, ma trucchi trovati dal robot stesso.

4. L'Esito (Il Risultato):
   Quando il robot deve affrontare un nuovo compito, usa la sua mappa classica, ma ora può saltare i passaggi lunghi usando le sue nuove "scorciatoie".

   • Invece di spostare 10 scatoloni uno per uno (100 passi), usa la scorciatoia "schiaffo" e li sposta tutti in 20 passi.

Perché è importante?

• Risparmia tempo: I robot finiscono il lavoro molto più velocemente (fino al 73% in meno di tempo!).
• È intelligente: Non si limita a seguire le regole. Se una situazione è difficile, trova un modo creativo per risolverla, proprio come farebbe un umano.
• Si adatta: Se cambi la stanza o aggiungi nuovi oggetti, il robot sa come usare le sue scorciatoie anche lì, perché ha imparato il concetto del movimento, non solo la regola specifica.

In sintesi:
SLAP è come dare a un robot un manuale di istruzioni rigido, ma poi dirgli: "Ehi, mentre studi il manuale, prova a inventarti dei trucchi per fare le cose più in fretta. Se trovi un modo per schiaffeggiare un ostacolo invece di spostarlo, fallo!". Il risultato è un robot che non solo pensa, ma sa anche improvvisare per essere più efficiente.

Sommario tecnico

1. Il Problema

La pianificazione decisionale a lungo termine (long-horizon) in robotica rimane una sfida fondamentale a causa di tre fattori principali:

1. Ricompense sparse: Il successo viene premiato solo alla fine della sequenza di azioni, rendendo difficile l'apprendimento per rinforzo (RL) puro.
2. Interazioni fisiche complesse: Gli stati e le azioni sono continui e le interazioni tra oggetti sono difficili da modellare.
3. Limitazioni della pianificazione classica (TAMP): I sistemi di Task and Motion Planning (TAMP) esistenti utilizzano azioni astratte predefinite (opzioni) come "prendere", "posare" o "spostare". Queste azioni sono programmate manualmente dagli ingegneri e si basano su assunzioni semplificate (es. il robot interagisce solo con la punta delle dita e con un oggetto alla volta). Di conseguenza, i piani generati sono spesso lunghi, inefficienti e non riescono a sfruttare soluzioni dinamiche e creative (es. "schiaffeggiare" una torre di ostacoli per spostarli tutti insieme).

L'obiettivo è creare un agente che possa improvvisare autonomamente nuove abilità (shortcut) per superare le limitazioni delle opzioni predefinite, riducendo la lunghezza del piano e migliorando il tasso di successo, senza dover imparare da zero (tabula rasa).

2. Metodologia: SLAP (Shortcut Learning for Abstract Planning)

SLAP è un metodo ibrido che combina la struttura logica della pianificazione astratta con la flessibilità dell'apprendimento per rinforzo (RL) senza modello. L'idea centrale è utilizzare il grafo di pianificazione astratto esistente (generato dalle opzioni TAMP predefinite) per identificare e apprendere "scorciatoie" tra stati astratti.

Il processo si articola in tre fasi principali:

A. Pianificazione con Stati Astratti

• Viene costruito un grafo di pianificazione a due livelli:
  • Livello Superiore: Nodi rappresentano stati astratti (definiti da relazioni simboliche tra oggetti) e gli archi rappresentano le opzioni predefinite.
  • Livello Inferiore: Nodi rappresentano stati continui dell'ambiente e azioni fisiche.
• L'algoritmo esplora il grafo (BFS) per trovare percorsi verso l'obiettivo. Tuttavia, i percorsi trovati solo con le opzioni predefinite possono essere subottimali.

B. Apprendimento delle Scorciatoie (Shortcut Learning)

• Identificazione: SLAP analizza il grafo di pianificazione per trovare coppie di stati astratti ($s_{init}, s_{term}$) che non sono direttamente collegati da un'opzione predefinita, ma che potrebbero essere connessi da un'azione fisica dinamica.
• Formulazione MDP: Per ogni potenziale scorciatoia, viene creato un ambiente MDP (Markov Decision Process) indipendente con:
  • Stato iniziale: Campionato dagli stati raggiunti durante la costruzione del grafo di pianificazione.
  • Obiettivo: Raggiungere lo stato astratto terminale ($s_{term}$).
  • Ricompensa: -1 per ogni passo (per minimizzare il tempo di esecuzione).
• Training RL: Vengono eseguiti roll-out casuali per filtrare le scorciatoie impossibili (pruning). Per le scorciatoie promettenti, viene addestrato un policy RL (usando PPO - Proximal Policy Optimization) per imparare la politica fisica necessaria (es. "slap", "wiggle", "wipe").
• Generalizzazione agli Oggetti: SLAP utilizza un meccanismo di sostituzione degli oggetti. Se una scorciatoia è stata appresa per un certo insieme di oggetti, può essere riutilizzata per nuovi oggetti o un numero diverso di oggetti, purché le relazioni simboliche (atomi) tra loro siano equivalenti.

C. Pianificazione con Scorciatoie Apprese

• Durante la fase di valutazione (inference), le politiche delle scorciatoie apprese vengono aggiunte al set di opzioni disponibili per il pianificatore.
• Il pianificatore esegue nuovamente la ricerca sul grafo (es. Dijkstra), ora includendo gli archi delle scorciatoie apprese. Se una scorciatoia permette un piano più breve, viene selezionata automaticamente.

3. Contributi Chiave

1. Ibridazione Innovativa: SLAP è il primo metodo che utilizza l'RL per apprendere abilità a basso livello (low-level skills) specificamente mirate a migliorare l'efficienza esecutiva di un pianificatore astratto, colmando il divario tra la robustezza del TAMP e la flessibilità dell'RL.
2. Scoperta di Abilità Dinamiche: Il sistema scopre autonomamente comportamenti fisici complessi e non convenzionali (come "schiaffeggiare" una torre di blocchi o "spazzare" oggetti) che violano le assunzioni tradizionali di manipolazione a contatto singolo.
3. Generalizzazione Robusta: Grazie all'uso di rappresentazioni simboliche per la selezione degli oggetti rilevanti, SLAP generalizza a compiti con un numero diverso di oggetti e a nuovi obiettivi senza bisogno di riaddestramento.
4. Efficienza Computazionale: A differenza dell'RL puro, SLAP non deve esplorare l'intero spazio degli stati per ogni compito, ma si concentra sull'apprendimento di connessioni specifiche tra stati astratti, rendendo l'apprendimento molto più efficiente in termini di campioni (sample efficiency).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro ambienti robotici simulati (PyBullet) con orizzonti lunghi e ricompense sparse: Obstacle 2D, Obstacle Tower, Cluttered Drawer e Cleanup Table.

• Riduzione della Lunghezza del Piano: SLAP riduce la lunghezza dei piani (e quindi il tempo di esecuzione) di oltre il 50% rispetto alla pianificazione pura (Pure Planning). In alcuni casi (es. Cleanup Table), la riduzione raggiunge il 73%.
• Tasso di Successo: SLAP raggiunge un tasso di successo del 100% in tutti gli ambienti, superando significativamente l'RL puro (PPO, SAC+HER) e l'RL gerarchico, che spesso falliscono (0% di successo) a causa della sparsità delle ricompense e della complessità del compito.
• Generalizzazione: SLAP mantiene piani brevi anche quando il numero di oggetti aumenta o quando le proprietà fisiche (massa, attrito) cambiano rispetto all'addestramento.
• Analisi delle Abilità: Le scorciatoie apprese includono azioni come "slap" (colpire per spostare una torre), "wiggle" (oscillare per liberare uno spazio) e "wipe" (spazzare oggetti), dimostrando una capacità di improvvisazione fisica superiore alle opzioni predefinite.

5. Significato e Implicazioni

SLAP rappresenta un passo significativo verso sistemi robotici unificati che combinano:

• La capacità di ragionamento a lungo termine e la generalizzazione del TAMP.
• La flessibilità improvvisativa e l'adattabilità fisica dell'RL.

Il lavoro dimostra che non è necessario abbandonare le strutture simboliche esistenti per ottenere prestazioni superiori; piuttosto, l'RL può essere utilizzato strategicamente per "potenziare" queste strutture, apprendendo scorciatoie fisiche che gli ingegneri umani non avevano previsto. Questo approccio offre una via praticabile per rendere i robot più efficienti in compiti di manipolazione complessi, riducendo i tempi di esecuzione e aumentando l'affidabilità in scenari reali.