From Kinematics to Dynamics: Learning to Refine Hybrid Plans for Physically Feasible Execution

Titolo

Dalla Cinematica alla Dinamica: Apprendimento per Affinare Piani Ibridi per un'Esecuzione Fisicamente Fattibile

1. Il Problema

Il lavoro affronta una sfida fondamentale nella robotica: il divario tra la pianificazione temporale ibrida (che combina requisiti logici discreti e vincoli numerici continui) e la realtà fisica dei sistemi robotici.

• Natura del problema: Molti compiti robotici richiedono di attraversare una sequenza di regioni spaziali. Questi problemi sono intrinsecamente misti (discreti-continui).
• Limitazione degli approcci attuali: I pianificatori temporali ibridi esistenti (come Scotty) modellano il movimento utilizzando dinamiche del primo ordine (integratori lineari dove l'input di controllo è la velocità, $\dot{x} = v$). Questa semplificazione permette di formulare problemi di ottimizzazione risolvibili (es. SOCP o MILP), ma ignora le dinamiche del secondo ordine reali (accelerazione limitata, inerzia, effetti di attrito/drag).
• Conseguenza: Anche se la sequenza logica di azioni è corretta, il piano risultante è spesso fisicamente irrealizzabile quando si tenta di eseguirlo con un controllore a bassa livello che rispetta i limiti di accelerazione e velocità reali. Rilevare queste violazioni non è sufficiente; è necessario un meccanismo per correggere il piano senza alterare la struttura logica o l'ordinamento delle azioni.

2. Metodologia

Gli autori propongono un framework di raffinamento neuro-simbolico che combina pianificazione ibrida, validazione analitica e apprendimento per rinforzo (RL) in uno spazio continuo.

A. Formulazione del Problema

Il problema di raffinamento è modellato come un Processo Decisionale di Markov a Stato e Azione Continui (CSA-MDP):

• Input: Un piano ibrido "fondato" (hybrid grounded plan) generato da un pianificatore standard, che è fattibile solo sotto dinamiche del primo ordine.
• Obiettivo: Trovare un'assegnazione continua (aggiustamento dei limiti di velocità) che renda il piano fisicamente fattibile sotto dinamiche del secondo ordine, minimizzando l'aumento del makespan (tempo totale di esecuzione).

B. Pipeline di Raffinamento

Il processo avviene in quattro stadi iterativi:

1. Rappresentazione Plan-to-Graph: Il piano ibrido viene convertito in un grafo strutturato $G=(V, E)$.
   • I nodi rappresentano eventi (inizio/fine azioni) con attributi spaziali, temporali e di regione.
   • Gli archi rappresentano le transizioni, codificando vincoli continui e limiti di velocità.
   • Un Graph Neural Network (GNN) elabora questo grafo per estrarre embedding latenti che catturano relazioni spaziali, temporali e dinamiche.
2. Validazione Minimum-Time (MTV): Viene utilizzato un metodo di analisi analitica (basato su Taitler et al., 2019) per verificare la fattibilità fisica.
   • Il modello dinamico include accelerazione limitata e resistenza aerodinamica (drag quadratico): $\dot{x}_2 = u - \frac{1}{2}k x_2^2$.
   • MTV calcola il tempo minimo fisicamente raggiungibile ($t_{min}$) per ogni segmento. Se la durata assegnata dal pianificatore è inferiore a $t_{min}$, il segmento è invalido.
3. Agente di Apprendimento per Rinforzo (RL):
   • L'agente (addestrato con PPO - Proximal Policy Optimization) osserva il grafo e propone fattori di scala continui per ridurre i limiti di velocità sugli archi del grafo.
   • L'obiettivo è restringere lo spazio delle soluzioni in modo conservativo ma intelligente per soddisfare i vincoli del secondo ordine.
4. Risoluzione SOCP e Feedback:
   • I nuovi limiti di velocità vengono inseriti in un risolutore SOCP che ricalcola la traiettoria ottimizzando il makespan.
   • La nuova traiettoria viene validata con MTV.
   • Funzione di Ricompensa:
     • Se il piano è ancora irrealizzabile (violazione MTV): ricompensa negativa basata sul "gap di fattibilità".
     • Se il piano è realizzabile: ricompensa positiva basata sul miglioramento del makespan rispetto al piano originale.

3. Contributi Chiave

1. Formulazione MDP su Grafi: Il raffinamento del piano è formalizzato come un CSA-MDP su una rappresentazione basata su grafi, permettendo un ragionamento strutturato su relazioni temporali, spaziali e dinamiche.
2. Primo Framework Automatizzato di Raffinamento: Integrazione innovativa tra analisi di fattibilità del secondo ordine (in forma chiusa) e apprendimento per rinforzo per trasformare piani del primo ordine in traiettorie fisicamente valide, senza modificare la logica simbolica.
3. Validazione Empirica: Dimostrazione che i piani del primo ordine sono sistematicamente irrealizzabili in scenari del secondo ordine e che il metodo proposto recupera la fattibilità nel 100% dei casi testati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro domini ibridi (AUV-2D, NORM-AUV-2D, OnAir-Refuel, Sailing), utilizzando il pianificatore Scotty per generare i piani iniziali.

• Fattibilità: I piani iniziali generati dal pianificatore standard hanno un tasso di fattibilità fisica del 0% sotto dinamiche del secondo ordine. Il metodo proposto raggiunge il 100% di fattibilità.
• Efficienza (Makespan):
  • Il costo del recupero della fattibilità è un aumento del tempo di esecuzione (rapporto di makespan > 1), che riflette la sottostima dei modelli del primo ordine.
  • I rapporti di makespan medi sono: ~1.20 per AUV-2D, ~1.23 per NORM-AUV-2D, ~1.15 per OnAir-Refuel, ~1.14 per Sailing.
• Confronto con Baseline:
  • Il metodo supera significativamente una baseline "conservativa" che riduce uniformemente i limiti di velocità (es. del 10% o 0.5% a ogni passo).
  • La baseline richiede molte più iterazioni per convergere e produce soluzioni con makespan più lunghi rispetto all'approccio basato su RL, che apprende aggiustamenti specifici per ogni segmento.
• Convergenza: L'agente RL mostra una crescita monotona del ritorno episodico e converge rapidamente a politiche stabili in tutti i domini.

5. Significato e Conclusioni

Questo lavoro colma un divario critico tra la pianificazione simbolica astratta e l'esecuzione robotica reale.

• Impatto: Dimostra che l'assunzione di dinamiche del primo ordine è insufficiente per garantire l'esecuzione sicura ed efficiente di compiti complessi.
• Innovazione: L'approccio non richiede di riprogettare l'intero pianificatore simbolico; invece, agisce come un "livello di raffinamento" post-pianificazione che traduce piani logici in comandi fisici eseguibili.
• Lavori Futuri: Gli autori riconoscono le attuali limitazioni (assenza di finestre temporali rigide, dinamica disaccoppiata, assenza di disturbi) e pianificano di estendere il framework a scenari più realistici con vincoli temporali complessi e assi accoppiati.

In sintesi, il paper propone una soluzione robusta per rendere i piani robotici "pronti per il mondo reale", utilizzando l'apprendimento per rinforzo per navigare in spazi di ottimizzazione non convessi e non differenziabili, garantendo che le traiettorie rispettino le leggi della fisica.