Riepilogo Tecnico: Pianificazione a Due Livelli con Astrazioni Simboliche Apprese da Dati di Interazione

Definizione del Problema

Gli agenti robotici che operano in ambienti continui affrontano un compromesso fondamentale: il ragionamento diretto in spazi di stato continui ad alta dimensionalità è computazionalmente intrattabile a causa dell'infinito o vasto numero di soluzioni possibili, mentre il ragionamento puramente simbolico spesso fallisce perché scarta informazioni geometriche e dinamiche critiche, portando a fallimenti nell'esecuzione. I metodi esistenti che apprendono astrazioni simboliche da esplorazioni robotiche non supervisionate si basano tipicamente su domini deterministici, mancano di meccanismi per verificare se un piano simbolico avrà successo nel mondo continuo e non offrono alcun fallback quando l'astrazione è insufficiente. Questo articolo affronta la necessità di un framework di pianificazione che combini l'efficienza del ragionamento simbolico di alto livello con la precisione della verifica delle dinamiche continue.

Metodologia

Gli autori propongono un framework di pianificazione neuro-simbolica a due livelli che opera attraverso due livelli distinti, supportato da un'architettura a doppio modello addestrata su dati di interazione non supervisionati.

1. Architettura a Doppio Modello

Il framework utilizza due modelli di rete neurale specializzati derivati da un'architettura encoder-decoder addestrata per prevedere gli effetti delle azioni:

• Modello Simbolico ($M_{sym}$): Utilizza una funzione di attivazione Gumbel-Sigmoid nei suoi strati di collo di bottiglia. Questo modello è progettato per scoprire simboli unari discreti di oggetti e simboli relazionali (ad esempio, "sopra", "accanto a") per generare operatori simbolici per la pianificazione di alto livello.
• Modello Dinamico ($M_{dyn}$): Utilizza una funzione di attivazione Sigmoid standard nei suoi strati di collo di bottiglia. Sebbene condivida la stessa architettura, questo modello è ottimizzato per una previsione accurata degli effetti continui, fungendo da modello di dinamica in avanti per la verifica e la ricerca a basso livello.

2. Processo di Apprendimento

Il sistema apprende da un dataset di campioni di interazione $(X, a, X')$, dove $X$ rappresenta lo stato continuo (posizioni e tipi di oggetti) e $a$ rappresenta le abilità di presa e posizionamento parametrizzate.

• Scoperta dei Simboli: Il Modello Simbolico mappa gli stati continui in simboli discreti. I simboli relazionali sono calmati utilizzando un meccanismo di auto-attenzione adattato con Gumbel-Sigmoid per consentire l'apprendimento differenziabile di simboli discreti.
• Estrazione degli Operatori: Le transizioni continue vengono convertite in dataset simbolici. Gli operatori sono definiti come insiemi di precondizioni ed effetti basati sugli stati post-azione più frequenti osservati nei dati.
• Costruzione del Dominio Probabilistico: Invece di operatori deterministici, il framework costruisce un dominio PPDDL (Probabilistic PDDL). Ogni operatore include una distribuzione di probabilità sugli effetti simbolici possibili basata sulla loro frequenza empirica, catturando la stocasticità delle interazioni nel mondo reale.

3. L'Algoritmo di Pianificazione a Due Livelli

Il processo di pianificazione procede su due livelli:

• Livello 1: Pianificazione Simbolica Probabilistica con Verifica
  • Il sistema genera un insieme di $N$ domini PDDL campionando gli effetti dalle distribuzioni probabilistiche apprese.
  • Un pianificatore AI classico (Fast-Downward) cerca piani in questi domini.
  • Verifica Continua: I piani simbolici candidati sono classificati per probabilità. Il Modello Dinamico ($M_{dyn}$) è utilizzato come simulatore in avanti per prevedere l'esito continuo di ogni piano candidato. Se lo stato finale previsto è entro una soglia di tolleranza ($\tau_{verify}$) rispetto all'obiettivo, il piano è accettato.
• Livello 2: Fallback di Ricerca in Avanti Continua
  • Se nessun piano simbolico supera la verifica, il sistema invoca una ricerca $A^*$ ponderata nello spazio degli stati continui.
  • Questa ricerca utilizza il Modello Dinamico per le transizioni di stato e un'euristica basata sulla distanza euclidea rispetto all'obiettivo.
  • Per garantire l' trattabilità, la ricerca impiega potatura euristica delle azioni, generando solo azioni orientate all'obiettivo (ad esempio, spostare oggetti mal posizionati verso le loro posizioni target) invece di esplorare l'intero spazio delle azioni.

Contributi Chiave

1. Framework a Due Livelli: Un'architettura innovativa che integra la pianificazione simbolica probabilistica a livello alto con la ricerca in avanti continua come fallback, colmando il divario tra ragionamento astratto e dinamiche continue.
2. Schema a Doppio Modello: L'introduzione di due modelli specializzati: uno per la scoperta di simboli discreti e un altro per la previsione precisa degli effetti continui, dimostrando che un singolo modello non può servire ottimamente entrambi gli scopi.
3. Meccanismo di Verifica: Un metodo che utilizza il modello di dinamiche continue per verificare i piani simbolici prima dell'esecuzione, filtrando efficacemente i piani che sono simbolicamente validi ma dinamicamente non fattibili.
4. Apprendimento Probabilistico degli Operatori: Superare i domini deterministici per apprendere operatori con effetti stocastici, permettendo al pianificatore di esplorare percorsi meno probabili ma potenzialmente riusciti.

Risultati Sperimentali

Il framework è stato valutato su compiti di manipolazione multi-oggetto in un ambiente da tavolo simulato con 2-4 oggetti e sequenze di azioni di lunghezza da 1 a 5.

• Validazione del Modello: Il Modello Dinamico ha ottenuto un errore medio di previsione degli effetti inferiore (1,96 cm) rispetto al Modello Simbolico (3,33 cm), validando la necessità di modelli separati per la previsione continua.
• Probabilistico vs Deterministico: Il pianificatore probabilistico ha superato significativamente la linea di base deterministica (ad esempio, 73,0% contro 64,67% di tasso di successo per compiti a 1 passo), dimostrando che considerare l'intera distribuzione dei risultati migliora la robustezza.
• Prestazioni di Verifica: Il verificatore di piani continui ha raggiunto un'accuratezza media di 0,91 e un punteggio F1 di 0,90. I piani verificati hanno avuto un tasso di successo del 94,5%, mentre i piani non verificati hanno avuto un tasso di fallimento dell'87,3%, confermando l'affidabilità del meccanismo nel filtrare i piani falliti.
• Prestazioni Complessive: Il Pianificatore a Due Livelli proposto ha raggiunto tassi di successo nella pianificazione statisticamente comparabili alla Ricerca in Avanti Continua completa ($p=0,71$). Tuttavia, ha risolto la maggior parte dei problemi utilizzando un ragionamento simbolico efficiente, ricorrendo alla ricerca continua computazionalmente costosa solo quando necessario.

Significato

L'articolo afferma che questo approccio mitiga con successo i limiti della pianificazione puramente simbolica (perdita di dettaglio geometrico) e della pianificazione puramente continua (intrattabilità computazionale). Combinando l'efficienza del ragionamento simbolico con la precisione delle dinamiche continue apprese, il framework offre una soluzione robusta per la manipolazione robotica. Dimostra che gli agenti possono raggiungere prestazioni di pianificazione di alto livello comparabili alla ricerca continua esaustiva mantenendo al contempo l'efficienza computazionale, a condizione che possano verificare i piani simbolici rispetto alle dinamiche fisiche apprese. Il lavoro sottolinea l'importanza della modellazione probabilistica e della verifica nel rendere le astrazioni simboliche apprese affidabili per l'esecuzione nel mondo reale.