Riepilogo Tecnico: Apprendimento di Politiche a Due Livelli su Modelli Simbolici del Mondo per la Pianificazione a Lungo Orizzonte

Enunciato del Problema

Il documento affronta la sfida di costruire agenti di IA incarnati capaci di risolvere in modo affidabile problemi di pianificazione a lungo orizzonte in spazi continui di stati e azioni con numeri variabili di oggetti. Sebbene l'apprendimento per imitazione da dimostrazioni si sia dimostrato efficace per il controllo motorio e la manipolazione a basso livello (LL), fatica a generare piani efficienti a lungo orizzonte. Al contrario, i pianificatori simbolici ad alto livello (HL) sono efficaci per il ragionamento a lungo orizzonte ma spesso falliscono nel generalizzare a contesti con modalità sensoriali variabili, osservabilità parziale e dinamiche a basso livello complesse.

Gli autori formulano il problema come l'apprendimento di una politica condizionata all'obiettivo $\pi(all | s_{ll}, g_{hl})$ che sceglie azioni a basso livello ($a_{ll}$) per raggiungere obiettivi ad alto livello ($g_{hl}$). Gli input di apprendimento consistono in:

1. Dimostrazioni LL: Traiettorie di stati e azioni accoppiate con obiettivi HL.
2. Linguaggio di Astrazione ($D$): Una teoria del dominio che definisce predicati e schemi di azione.
3. Funzione di Etichettatura ($L$): Una mappatura dalle osservazioni LL a stati simbolici HL.

L'obiettivo è apprendere una politica che generalizzi a stati e obiettivi non visti in modo zero-shot, gestendo numeri arbitrari di oggetti e condizioni di mondo aperto.

Metodologia

Gli autori propongono BISON, un sistema che apprende politiche a due livelli $(\pi_{hl}, \pi_{ll})$ combinando l'apprendimento per imitazione neurale con l'astrazione simbolica e la generalizzazione induttiva.

1. Architettura della Politica a Due Livelli

Il sistema scompone il problema in due politiche distinte:

• Politica ad Alto Livello (HL) ($\pi_{hl}$): Una politica simbolica che opera su stati astratti ($s_{hl}$) e obiettivi ($g_{hl}$) per proporre azioni HL ($a_{hl}$).
• Politica a Basso Livello (LL) ($\pi_{ll}$): Una politica neurale (Rete Neurale su Grafi) che prende lo stato LL corrente ($s_{ll}$), l'azione HL proposta ($a_{hl}$) e l'obiettivo ($g_{hl}$) per produrre azioni LL continue ($a_{ll}$).

Le politiche sono composte in modo tale che $\pi(all | s_{ll}, g_{hl}) = \sum_{a_{hl}} \pi_{ll}(all | s_{ll}, a_{hl}, g_{hl}) \cdot \pi_{hl}(a_{hl} | L(s_{ll}), g_{hl})$.

2. Apprendimento della Politica ad Alto Livello ($\pi_{hl}$)

La politica HL è appresa dalle dimostrazioni LL tramite un processo in tre fasi (illustrato nella Figura 2):

1. Costruzione delle Tracce HL: La funzione di etichettatura $L$ viene applicata alle dimostrazioni LL per estrarre tracce HL astratte (sequenze di stati e azioni HL).
2. Regressione dell'Obiettivo: Gli autori applicano la regressione dell'obiettivo (una tecnica di riscrittura dell'immagine preimmagine) a queste tracce. Ciò calcola le condizioni minime sotto le quali un'azione raggiunge un obiettivo. Regredendo gli obiettivi all'indietro attraverso le tracce di azione, il sistema estrae regole fondamentali condizione-azione.
3. Generalizzazione Induttiva: Le regole fondamentali vengono sollevate alla logica del primo ordine sostituendo oggetti specifici con variabili. Ciò risulta in un insieme compatto di regole Condizione $\mapsto$ Azione con valori di priorità basati sulla vicinanza all'obiettivo. Queste regole sono interpretabili e possono generalizzare a numeri arbitrari di oggetti.

La politica HL risultante è un insieme di regole del primo ordine. L'esecuzione consiste nel trovare la regola applicabile con il valore di priorità più basso (priorità più alta) che soddisfa le condizioni dello stato corrente e dell'obiettivo non raggiunto.

3. Apprendimento della Politica a Basso Livello ($\pi_{ll}$)

La politica LL è implementata come una Rete Neurale su Grafi (GNN) con meno di 33.000 parametri.

• Codifica dell'Input: La GNN codifica lo stato LL (stato dell'agente e stati degli oggetti), lo schema di azione HL e i fatti dell'obiettivo HL.
• Architettura: Utilizza il passaggio di messaggi tra nodi oggetto, nodi azione e un nodo globale per aggregare le informazioni.
• Addestramento: La GNN è addestrata tramite apprendimento per imitazione (clonazione del comportamento) sul dataset di tuple $\langle s_{ll}, a_{hl}, g_{hl}, a_{ll} \rangle$ derivate dalle dimostrazioni, minimizzando l'Errore Quadratico Medio (MSE) tra le azioni previste e quelle reali.

4. Garanzie Teoriche

Il documento stabilisce la Proprietà di Raffinamento Discendente Nondeterministica (NDRP), garantendo che qualsiasi soluzione al problema HL possa essere raffinata in una soluzione per il problema LL. Inoltre, il Teorema 1 dimostra che, in condizioni di indipendenza dell'obiettivo C-limitata (dove i componenti dell'obiettivo possono essere raggiunti indipendentemente in qualsiasi ordine con una dimensione della politica limitata), la politica HL appresa generalizza a problemi con un numero arbitrario di oggetti e orizzonti.

Contributi Chiave

1. Sistema BISON: Un approccio per apprendere politiche a due livelli $(\pi_{hl}, \pi_{ll})$ da dimostrazioni LL accoppiate con obiettivi HL, utilizzando una teoria del dominio e una funzione di etichettatura.
2. Apprendimento Simbolico HL: L'applicazione della regressione dell'obiettivo e della generalizzazione induttiva per apprendere politiche HL compatte ed espressive. Queste politiche sono rappresentate come regole condizione-azione del primo ordine, consentendo l'operatività in ambienti di mondo aperto e parzialmente osservabili e la generalizzazione a conteggi di oggetti arbitrari.
3. Apprendimento LL Efficiente: La realizzazione di politiche LL tramite una GNN compatta (sotto i 33k parametri) condizionata alle azioni HL.
4. Validazione Empirica: Esperimenti estesi (21.600 episodi) su benchmark MetaWorld estesi che dimostrano efficienza, generalizzazione e capacità di pianificazione a lungo orizzonte superiori rispetto ai modelli Vision-Language-Action (VLA), ai metodi end-to-end e alle baseline di pianificazione simbolica.

Risultati Sperimentali

Gli autori hanno valutato BISON contro 8 baseline (inclusi SmolVLA, PureNN, PddlNN e varie strategie di ripianificazione) su 8 ambienti con incertezza variabile (esogena, endogena, incertezza dello stato).

• Generalizzazione: BISON ha generalizzato con successo ad ambienti con più oggetti (fino a 10) e orizzonti più lunghi rispetto a quelli visti durante l'addestramento (3 oggetti), superando le baseline GNN end-to-end il cui rendimento è degradato significativamente oltre i 6 oggetti.
• Robustezza: BISON ha ottenuto i tassi di successo medi più alti nella maggior parte degli ambienti, in particolare in scenari complessi dove le baseline di ripianificazione faticavano o fallivano.
• Efficienza: BISON ha dimostrato una superiore efficienza temporale e di memoria sia nell'addestramento che nell'inferenza rispetto ai metodi end-to-end e di ripianificazione.
• Scalabilità: Ignorando l'esecuzione LL, le politiche HL simboliche di BISON hanno risolto problemi di pianificazione con 10.000 oggetti in meno di un minuto, superando significativamente il pianificatore PDDL all'avanguardia LAMA, che faticava con alcune centinaia di oggetti.
• Prestazioni VLA: I modelli VLA preaddestrati (SmolVLA) non sono riusciti a risolvere alcun compito nei benchmark, evidenziando la difficoltà di applicarli direttamente alla manipolazione multi-oggetto a lungo orizzonte senza adattamenti architetturali specifici.

Significato e Affermazioni

Il documento afferma che BISON offre una soluzione innovativa alla sfida di lunga data della pianificazione a lungo orizzonte colmando efficacemente il divario tra l'apprendimento per imitazione neurale e il ragionamento simbolico.

• Pianificazione Senza Ricerca: A differenza dei tradizionali sistemi di pianificazione a due livelli che cercano piani HL su astrazioni simboliche prima di raffinarli, BISON generalizza induttivamente le politiche HL direttamente dalle dimostrazioni, eliminando la necessità di ricerca durante l'esecuzione.
• Capacità di Mondo Aperto: La codifica delle politiche come regole condizione-azione del primo ordine facilita la pianificazione in ambienti di mondo aperto e gestisce l'osservabilità parziale, affrontando le limitazioni dei pianificatori puramente simbolici.
• Efficienza e Scalabilità: L'approccio produce politiche compatte che sono computazionalmente efficienti e capaci di scalare a numeri massicci di oggetti, una capacità spesso mancante sia negli approcci puramente neurali che in quelli puramente simbolici.

Gli autori riconoscono le limitazioni, notando che l'approccio eredita la dipendenza dalla qualità dell'astrazione HL (sia essa appresa o data) e non garantisce l'ottimalità per le politiche LL. Tuttavia, affermano che il metodo fornisce un quadro robusto per gli agenti incarnati per risolvere compiti complessi a lungo orizzonte con numeri variabili di oggetti.