Riepilogo Tecnico: Apprendimento Differenziabile di Schemi di Azione Sollevati per la Pianificazione Classica

Formulazione del Problema

Il documento affronta la sfida di apprendere schemi di azione sollevati per domini di pianificazione classica a partire da tracce osservative. Nello specifico, gli autori si occupano di un contesto in cui gli stati sono completamente osservati (rappresentati come atomi STRIPS istanziati) ma gli argomenti delle azioni non sono osservati. L'input è costituito da triple $\langle s, a, s' \rangle$, dove $s$ e $s'$ sono stati istanziati e $a$ è un nome di azione completo, un'azione STRIPS+ (con alcuni argomenti osservati) o solo un nome di azione.

La difficoltà principale risiede nel problema isomorfico-difficile di inferire simultaneamente:

1. Argomenti dell'Azione: Identificare quali oggetti nello stato si legano ai parametri di un'azione.
2. Schemi Sollevati: Apprendere le precondizioni e gli effetti (liste di aggiunta/cancellazione) per ogni schema di azione in una forma sollevata e simbolica.

Questo problema è inquadrato come una semplificazione del compito più realistico di apprendimento da sequenze di immagini ed etichette di azioni, mirando a risolvere il passo di astrazione simbolica con un'accuratezza quasi perfetta per abilitare l'integrazione in sistemi neuro-simbolici più ampi.

Metodologia: Architettura DIAS

Gli autori propongono DIAS (Differentiable Induction of Action Schemas), un'architettura neurale che apprende schemi di azione tramite discesa del gradiente. L'approccio opera in due fasi principali, utilizzando operazioni soft e differenziabili per consentire un addestramento end-to-end.

1. Selezione degli Oggetti tramite Reti Neurali su Grafi (GNN)

• Costruzione del Grafo: Lo stato $s$ e la transizione verso $s'$ sono codificati come un grafo diretto $G$. I nodi rappresentano oggetti e gli archi rappresentano predicati (atomi) veri nello stato o aggiunti/cancellati durante la transizione.
• Embedding: Una Rete Convoluzionale Grafica Relazionale (R-GCN) elabora il grafo per generare vettori di embedding di dimensione $d$ (chiavi $K$) per ogni oggetto.
• Assegnazione degli Slot: Per ogni nome di azione $a$, il modello mantiene vettori di query apprendibili $Q_a$ corrispondenti a un numero fisso di "slot" (un limite superiore all'arità dell'azione).
• Corrispondenza Soft: Viene calcolata una matrice di corrispondenza tramite attenzione a prodotto scalare scalata tra le chiavi degli oggetti e le query delle azioni. Viene quindi applicato un algoritmo Sinkhorn rettangolare per produrre una matrice di assegnazione soft $\tilde{S}_a$, mappando probabilisticamente gli oggetti agli slot degli argomenti dell'azione. I pesi degli slot apprendibili $w_a$ determinano la probabilità di attivazione di ogni slot, permettendo al modello di inferire l'arità dell'azione.

2. Apprendimento delle Precondizioni e degli Effetti

• Parametri Sollevati: Il modello mantiene tensori di probabilità apprendibili per ogni atomo sollevato $p(x_i, x_j)$ per determinare se è una precondizione positiva/negativa, un effetto di aggiunta o un effetto di cancellazione.
• Istanteizzazione: L'assegnazione soft $\tilde{S}_a$ proietta queste probabilità sollevate nello spazio della matrice di adiacenza istanziata, producendo probabilità per atomi specifici di essere precondizioni o effetti nello stato corrente.
• Predizione dello Stato:
  • Controllo delle Precondizioni: Il modello calcola la probabilità $p_{pre}$ che tutte le precondizioni siano soddisfatte valutando la congiunzione delle probabilità degli atomi individuali. Per evitare gradienti che svaniscono a causa dell'inizializzazione casuale, viene utilizzata una strategia di pianificazione della media geometrica, passando gradualmente al vero prodotto.
  • Applicazione degli Effetti: Lo stato successore predetto $\hat{A}'$ è calcolato applicando le probabilità istanziate di aggiunta/cancellazione alla matrice di adiacenza dello stato corrente $A$, scalata per $p_{pre}$.

3. Funzione di Perdita e Ottimizzazione

L'obiettivo di addestramento minimizza una perdita composita:

• Perdita Principale ($L_{adj}$): Cross-entropia binaria tra lo stato successore predetto $\hat{A}'$ e lo stato successore vero $A'$. Questo spinge il modello a selezionare correttamente gli argomenti e prevedere i cambiamenti di stato.
• Perdita Ausiliaria ($L_{aux}$): Incoraggia effetti minimi e precondizioni massime. Questo impedisce al modello di apprendere soluzioni banali (ad esempio, assumere che tutti gli atomi siano effetti o che non esistano precondizioni) penalizzando gli effetti inattivi e le precondizioni inattive.
• Proiezione del Gradiente: Per garantire che l'obiettivo primario della previsione dello stato non sia compromesso dagli obiettivi ausiliari, gli autori impiegano PCGrad (Chirurgia del Gradiente). Il gradiente ausiliario viene proiettato sull'iperpiano ortogonale al gradiente principale se entrano in conflitto, assicurando che l'ottimizzazione di $L_{main}$ abbia la priorità.

Risultati Chiave

Gli autori hanno valutato DIAS su 13 domini di pianificazione IPC standard (ad esempio, Blocchi, Logistica, Hanoi, Sokoban) utilizzando tre varianti di osservazione: azioni STRIPS complete, azioni STRIPS+ e solo nomi di azione.

• Recupero Perfetto: In 8 domini su 13, DIAS ha appreso gli schemi di azione sollevati veri in modo perfetto in tutte le 10 esecuzioni di addestramento attraverso tutte e tre le varianti di osservazione.
• Robustezza:
  • Rumore: Il modello ha dimostrato robustezza al rumore di osservazione (atomi invertiti casualmente) fino a 2 inversioni per transizione per la maggior parte dei domini. Le prestazioni sono peggiorate significativamente a 8 inversioni.
  • Confronto con Metodi Simbolici: Rispetto all'algoritmo L1 (un approccio basato su SAT), DIAS ha ottenuto prestazioni superiori o comparabili, in particolare nei domini in cui L1 non è riuscito a recuperare precondizioni che coinvolgevano variabili non presenti negli effetti.
  • Analisi dei Fallimenti: I fallimenti sono stati attribuiti principalmente a:
    • Punti morti: Domini come Sokoban dove le passeggiate casuali non riescono a esplorare regioni critiche dello stato.
    • Struttura dello spazio degli stati: La struttura del triangolo di Sierpiński del dominio Hanoi limita la copertura delle passeggiate casuali.
    • Azioni ridondanti: Il dominio Satellite, dove azioni come take_image spesso non comportano alcun cambiamento di stato, confondendo l'apprendimento degli effetti.
• Ablazione MLP: Un'ablazione che sostituiva gli effetti STRIPS con un Perceptron a Strati Multipli (MLP) ha mostrato che, sebbene l'architettura possa apprendere dinamiche dipendenti dallo stato, non riesce a produrre schemi simbolici adatti alla pianificazione classica, evidenziando la necessità della formulazione STRIPS sollevata per la generalizzazione.

Significato e Affermazioni

Il documento afferma che DIAS rappresenta un passo significativo verso l'apprendimento di domini di pianificazione da osservazioni grezze (come immagini) risolvendo il problema intermedio di astrazione simbolica con alta fedeltà.

• Differenziabilità: Il contributo principale è un componente differenziabile robusto in grado di apprendere schemi di azione sollevati senza richiedere argomenti di azione espliciti, colmando il divario tra l'elaborazione neurale delle osservazioni e la pianificazione simbolica.
• Generalizzazione: A differenza dei modelli dinamici basati su slot (ad esempio, RIMs) che faticano con numeri variabili di oggetti, DIAS apprende rappresentazioni sollevate che si generalizzano a numeri arbitrari di oggetti, una proprietà intrinseca di STRIPS ma difficile da apprendere dai dati.
• Portata Modesta: Gli autori inquadrano esplicitamente questo lavoro come una semplificazione della sfida più ampia di apprendimento dalle immagini. Non affermano di risolvere direttamente il problema da immagine a pianificazione, ma sostengono che raggiungere prestazioni "quasi perfette" sul passo di astrazione simbolica è un prerequisito necessario e impegnativo per tali sistemi.
• Limitazioni: L'approccio assume domini STRIPS puri (nessun effetto condizionale o caratteristiche numeriche) e si basa sull'assunzione che gli argomenti delle azioni siano legati iniettivamente agli oggetti. Il metodo fatica anche con domini in cui il campionamento tramite passeggiata casuale fornisce una copertura insufficiente dello spazio degli stati.