Sample-efficient Neuro-symbolic Proximal Policy Optimization

1. Enunciato del Problema

L'Apprendimento per Rinforzo Profondo (DRL), in particolare algoritmi come Proximal Policy Optimization (PPO), affronta sfide significative negli ambienti a ricompensa sparsa con orizzonti di pianificazione lunghi e multipli sottobiettivi.

• Inefficienza Campionaria: Gli agenti richiedono enormi quantità di dati di interazione per convergere, rendendo l'addestramento costoso e lento.
• Natura di Scatola Nera: Le politiche neurali mancano di interpretabilità e garanzie formali.
• Limitazioni delle Soluzioni Esistenti:
  • Modellazione della Ricompensa (es. Reward Machines): Spesso computazionalmente costosa e altamente sensibile a euristiche inaccurate; euristiche povere possono degradare le prestazioni.
  • Approcci Puramente Neurali: Mancano di meccanismi per integrare direttamente regole di dominio leggibili dall'uomo.
  • Approcci Puramente Simbolici: Faticano a scalare verso domini complessi a causa della difficoltà di definire accuratamente lo spazio di ricerca della politica.

Gli autori propongono un framework neuro-simbolico che trasferisce specifiche di politica logica parziali apprese in istanze semplici per guidare l'apprendimento in contesti più complessi e impegnativi, migliorando così l'efficienza campionaria senza richiedere la ritaratura degli iperparametri.

2. Metodologia

L'innovazione centrale è un'estensione neuro-simbolica di PPO che utilizza una Politica Simbolica ($\pi_{sym}$). Questa politica è un insieme di regole logiche (clausole di Horn) che mappano le caratteristiche ambientali (predicati) su termini di azione. Un meccanismo di ragionamento online traduce le osservazioni grezze in predicati logici di alto livello, che vengono valutati contro $\pi_{sym}$ per dedurre azioni promettenti.

Il paper introduce due strategie di integrazione distinte per iniettare questa guida logica nel ciclo PPO:

A. H-PPO-Product (Bias a Livello di Azione)

• Meccanismo: Modifica la distribuzione di campionamento delle azioni durante la fase di addestramento.
• Implementazione:
  • Ad ogni passo temporale, le probabilità di azione della politica neurale vengono ripesate in base a se un'azione è logicamente implicata da $\pi_{sym}$.
  • Un termine di ripesatura $m_t(a, s)$ aumenta la probabilità delle azioni suggerite logicamente di un fattore controllato da un parametro di confidenza $\lambda$ e da un fattore di annealing $\epsilon_t$.
  • $\epsilon_t$ segue un programma di decadimento lineare, iniziando alto per incoraggiare l'esplorazione guidata dalla logica e decadendo a zero man mano che l'addestramento procede.
• Obiettivo: Biasare l'esplorazione nelle fasi iniziali verso traiettorie logicamente solide, permettendo all'agente di ignorare suggerimenti simbolici imperfetti man mano che la politica neurale apprende le vere dinamiche ambientali.

B. H-PPO-SymLoss (Regolarizzazione a Livello di Ottimizzazione)

• Meccanismo: Arricchisce la funzione di perdita PPO con un termine di regolarizzazione simbolica.
• Implementazione:
  • Costruisce una politica di riferimento $\pi_{ref}$ basata sull'indicatore simbolico, assegnando una massa di probabilità più alta alle azioni logicamente implicite.
  • Calcola un rapporto $\rho^{sym}_t$ tra la politica neurale corrente e questa politica di riferimento simbolica (sostituendo il $\pi_{old}$ standard nel rapporto per questo termine specifico).
  • Aggiunge una perdita ausiliaria simbolica $L_{sym}$ (strutturata in modo simile al surrogate PPO troncato) alla funzione di perdita totale, pesata da un parametro $\Theta$.
  • Come per H-PPO-Product, il peso $\Theta$ può essere annealed nel tempo.
• Obiettivo: Agire come regolarizzatore che allinea la politica neurale ai vincoli logici durante l'ottimizzazione, impedendo alla politica di deviare verso regioni subottimali anche se le regole simboliche sono imperfette.

3. Contributi Chiave

1. Framework Neuro-Simbolico PPO: Un approccio innovativo che sfrutta regole logiche parziali per guidare gli agenti PPO, utilizzando sia bias di campionamento (H-PPO-Product) che penalità di ottimizzazione (H-PPO-SymLoss).
2. Robustezza alla Conoscenza Imperfetta: I metodi sono progettati per funzionare con regole logiche indotte da compiti semplici e trasferite a compiti più difficili, anche quando tali regole sono incomplete o imperfette.
3. Nessuna Ritaratura degli Iperparametri: Il framework permette di scalare verso domini più grandi e complessi senza ritarare gli iperparametri PPO, poiché la guida simbolica adatta automaticamente il processo di apprendimento.
4. Validazione Empirica: Valutazione estesa su tre benchmark standard di gridworld (DoorKey, OfficeWorld, WaterWorld) che dimostra prestazioni superiori rispetto a PPO vanilla e baseline basate su Reward Machine.

4. Risultati Sperimentali

Gli autori hanno valutato i loro metodi su tre benchmark con complessità variabile (dimensione della griglia, numero di chiavi, lunghezza della sequenza):

• DoorKey (Navigazione con Chiavi/Porte):

  • H-PPO-Product ha eccelso come motore di esplorazione, raggiungendo la convergenza più rapida e i rendimenti più alti, specialmente nella griglia 16x16 più impegnativa con 4 chiavi.
  • H-PPO-SymLoss ha raggiunto rendimenti elevati ma è convergente più lentamente.
  • La baseline Reward Machine (RM) ha fallito completamente nell'impostazione a 4 chiavi (rendimento zero), evidenziando la fragilità della modellazione della ricompensa in compiti complessi a ricompensa sparsa.

• OfficeWorld (Sottobiettivi Sequenziali):

  • H-PPO-Product ha mostrato un apprendimento iniziale rapido ma si è stabilizzato su un rendimento leggermente inferiore in compiti complessi (es. DeliverCoffeeAndMail).
  • H-PPO-SymLoss è iniziato più lentamente ma ha agito come un potente regolarizzatore di politica, raggiungendo infine i rendimenti finali più alti plasmando la politica in modo più efficace nel lungo termine.

• WaterWorld (Fisica 2D Continua/Sequenze):

  • In compiti di sequenza complessi (es. RedGreenAndBlueCyanAndMagentaYellow), H-PPO-Product è stato l'unico metodo a navigare con successo lo spazio a ricompensa sparsa e raggiungere rendimenti elevati.
  • H-PPO-SymLoss ha faticato qui, confermando che il suo punto di forza risiede nella consolidazione della politica piuttosto che nell'avvio di sequenze di esplorazione complesse da zero.

Riepilogo delle Prestazioni:

• H-PPO-Product: Migliore per l'esplorazione in compiti a ricompensa sparsa e orizzonte lungo.
• H-PPO-SymLoss: Migliore per il raffinamento della politica e la massimizzazione dei rendimenti finali in compiti dove è già avvenuta una certa esplorazione.
• Entrambi i metodi hanno costantemente superato PPO standard e le Reward Machine.

5. Significato

Questo paper affronta un collo di bottiglia critico nel DRL: l'efficienza campionaria in domini complessi a ricompensa sparsa. Integrando il ragionamento simbolico direttamente nella struttura algoritmica di PPO (anziché semplicemente come modellatore di ricompense), gli autori dimostrano che:

1. I priori logici possono accelerare significativamente l'apprendimento senza sacrificare la flessibilità delle reti neurali.
2. Il transfer learning di regole logiche da compiti semplici a compiti complessi è fattibile ed efficace.
3. Diverse strategie di integrazione (bias di campionamento vs. regolarizzazione della perdita) svolgono ruoli distinti, offrendo un toolkit per i praticanti per scegliere l'approccio giusto in base alla necessità di una migliore esplorazione o di una migliore convergenza della politica.

Il lavoro colma il divario tra l'interpretabilità dell'IA simbolica e la scalabilità del Deep RL, aprendo la strada ad agenti più robusti e generalizzabili nelle applicazioni del mondo reale.