💻 computer science

Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning

Questo articolo propone un framework di Apprendimento per Rinforzo Gerarchico neurosimbolico che integra la Conoscenza Incrementale (InK) e la Ricerca nell'Albero del Mondo delle Credenze per consentire una pianificazione simbolica aggiornabile e un apprendimento neurale con modellazione della ricompensa, migliorando così significativamente l'efficienza campionaria in compiti di navigazione a lungo termine con ricompense scarse.

Autori originali: Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

Pubblicato 2026-08-05

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come navigare in un labirinto gigante e mutevole. Nel mondo dell'intelligenza artificiale, questa è una sfida classica nota come Apprendimento per Rinforzo (Reinforcement Learning, RL). È come addestrare un cane: gli dai un premio (una ricompensa) quando fa qualcosa di giusto, e lui impara a ripetere quell'azione. Ma ecco il problema: se il labirinto è enorme e i premi sono nascosti molto lontano, il cane potrebbe vagare per un milione di anni prima di trovare accidentalmente la strada. Questo è il problema dell' "efficienza campionaria" (sample efficiency): quanti tentativi deve fare l'IA per imparare?

Per risolvere questo problema, gli scienziati spesso utilizzano l' "Apprendimento per Rinforzo Gerarchico" (Hierarchical Reinforcement Learning, HRL). Invece di far cercare a un robot di capire ogni singolo passo tutto in una volta, gli dai un capo e un operaio. Il capo (il pianificatore di alto livello) decide grandi obiettivi, come "vai in cucina", mentre l'operaio (il controllore di basso livello) capisce i minuscoli movimenti muscolari per arrivarci. Di solito, il capo è una mappa rigida, pre-programmata, che non cambia mai. Ma cosa succederebbe se il labirinto avesse pareti segrete che appaiono solo quando ci si scontra? Un capo rigido continuerebbe a cercare di attraversare una parete che è appena apparsa, sprecando tempo. Questo articolo esplora un modo più intelligente: un robot che impara la mappa mentre si muove, aggiornando la mappa del suo capo in tempo reale in base a ciò che l'operaio scopre.

La Grande Idea del Documento: Un Robot che Impara Man mano che Avanza

Gli autori, Subrat Prasad Panda e il suo team, propongono un nuovo sistema chiamato Neurosymbolic HRL with Incremental Knowledge (InK). Analizziamo il nome: "Neurosimbolico" significa che stanno mescolando due tipi di cervelli. La parte "neurale" è un cervello flessibile e capace di apprendere (come una rete neurale di deep learning) che gestisce i movimenti fisici. La parte "simbolica" è un cervello logico, basato su regole, che gestisce la pianificazione, come un giocatore di scacchi che pensa in anticipo.

Nei sistemi tradizionali, il cervello logico costruisce una mappa perfetta del mondo prima che il robot inizi a muoversi. È come cercare di memorizzare l'intera mappa della metropolitana di Londra prima di uscire di casa. Se una linea ferroviaria è chiusa o una nuova stazione apre, la tua mappa diventa inutile finché non ricominci da capo. Gli autori sostengono che questo sia inefficiente. Invece, il loro robot utilizza la Conoscenza Incrementale (InK). Parte da una tabula rasa o da una supposizione approssimativa. Mentre il robot "operaio" prova a muoversi e urta una parete, dice al "capo": "Ehi, c'è un muro qui!". Il capo aggiorna immediatamente la sua mappa e ricalcola il percorso migliore. È come avere un GPS che aggiorna il tuo percorso nel momento esatto in cui incontri un ingorgo stradale, invece di rimanere bloccato aspettando che venga stampata una nuova mappa.

Il "Mondo di Credenza" e la Ricerca ad Albero

Il documento introduce un trucco astuto per gestire l'incertezza. Immagina di essere in una stanza buia e di sapere che c'è esattamente una parete da qualche parte, ma non sai dove. Potresti ipotizzare che sia a sinistra, o a destra, o al centro. Il robot non sceglie semplicemente un'ipotesi; mantiene un "insieme di credenza" (belief set): un elenco mentale di tutti i mondi possibili in cui la parete potrebbe trovarsi.

Per prendere decisioni in questa nebbia di incertezza, gli autori hanno sviluppato un algoritmo chiamato Belief World Tree Search (BWTS). Immagina un enorme albero che cresce nella tua mente. Il tronco è la tua posizione attuale. Ogni volta che devi scegliere una direzione, l'albero si ramifica. Ma ecco il colpo di scena: invece di ipotizzare solo un percorso, il BWTS simula migliaia di futuri possibili contemporaneamente. Si chiede: "Se la parete fosse qui, quale sarebbe la mossa migliore? Se la parete fosse lì, quale sarebbe la mossa migliore?". Poi sceglie la mossa che funziona meglio in media attraverso tutte quelle possibilità.

Il documento argomenta esplicitamente contro l'uso di metodi di indovinazione "casuali" standard (come alcuni algoritmi più vecchi che semplicemente lanciano i dadi per vedere cosa succede). Gli autori hanno scoperto che l'indovinazione casuale in un labirinto spesso fa girare il robot in tondo, sprecando tempo. Invece, il BWTS utilizza "rollout strategici": simula percorsi usando strategie intelligenti e pre-pianificate (come "scansiona sempre a sinistra se colpisci un muro") per individuare rapidamente il percorso migliore senza perdersi.

Cosa Hanno Trovato: Velocità e Intelligenza

Il team ha testato la loro idea in simulazioni al computer di labirinti, che vanno da semplici griglie a complessi ambienti 3D con un robot "formica" dotato di molte articolazioni.

Guadagni di Velocità Massicci: Confrontato con il vecchio metodo "costruisci prima la mappa" (chiamato RGL nel documento), il nuovo metodo InK è stato incredibilmente più veloce nell'apprendimento. In un labirinto "Four Rooms", il vecchio metodo ha avuto bisogno di circa 2.080 passi per raggiungere l'obiettivo per la prima volta partendo da zero. Il nuovo metodo InK ha avuto bisogno di soli 64,9 passi. Si tratta di circa 30 o 100 volte meno tentativi.
Risparmio di Tempo: La differenza di tempo è stata ancora più evidente. Il vecchio metodo ha impiegato oltre 96 secondi solo per individuare il primo percorso. Il nuovo metodo l'ha fatto in 0,02 secondi.
Il Potere della Conoscenza Pregressa: Quando al robot è stato dato un indizio sul mondo (come "c'è una parete da qualche parte, ma non so dove"), l'algoritmo BWTS ha brillato. In questi casi, ha utilizzato la metà dei campioni (tentativi) rispetto al pianificatore standard, sebbene abbia richiesto un po' più di tempo di calcolo per la matematica complessa.
Ambienti Complessi: Il sistema ha funzionato anche sull' "Ant-Maze U-Room", una sfida ad alta dimensionalità con 29 dimensioni di movimento. Il vecchio metodo ha avuto bisogno di circa 10.000 passi per costruire la sua mappa, mentre il nuovo metodo ha raggiunto l'obiettivo in circa 1.507 passi (o addirittura 1.134 passi con il pianificatore BWTS).

Cosa NON Hanno Trovato (e Cosa Hanno Rifiutato)

Il documento specifica con cura cosa non funziona bene in questo specifico setup. Hanno testato un popolare algoritmo chiamato BAMCP, che cerca di gestire l'incertezza assumendo che ogni parte del labirinto sia indipendente (come assumere che la parete in cucina non abbia nulla a che fare con la parete in camera da letto). Gli autori hanno scoperto che questo approccio fallisce miseramente nei loro test nel labirinto. Poiché le pareti erano strutturalmente collegate (se c'è una parete qui, non può essercene una lì), l'assunzione di indipendenza ha portato a decisioni errate e spreco di tempo. BAMCP ha impiegato mediamente 28 o 40 passi, laddove il nuovo metodo ne ha impiegati 21 o 23, ed è stato molto più lento nell'esecuzione.

Gli autori notano anche che, sebbene il loro metodo sia più veloce, l'algoritmo BWTS è computazionalmente pesante. Se non si ha alcuna conoscenza pregressa del mondo, il più semplice pianificatore "D*" (un pianificatore incrementale standard) è in realtà più veloce e sufficiente. Hai bisogno della sofisticata ricerca ad albero BWTS solo se hai indizi strutturali specifici sul mondo da sfruttare.

In Sintesi

Questo documento suggerisce che, mescolando un cervello capace di apprendere in modo flessibile con un pianificatore logico che aggiorna la sua mappa in tempo reale, i robot possono imparare a navigare in mondi complessi e sconosciuti molto più velocemente di prima. Non si sono limitati a simulare un robot; hanno dimostrato che, in questi specifici scenari di labirinto, il nuovo metodo supera costantemente il vecchio approccio "impara tutto prima", risparmiando enormi quantità di tempo e sforzo. È un passo verso robot che possono esplorare una nuova casa, imparare dove si trova l'arredamento e trovare la cucina senza aver bisogno di un manuale per ogni singola stanza.

Sintesi Tecnica: Ragionamento Neurosimbolico con Conoscenza Incrementale per l'Apprendimento per Rinforzo Gerarchico Efficiente in Campioni

1. Definizione del Probleamento

Gli agenti di Deep Reinforcement Learning (DRL) faticano in ambienti caratterizzati da ricompense scarse e ragionamento a lungo termine, soffrendo spesso di una complessità di campionamento proibitiva. Sebbene l'Apprendimento per Rinforzo Gerarchico (HRL) mitighi questo problema scomponendo i compiti attraverso livelli di astrazione, gli approcci standard si affidano tipicamente a paradigmi di conoscenza non incrementale (non-InK). In questi metodi, come SoRB e RGL, il pianificatore simbolico di alto livello richiede la costruzione di un modello di mondo astratto completo e statico attraverso un'esplorazione esaustiva prima che possa iniziare qualsiasi comportamento orientato allo scopo. Ciò crea un'inefficienza fondamentale: l'agente deve esplorare l'intero ambiente indipendentemente dallo specifico obiettivo.

Inoltre, nel neurosimbolico HRL, può esistere un divario semantico tra il pianificatore simbolico di alto livello e il controllore neurale di basso livello. Il pianificatore di alto livello assume che certe azioni siano fattibili, ma la policy neurale di basso livello (spesso addestrata indipendentemente o in un ambiente diverso) può fallire nell'esecuzione a causa di vincoli dinamici, stochasticità o ostacoli non modellati. Gli approcci neurosimbolici esistenti mancano di meccanismi per aggiornare il modello del mondo di alto livello basandosi sul feedback di esecuzione del basso livello. Viceversa, gli approoli classici di conoscenza incrementale (InK) nella robotica (ad esempio, Active SLAM, D*) aggiornano i modelli del mondo durante l'esecuzione, ma tipicamente assumono componenti simboliche a entrambi i livelli, fallendo nel gestire la dinamica dipendente dalla policy dei controllori neurali di basso livello.

Infine, quando esiste una conoscenza strutturale a priori (ad esempio, "c'è esattamente una parete in una posizione sconosciuta"), gli algoritmi di pianificazione attuali come D* o i risolutori Bayesian Adaptive MDP (BAMCP) sono subottimali. D* ricalcola il piano in base alle osservazioni correnti ma ignora l'insieme di mondi possibili (belief set) per ottimizzare le prestazioni medie. BAMCP assume l'indipendenza tra le transizioni stato-azione, il che non riesce a catturare i vincoli strutturali dove la posizione di un ostacolo vincola le possibilità di altri.

2. Metodologia

Gli autori propongono l'HRL Neurosimbolico con Conoscenza Incrementale (InK), un framework che integra la pianificazione simbolica con il controllo neurale integrando continuamente il modello del mondo basato sulle tracce di esecuzione.

2.1 HRL Neurosimbolico con InK

Il framework impiega una gerarchia a due livelli:

Alto Livello (Simbolico): Mantiene un modello di mondo astratto aggiornabile ( $M$ ) che rappresenta l'ambiente come un insieme di stati e azioni simboliche. Esegue la pianificazione utilizzando un pianificatore incrementale (ad esempio, D*) per generare sottogiobi. Fondamentalmente, questo modello viene aggiornato in tempo reale sulla base del feedback dall'esecuzione del basso livello.
Basso Livello (Neurale): Una policy neurale condizionata all'obiettivo ( $\pi_l$ ) esegue il controllo del moto continuo per raggiungere i sottogiobi forniti dall'alto livello. Agisce come un sensore; i suoi successi e fallimenti forniscono le tracce di esecuzione ( $\rho$ ) necessarie per aggiornare il modello di alto livello.
Coordinamento: Il pianificatore di alto livello dirige l'agente di basso livello verso un sottogiobi. Se l'agente di basso livello fallisce (ad esempio, urta una parete inaspettata), il monitor rileva l'evento e il modello di alto livello viene aggiornato per riflettere il nuovo vincolo. Il pianificatore ri-pianifica quindi il percorso. Questo elimina la necessità di un'esplorazione esaustiva preventiva, permettendo un comportamento orientato all'obiettivo fin dal primo episodio.

2.2 Ricerca ad Albero di Mondi di Credenza (Belief World Tree Search - BWTS)

Per affrontare il limite degli standard pianificatori incrementali (come D*) che non sfruttano la conoscenza strutturale a priori su un insieme di mondi possibili ( $W_0$ ), gli autori introducono la Ricerca ad Albero di Mondi di Credenza (BWTS).

Formulazione del Problema: L'agente opera in un vero mondo $W_{true} \in W_0$ , dove $W_0$ è un insieme finito di mondi possibili che codificano conoscenze strutturali a priori (ad esempio, "esiste una parete, posizione sconosciuta"). L'obiettivo è trovare una policy $\pi$ che minimizzi il costo medio su tutti i mondi in $W_0$ .
Struttura ad Albero: BWTS costruisce un albero di ricerca con due tipi di nodi:
- Nodi Decisionali: Rappresentano la scelta dell'azione dell'agente.
- Nodi di Caso (Chance Nodes): Rappresentano l'esito di un'azione (ad esempio, se un percorso è bloccato da una parete o meno), dividendo il set di credenza $W$ in sottoinsiemi ( $W^-$ dove la parete esiste, $W^+$ dove non esiste).
Rollout Strategici: A differenza della ricerca Monte Carlo ad albero (MCTS) standard che utilizza rollout casuali, BWTS impiega rollout strategici. Valuta strategie fisse e deterministiche (ad esempio, "spazza a sinistra", "spazza a destra", "muoviti verso l'obiettivo") attraverso tutti i mondi nel set di credenza corrente per stimare i valori dei nodi. Ciò riduce la varianza ed evita i loop comuni nei rollout stocastici.
Selezione ed Espansione: L'algoritismo utilizza una formula di tipo Upper Confidence Bound (UCB) per bilanciare esplorazione ed esplorazione. Prioritizza l'espansione delle branche con set di credenza più grandi, poiché richiedono più esplorazione per risolvere l'incertezza.
Convergenza: Teoricamente, BWTS converge alla policy ottimale per il problema InK all'aumentare delle iterazioni, a condizione che l'albero sia completamente espanso.

3. Contributi Chiave

HRL Neurosimbolico con InK: La proposta di un framework gerarchico in cui un pianificatore di alto livello simbolico mantiene un modello del mondo aggiornabile guidato da un controllore neurale di basso livello. Questo approccio colma il divario semantico utilizzando il feedback di esecuzione del basso livello per raffinare le astrazioni di alto livello, consentendo un apprendimento efficiente in termini di campioni senza esplorazione esaustiva preventiva.
Belief World Tree Search (BWTS): Lo sviluppo di un algoritmo di pianificazione che ottimizza le prestazioni medie su un insieme di mondi possibili con dipendenze strutturali. BWTS adatta MCTS per gestire dinamiche completamente osservabili ma sconosciute con prior strutturali, superando le assunzioni di indipendenza di BAMCP e la mancanza di utilizzo del set di credenza di D*.
Validazione Empirica: Dimostrazione che l'InK HRL supera significativamente i baseline non-InK (specificamente RGL) in termini di efficienza di campionamento in varie attività di navigazione, inclusa il controllo continuo ad alta dimensionalità (Ant-Maze).

4. Risultati Sperimentali

Gli autori hanno valutato il loro approccio su compiti di navigazione utilizzando ambienti Point-Maze (Four Rooms, Medium Maze, Hard Maze) e un Ant-Maze U-Room ad alta dimensionalità.

InK vs. Non-InK (RGL):
- Efficienza di Campionamento: InK ha richiesto da 30 a 100 volte meno campioni rispetto a RGL per raggiungere un obiettivo partendo da zero (nessuna conoscenza pregressa). Ad esempio, nell'Hard Maze, InK ha raggiunto l'obiettivo in circa 209 step rispetto ai circa 17.456 step di RGL.
- Efficienza di Addestramento: Anche dopo che RGL ha completato la sua estesa fase di addestramento (oltre 100k campioni), InK (dopo aver raggiunto solo 75 obiettivi per costruire la sua base di conoscenza) rimaneva più efficiente, richiedendo il 18% in meno di campioni e 20 volte meno tempo per obiettivo.
- Controllo ad Alta Dimensionalità: Nell'Ant-Maze (29 dimensioni), InK ha raggiunto l'obiettivo in circa 1.500 step (usando D*) o circa 1.134 step (usando BWTS), mentre il baseline non-InK richiedeva circa 10.000 step per costruire un modello astratto completo.
Confronto tra Pianificatori Simbolici (D vs. BWTS vs. BAMCP):*
- BWTS vs. D:* In mondi a griglia sintetici con prior strutturali (ad esempio, una singola parete orizzontale), BWTS ha ottenuto un costo atteso inferiore (ad esempio, un miglioramento del 15,7% rispetto a D* negli scenari con parete orizzontale) sfruttando il set di credenza per evitare costosi backtracking. Tuttavia, in scenari complessi senza chiari vantaggi strutturali (ad esempio, tipi di parete misti), l'overhead computazionale di BWTS è stato significativo per guadagni marginali.
- BWTS vs. BAMCP: BAMCP ha performato scarsamente (spesso >28 step contro i ~24 step di D*) ed è stato instabile a causa della sua dipendenza da rollout stocastici e dell'incapacità di modellare le dipendenze strutturali (ad esempio, "se la parete è in A, non c'è una parete in B"). I rollout strategici di BWTS e la modellazione esplicita dei vincoli strutturali hanno prodotto prestazioni superiori.
- Conoscenza a Priori: Quando la conoscenza a priori era disponibile (ad esempio, un insieme di tre tipi di maze noti), InK-BWTS ha dimezzato il conteggio dei campioni rispetto a InK-D*, pur incorrendo in un maggiore tempo di esecuzione durante la fase di pianificazione.

5. Significato e Rivendicazioni

Il paper sostiene che l'HRL Neurosimbolico con InK fornisce un approccio pratico per l'apprendimento efficiente in campioni in ambienti complessi con ricompense scarse. Combinando il ragionamento strutturale dei pianificatori simbolici con l'adattabilità dei controllori neurali, il framework permette agli agenti di agire con conoscenza parziale e raffinare le proprie decisioni man mano che acquisiscono nuove informazioni, rispecchiando il ragionamento umano.

Gli autori sottolineano che:

Efficienza di Campionamento: L'approccio produce guadagni superiori a 100.000 step di ambiente rispetto ai metodi non-InK allo stato dell'arte negli ambienti Point Maze.
Ottimalità sotto Incertezza: BWTS offre un metodo per pianificare in modo ottimale sulla media dei mondi di credenza, affrontando un vuoto lasciato sia dai pianificatori incrementali (che ignorano i prior) che dai pianificatori bayesiani (che assumono l'indipendenza).
Versatilità: Il framework è applicabile a problemi di controllo continuo a bassa e alta dimensionalità, a condizione che sia possibile pre-addestrare o apprendere una policy di basso livello condizionata all'obiettivo.

Il lavoro conclude che, sebbene BWTS introduca un overhead computazionale, il compromesso è giustificato quando la conoscenza strutturale a priori è disponibile, e che il framework InK stesso offre sostanziali guadagni di efficienza anche senza tali prior rispetto all'HRL tradizionale. Il lavoro futuro suggerisce di estendere l'InK ai compiti di manipolazione e di unificare i prior strutturali e probabilistici in un unico algoritmo.