Riepilogo Tecnico: Modellazione delle Ricompense e Mascheramento delle Azioni per Compiti Compositi tramite Alberi di Comportamento e LLM

1. Enunciato del Problema

Gli agenti autonomi affrontano spesso compiti complessi che richiedono la scomposizione di un obiettivo di alto livello in una sequenza di sottocompiti più semplici, come navigare verso un oggetto, manipolarlo e procedere verso una meta. Sebbene l'Apprendimento per Rinforzo (RL) possa ottimizzare le politiche per questi sottocompiti, soffre di una bassa efficienza nel campionamento senza funzioni di ricompensa e mascheramenti delle azioni ben definiti. La progettazione manuale di questi componenti è impegnativa perché richiede:

1. Identificare i sottocompiti appropriati.
2. Garantire la reattività ai fallimenti dei sottocompiti (ad esempio, se un agente lascia cadere una chiave, deve tornare indietro per raccoglierla di nuovo invece di procedere).
3. Mantenere la modularità tra oggetti di compito variabili (ad esempio, la stessa logica deve applicarsi sia che l'oggetto sia una "chiave rossa" che una "chiave blu").

Gli approcci automatizzati esistenti che utilizzano Modelli Linguistici su Larga Scala (LLM) o Modelli Visione-Linguaggio (VLM) generano spesso codice di ricompensa o macchine a stati finiti, ma non riescono a risolvere completamente la reattività ai fallimenti, la modularità per i compiti compositi o l'ottimizzazione congiunta della ricompensa e del mascheramento delle azioni.

2. Metodologia

Gli autori propongono gli Alberi di Comportamento con Ricompensa e Mascheramento (MRBT), una struttura simbolica che funge sia da funzione di modellazione della ricompensa che da funzione di mascheramento delle azioni. La metodologia integra tre componenti fondamentali: un modello di albero di comportamento, specifiche logiche per la verifica e una pipeline automatizzata che utilizza un LLM e un risolutore SMT.

2.1. Albero di Comportamento con Ricompensa e Mascheramento (MRBT)

Un MRBT è un Albero di Comportamento (BT) in cui i nodi foglia sono Macchine di Ricompensa Comportamentali con Mascheramento (MBRM).

• Struttura: Il BT coordina l'esecuzione tramite nodi di controllo (Sequenza → e Fallback ?).
• Foglie: Ogni foglia è una MBRM che produce in output una ricompensa scalare e un mascheramento discreto delle azioni basato sullo stato e sul compito dell'agente.
• Reattività: La struttura del BT consente il backtracking. Se un sottocompito fallisce (ad esempio, un'interazione fallisce), il BT torna a uno stato precedente, assicurando che l'agente riprovi il passaggio necessario invece di ricevere una ricompensa per una sequenza incompleta.
• Modularità: L'MRBT utilizza segnaposto per i sottocompiti e formule logiche, permettendogli di adattarsi a diversi attributi degli oggetti (ad esempio, colori) all'interno di uno spazio di compiti definito.

2.2. Modello MRBT

Gli autori progettano un modello specifico per compiti sequenziali di interazione con oggetti. Per una sequenza di $k$ sottocompiti, il modello include:

• Formule Logiche: Per ogni sottocompito $i$, definisce una formula di completamento ($\psi_i$) e una formula di prossimità all'oggetto ($\phi_i$).
• Mascheramenti delle Azioni: Due mascheramenti per ogni sottocompito: $\eta_{i,1}$ per la navigazione e $\eta_{i,2}$ per l'interazione.
• Logica di Esecuzione: Il BT esegue una sequenza di MBRM. Se un sottocompito è completato, passa al successivo; se l'agente è vicino all'oggetto, abilita l'interazione; altrimenti, abilita la navigazione. Se un sottocompito fallisce (lo stato transita verso Fallimento), il BT esegue il backtracking.

2.3. Pipeline Automatizzata di Generazione e Verifica

Per automatizzare la creazione di MRBT, gli autori hanno sviluppato una pipeline (Figura 1) che coinvolge:

1. Generazione LLM: Un LLM (ChatGPT-5) prende in input una descrizione del compito, il modello MRBT e i predicati dell'ambiente. Genera i sottocompiti specifici, le formule logiche ($\psi_i, \phi_i$) e i mascheramenti delle azioni ($\eta_{i,1}, \eta_{i,2}$).
2. Verifica SMT: Viene costruito un modello simbolico della dinamica dell'ambiente ($E_{sym}$) in un risolutore SMT (Z3). Il risolutore verifica le formule logiche generate rispetto a tre specifiche:
   • Correttezza del Completamento: Garantisce che, se il compito finale è completato, tutti i sottocompiti siano stati completati.
   • Prossimità all'Oggetto: Garantisce che l'agente sia vicino all'oggetto immediatamente prima del completamento del sottocompito.
   • Ricompensa Massimale Non Regressiva: Garantisce che, una volta completato un sottocompito, rimanga completato (nessuna regressione) per raggiungere la ricompensa massima.
3. Raffinamento: Se il risolutore SMT trova un controesempio (ad esempio, una traiettoria in cui l'agente completa il compito senza soddisfare una condizione di sottocompito), genera un prompt di debug. L'LLM viene ripromptato con questo controesempio per raffinare le formule logiche fino a quando non sono soddisfattibili.
4. Addestramento Neuro-simbolico RL: L'MRBT verificato viene integrato in un ciclo neuro-simbolico RL (utilizzando PPO) per addestrare l'agente. L'MRBT fornisce il segnale di ricompensa e restringe lo spazio delle azioni ad ogni passaggio.

3. Contributi Chiave

1. Framework MRBT: Introduzione di una struttura simbolica che produce congiuntamente ricompense e mascheramenti delle azioni, progettata specificamente per reattività e modularità nei compiti compositi.
2. Modello MRBT e Specifiche: Un modello sistematico per la costruzione di MRBT per compiti sequenziali di interazione con oggetti, accompagnato da specifiche logiche per verificare la correttezza (completamento, prossimità e non-regressione) utilizzando un risolutore SMT.
3. Pipeline Automatizzata: Un sistema che utilizza un LLM per generare MRBT e un risolutore SMT per verificarli e raffinarli, garantendo robustezza in uno spazio di compiti con oggetti variabili.
4. Valutazione Completa: Esperimenti su cinque spazi di compiti in due ambienti (MiniGrid e MuJoCo Fetch) sotto dinamiche sia deterministiche che stocastiche.
5. Analisi dei Vantaggi: Dimostrazione della trasferibilità degli MRBT (verso AirSim), della modularità (scalano meglio delle Macchine di Ricompensa Gerarchiche) e della verificabilità (garanzie teoriche tramite Z3).

4. Risultati Sperimentali

Gli autori hanno valutato l'approccio MRBT rispetto a due baseline:

• Compito: Una ricompensa binaria data solo al completamento totale del compito.
• Procedura: Una macchina di ricompensa basata su VLM-CaR che assegna ricompense per il completamento dei sottocompiti ma manca di backtracking reattivo e mascheramento delle azioni.
• RBT (Ablazione): Un MRBT senza mascheramento delle azioni.

Risultati Chiave:

• Efficienza di Addestramento e Successo: Gli MRBT hanno costantemente raggiunto una maggiore efficienza di addestramento e tassi di successo nel compito rispetto alle baseline e all'ablaazione RBT.
• Gestione della Complessità: Nello spazio di compiti più complesso (LockedRoom, 4 sottocompiti, 36 varianti), gli MRBT hanno raggiunto un tasso di successo medio di $\ge 80\%$, mentre le baseline hanno raggiunto $\le 70\%$.
• Stocasticità: Gli MRBT hanno mantenuto alte prestazioni in ambienti stocastici (ad esempio, chiavi che cadono casualmente), dimostrando il valore del backtracking reattivo.
• Trasferibilità: Le politiche addestrate con MRBT in MiniGrid sono state trasferite con successo a un simulatore realistico di quadricotteri (AirSim), raggiungendo un tasso di successo del 97% in impostazioni deterministiche e del 94% in impostazioni stocastiche, superando tutte le ablaazioni.
• Modularità: La struttura MRBT scala in modo più modulare rispetto alle Macchine di Ricompensa Gerarchiche (HRM); aggiungere un sottocompito a un MRBT richiede $O(1)$ di memoria, mentre le HRM richiedono $O(k)$ di memoria per gli archi di ritorno.
• Verifica: Il risolutore SMT ha raffinato con successo le formule logiche generate (ad esempio, correggendo le soglie di prossimità o le condizioni di persistenza) in meno di 10 minuti per la maggior parte dei compiti.

5. Significato e Affermazioni

Il documento afferma che gli MRBT offrono una soluzione robusta per automatizzare la modellazione delle ricompense e il mascheramento delle azioni nei compiti compositi. Il significato risiede in tre vantaggi principali:

1. Trasferibilità: La natura simbolica degli MRBT permette alle politiche addestrate in simulazione di trasferirsi efficacemente a simulatori realistici (AirSim) e a oggetti di compito variabili.
2. Modularità: A differenza delle macchine a stati finiti o delle macchine di ricompensa, la struttura ad albero degli MRBT permette una scalabilità e una modifica più semplici all'aumentare della complessità del compito.
3. Verificabilità: Integrando risoltori SMT, l'approccio fornisce garanzie teoriche che la logica della ricompensa e del mascheramento delle azioni sia corretta rispetto alle specifiche del compito, una caratteristica assente negli approcci puramente basati sui dati o sulle dimostrazioni.

Gli autori concludono che, sebbene l'approccio richieda un risolutore SMT per la verifica, gli MRBT risultanti migliorano significativamente l'efficienza dell'apprendimento e il successo nel compito, in particolare in ambienti complessi e multi-step dove la reattività al fallimento è critica. Si nota che il lavoro futuro esplorerà l'ulteriore generalizzazione del modello MRBT.