RAMP: Hybrid DRL for Online Learning of Numeric Action Models

Il paper propone RAMP, una strategia ibrida che combina apprendimento per rinforzo profondo e pianificazione per apprendere online modelli di azioni numerici, superando i metodi offline esistenti e ottenendo risultati significativamente migliori rispetto a PPO in termini di risolvibilità e qualità dei piani.

L'essenziale

Immagina di dover insegnare a un robot come guidare un'auto, ma con un problema: non hai il manuale di istruzioni. Non sai quali sono i limiti di velocità, come funziona il freno o cosa succede se giri il volante troppo forte. Devi impararlo tutto mentre guidi, facendo errori e correggendoli.

Questo è esattamente il problema che affronta la ricerca presentata in questo articolo, chiamata RAMP.

Ecco una spiegazione semplice, usando metafore di tutti i giorni, di come funziona e perché è speciale.

1. Il Problema: Il Robot "Cieco"

Nel mondo dell'intelligenza artificiale, ci sono due modi principali per far fare le cose a un robot:

• Il Pianificatore (L'Architetto): È come un architetto che ha il progetto completo della casa. Sa esattamente dove mettere ogni mattone. Ma se non ha il progetto (il modello del mondo), non può costruire nulla.
• L'Apprendimento per Rinforzo (L'Esploratore): È come un bambino che impara a camminare cadendo e rialzandosi. Impara per tentativi ed errori, ma spesso è lento e inefficiente, e non capisce perché certe cose funzionano.

Finora, per i problemi che coinvolgono numeri (come quanta benzina hai, quanto pesa un carico, ecc.), gli algoritmi dovevano scegliere: o avevano il manuale (ma era difficile da scrivere a mano) o imparavano a tentativi (ma era molto lento). Non esisteva un modo per imparare il manuale mentre si guidava.

2. La Soluzione: RAMP (Il Trio Perfetto)

Gli autori hanno creato RAMP, un sistema che unisce tre "cervelli" in un unico team che si aiuta a vicenda. Immagina un'auto da corsa con tre persone a bordo:

1. L'Esploratore (DRL - Deep Reinforcement Learning): È il pilota che guida l'auto. Prova cose, sbaglia, impara dai risultati. Il suo compito è raccogliere dati.
2. Il Meccanico (AML - Action Model Learning): È l'ingegnere che osserva il pilota. Mentre il pilota guida, il meccanico prende appunti: "Ah, quando giri il volante a sinistra a 50 km/h, l'auto scivola". Sta cercando di scrivere il manuale di istruzioni (il modello) basandosi su ciò che vede.
3. Il Navigatore (Planner): Una volta che il meccanico ha scritto una bozza del manuale, il navigatore lo legge e dice: "Ehi, secondo questo manuale, se vuoi arrivare al traguardo, devi fare questo percorso preciso, non quello che stai provando a fare a caso".

3. Il Magico Circolo Virtuoso

La vera magia di RAMP è che questi tre lavorano in un ciclo positivo:

• L'Esploratore guida e raccoglie dati.
• Il Meccanico usa quei dati per scrivere un manuale sempre più preciso.
• Il Navigatore usa il manuale per dare istruzioni migliori all'Esploratore.
• L'Esploratore, seguendo le istruzioni migliori, impara più velocemente e raccoglie dati ancora più utili per il Meccanico.

È come se stessimo imparando a cucinare: prima assaggiamo e sbagliamo (Esploratore), poi scriviamo la ricetta basandoci sugli errori (Meccanico), e poi seguiamo la ricetta per cucinare un piatto perfetto (Navigatore), che ci insegna ancora di più su come cucinare.

4. Il "Traduttore" (Numeric PDDLGym)

C'era un altro problema: i robot di pianificazione parlano una lingua molto tecnica (PDDL), mentre i robot che imparano (come quelli che giocano ai videogiochi) parlano un'altra lingua (Gym). Non si capivano.
Gli autori hanno creato un traduttore automatico chiamato Numeric PDDLGym. È come un'app che prende un problema matematico complesso e lo trasforma in un videogioco semplice che il robot può "giocare" per imparare.

5. I Risultati: Chi vince?

Hanno messo alla prova RAMP contro un famoso algoritmo di intelligenza artificiale chiamato PPO (che è solo l'Esploratore, senza Meccanico né Navigatore).

• Risultato: RAMP ha vinto a mani basse.
• Perché? RAMP risolveva più problemi e lo faceva con percorsi più brevi ed efficienti.
• L'analogia: Se PPO è come un turista che gira per una città sconosciuta chiedendo a caso la strada, RAMP è come un turista che ha una mappa che si aggiorna da sola mentre cammina. Arriva prima e si perde meno.

In Sintesi

Questo paper ci dice che non dobbiamo più scegliere tra "avere un piano perfetto" e "imparare dall'esperienza". Con RAMP, possiamo fare entrambe le cose contemporaneamente. Il sistema impara a conoscere le regole del mondo mentre le usa per risolvere problemi complessi, rendendo l'intelligenza artificiale più intelligente, più veloce e più sicura, specialmente quando ci sono numeri e calcoli di mezzo (come la gestione delle risorse o la fisica).

È un passo avanti verso robot che non solo "sanno fare", ma capiscono come e perché funzionano le cose, imparando da soli mentre lavorano.

Sommario tecnico

1. Il Problema

Il pianificazione automatizzata richiede un modello di azione preciso che specifichi precondizioni ed effetti per ogni azione. Tuttavia, ottenere tali modelli manualmente è estremamente difficile, specialmente nei domini di pianificazione numerica, dove le variabili di stato includono sia valori discreti che continui.
Esistono algoritmi esistenti per l'apprendimento dei modelli di azione (Action Model Learning - AML), ma sono prevalentemente offline: richiedono tracce di esecuzione fornite da esperti per apprendere.
Il lavoro si concentra sul setting di apprendimento online, dove un agente deve imparare interagendo direttamente con l'ambiente senza tracce preesistenti. Sebbene gli algoritmi di Deep Reinforcement Learning (DRL) come PPO siano adatti all'apprendimento online, spesso mancano dei vantaggi strutturali della pianificazione simbolica e faticano a risolvere problemi che richiedono ragionamenti su orizzonti temporali lunghi. Non esistono attualmente metodi consolidati per l'apprendimento online di modelli di pianificazione numerica che integrino sicurezza e pianificazione.

2. Metodologia: La Strategia RAMP

Gli autori propongono RAMP (Reinforcement learning, Action Model learning, and Planning), una strategia ibrida che integra tre componenti in un ciclo di feedback positivo:

1. Deep Reinforcement Learning (DRL): Utilizza un algoritmo PPO (Proximal Policy Optimization) per esplorare l'ambiente e raccogliere dati in modo orientato agli obiettivi.
2. Apprendimento del Modello di Azione (AML): Utilizza l'algoritmo NSAM (Numeric Safe Action Model) per apprendere un modello numerico dalle traiettorie osservate. NSAM garantisce che il modello appreso sia "sicuro" (safe), ovvero che ogni piano generato dal modello appreso sia eseguibile nel mondo reale.
3. Pianificatore: Utilizza il modello numerico appreso per generare piani di alta qualità.

Il Ciclo di Feedback:

• L'agente DRL esplora e raccoglie dati.
• Questi dati vengono usati da NSAM per raffinare il modello di azione.
• Il pianificatore usa il modello raffinato per generare piani efficienti.
• Questi piani vengono eseguiti dall'agente, fornendo dati di alta qualità (traiettorie ottimali) per addestrare ulteriormente la politica DRL, accelerando l'apprendimento.

Implementazione e Sfide:

• Mascheramento delle Azioni: Per gestire le discrepanze tra le azioni suggerite dal pianificatore e la politica DRL corrente (che potrebbe assegnare basse probabilità ad azioni "esperte"), viene utilizzata una tecnica di mascheramento. Le azioni non conformi al piano vengono mascherate (probabilità zero) per evitare che il meccanismo di clipping di PPO annulli gli aggiornamenti del gradiente.
• Gestione delle Azioni Non Applicabili: Viene applicato un mascheramento anche per le azioni che si è già visto essere non applicabili in uno stato specifico, prevenendo tentativi ripetuti fallimentari.

3. Contributi Chiave

1. RAMP: È il primo approccio che integra DRL, apprendimento online di modelli di azione numerica e pianificazione simbolica. Risolve il problema dell'apprendimento online di domini numerici con garanzie di sicurezza.
2. Numeric PDDLGym: Gli autori hanno sviluppato un framework automatizzato per convertire problemi di pianificazione numerica definiti in PDDL 2.1 in ambienti standard Gym (AI Gym).
   • Questo framework appiattisce le rappresentazioni simboliche (grounding) in vettori di osservazione e azione a dimensione fissa, permettendo l'uso diretto di librerie DRL standard (come RLlib).
   • Supporta variabili booleane e numeriche, ma attualmente non gestisce condizioni di obiettivo numeriche o effetti condizionali complessi.
3. Validazione Empirica: Dimostrazione che l'approccio ibrido supera significativamente i metodi DRL puri in termini di capacità di risoluzione e qualità delle soluzioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro domini: tre standard della International Planning Competition (Counters, Depot, Sailing) e uno ispirato a Minecraft (Pogo Stick), con due livelli di difficoltà (Small e Large).

• Solvibilità (Success Rate): RAMP supera nettamente PPO.
  • In domini come Counters e Sailing, RAMP raggiunge una solvibilità quasi perfetta molto più velocemente.
  • In Depot (livello Large), RAMP risolve problemi che PPO non riesce affatto a risolvere, grazie alla capacità del pianificatore di trovare soluzioni basate sul modello appreso (successo >90% quando il modello è valido).
• Qualità del Piano (Plan Length): RAMP trova piani significativamente più brevi rispetto a PPO. Il pianificatore guida l'agente verso soluzioni efficienti invece di affidarsi solo all'esplorazione casuale.
• Qualità del Modello Appreso:
  • Precisione: Raggiunge il 1.0 per gli effetti e le precondizioni (garantito dalla sicurezza di NSAM).
  • Recall: Varia in base ai dati raccolti. Sebbene non raggiunga la recall perfetta dell'AML offline (che usa 80 tracce di esperti), il modello appreso online è sufficiente per risolvere i problemi con poche traiettorie (es. in Depot Small, bastano in media 4.2 traiettorie per apprendere un modello risolutivo).
• Efficienza: RAMP utilizza i piani generati dal pianificatore nell'85-93% dei casi quando questi sono disponibili, dimostrando un'efficace integrazione tra esplorazione DRL e pianificazione simbolica.

5. Significato e Conclusioni

Il lavoro di RAMP colma un divario significativo tra l'apprendimento per rinforzo e la pianificazione simbolica nei domini numerici. Dimostra che:

1. L'integrazione di un modello di azione appreso online con un pianificatore e un agente DRL crea un ciclo virtuoso che migliora sia l'efficienza del campionamento che la qualità delle soluzioni.
2. È possibile apprendere modelli di azione numerici "sicuri" in tempo reale senza tracce di esperti.
3. Strumenti come Numeric PDDLGym sono fondamentali per rendere i domini di pianificazione simbolica accessibili agli algoritmi DRL standard.

Lavori Futuri:
Gli autori intendono rilassare l'assunzione di osservabilità priva di rumore, incorporando rappresentazioni probabilistiche degli stati e modelli di azione robusti al rumore, per permettere il dispiegamento in ambienti reali parzialmente osservabili.