Agentic LLM Planning via Step-Wise PDDL Simulation: An Empirical Characterisation

Lo studio presenta PyPDDLEngine, un motore di simulazione PDDL che permette agli LLM di pianificare in modo agentic attraverso feedback step-wise, dimostrando un miglioramento marginale rispetto alla pianificazione diretta ma inferiore rispetto ai metodi simbolici classici, suggerendo che i vantaggi degli agenti dipendono dalla natura del feedback ambientale.

L'essenziale

Immagina di dover insegnare a un robot come riordinare una stanza piena di scatole (il classico problema del "Mondo dei Blocchi"). L'obiettivo è spostare le scatole da una posizione disordinata a una specifica configurazione finale.

Questo articolo scientifico si chiede: i moderni modelli di intelligenza artificiale (come quelli che scrivono testi o creano immagini) sono bravi a fare da "pianificatori" per questi robot, o è meglio affidarsi ai vecchi metodi matematici?

Ecco la spiegazione semplice, usando qualche metafora divertente.

1. I Due Metodi a Confronto

Gli autori hanno messo alla prova due modi di pensare dell'IA:

• Il "Genio Solitario" (Approccio Diretto): Immagina di chiedere a un amico molto colto: "Ehi, come risolvi questo puzzle?". Lui ti risponde con un piano completo scritto su un foglio: "Prendi la scatola A, mettila qui, poi prendi la B...". Se il piano è sbagliato, lui non se ne accorge finché non lo esegui. Se fallisce, devi cancellare tutto e chiederglielo di nuovo da capo, sperando che la prossima volta indovini.
• Il "Detective Interattivo" (Approccio Agentic): Questa volta, l'IA non ti dà tutto il piano subito. Le dici: "Fai un passo". L'IA muove una scatola, poi ti chiede: "Ok, ora cosa vedo? Posso muovere la prossima?". Se si accorge di aver fatto un errore, può dire: "Ops, ho sbagliato, torniamo all'inizio e riproviamo". È come un videogioco dove puoi salvare e ricaricare la partita ogni volta che sbagli mossa.

Per far funzionare questo "Detective", gli autori hanno creato un nuovo strumento chiamato PyPDDLEngine. È come un simulatore di realtà virtuale che permette all'IA di vedere le conseguenze delle sue mosse in tempo reale, invece di doverle solo immaginare.

2. La Gara: Chi vince?

Hanno fatto gareggiare questi due metodi contro i "vecchi maestri" (algoritmi matematici classici chiamati Fast Downward) su 102 problemi diversi, con un limite di tempo di 3 minuti per ciascuno.

Ecco i risultati:

• I Vecchi Maestri (Algoritmi Classici): Hanno vinto la gara con un 85% di successo. Sono come un navigatore GPS che calcola ogni strada possibile in millisecondi. Non sbagliano quasi mai, ma sono "freddi" e non usano il buon senso.
• Il Genio Solitario (IA Diretta): Ha risolto il 64% dei problemi.
• Il Detective Interattivo (IA Agentic): Ha risolto il 67% dei problemi.

La sorpresa: L'approccio interattivo (il Detective) ha vinto di poco sul Genio Solitario, ma è costato 5,7 volte di più in termini di "energia" (token, ovvero la quantità di calcolo necessaria). È come se avessi pagato 5 caffè extra per ottenere un risultato solo leggermente migliore.

3. Il Paradosso dei Piani Perfetti

C'è un dettaglio strano e affascinante. Quando l'IA riusciva a risolvere il problema, i suoi piani erano spesso più brevi di quelli dei vecchi algoritmi classici, anche se questi ultimi avevano un trucco: potevano rivedere e accorciare il piano più volte prima di consegnarlo.

Perché succede?
Gli autori pensano che l'IA non stia davvero "ragionando" come un umano che impara a pianificare. Invece, sta ricordando.
Immagina che l'IA abbia letto milioni di libri su come si risolvono i puzzle dei blocchi durante la sua formazione. Quando vede un problema, non lo "risolve" da zero, ma ricorda: "Ah, questo è uguale al problema numero 45 del libro che ho letto!".
È come se un attore recitasse una scena a memoria: se la scena è familiare, è perfetta e veloce. Se la scena è nuova o troppo complessa, l'attore va in tilt.

4. Il Grande Segreto: Perché l'IA non è perfetta?

Il punto più importante dell'articolo riguarda la differenza tra l'IA che scrive codice e l'IA che pianifica.

• Quando l'IA scrive codice: Se sbaglia, il computer le dice: "Errore di sintassi alla riga 5". È un feedback esterno e oggettivo. Il computer non ha opinioni, dice solo la verità. L'IA usa questo segnale per correggersi e diventa bravissima.
• Quando l'IA pianifica (in questo studio): L'IA muove un blocco e vede il nuovo stato. Ma chi le dice se sta andando nella direzione giusta? Nessuno. Deve giudicare da sola: "Mmm, forse ho sbagliato". Spesso si sbaglia di valutazione.
  • Esempio: In 6 casi, l'IA ha deciso di fermarsi e dire "Questo problema è impossibile!" e ha smesso di provare. In realtà, il problema era risolvibile e l'approccio diretto ce l'aveva fatta. L'IA si è auto-ingannata.

Conclusione: Cosa ci insegna?

Questo studio ci dice che l'intelligenza artificiale attuale è bravissima a navigare in territori che conosce già (grazie alla memoria dei dati su cui è stata addestrata), ma fatica a pianificare in modo generale quando deve inventare soluzioni nuove senza un feedback esterno chiaro.

Per i robot del futuro, il messaggio è chiaro: non basta dare all'IA un cervello potente. Bisogna anche darle occhi e orecchie che le dicano chiaramente: "Stai andando bene" o "Stai sbagliando strada". Senza questo segnale esterno, anche il cervello più brillante rischia di girare in tondo o di arrendersi troppo presto.

In sintesi: l'IA è un ottimo attore che recita a memoria, ma non è ancora un vero regista capace di improvvisare un film nuovo senza una sceneggiatura precisa.

Sommario tecnico

1. Il Problema

La pianificazione di compiti (task planning), ovvero la sequenziazione di azioni per raggiungere un obiettivo da uno stato iniziale, è una capacità fondamentale per i sistemi robotici autonomi. Sebbene i pianificatori simbolici classici (come Fast Downward) risolvano efficientemente questi problemi tramite ricerca sistematica su modelli formali, rimane aperta la questione se i Grandi Modelli Linguistici (LLM) possano fungere da pianificatori validi.

La ricerca si concentra su un approccio specifico: l'uso di LLM come agenti interattivi all'interno di un ambiente di simulazione PDDL (Planning Domain Definition Language). A differenza dei metodi diretti (dove l'LLM genera l'intera sequenza in un unico passaggio), l'approccio "agentic" prevede che il modello scelga un'azione alla volta, osservi lo stato risultante e possa correggere o resettare il percorso. Il paper indaga se questo feedback step-by-step migliori effettivamente le prestazioni rispetto alla generazione diretta e in che misura, confrontando questi metodi con i pianificatori classici.

2. Metodologia

Gli autori hanno sviluppato e utilizzato un framework sperimentale rigoroso basato su 102 istanze del benchmark Blocksworld (dalla International Planning Competition - IPC) con un budget temporale uniforme di 180 secondi.

Strumenti e Architettura

• PyPDDLEngine: Una libreria Python open-source sviluppata dagli autori che implementa un motore di simulazione PDDL. Espone le operazioni di pianificazione come chiamate a strumenti (tool calls) tramite l'interfaccia MCP (Model Context Protocol).
  • Supporta 7 operazioni: inizializzazione, interrogazione dello stato corrente, recupero azioni applicabili, esecuzione di un'azione singola, reset allo stato iniziale, revisione della cronologia e validazione del piano completo.
  • Permette all'LLM di agire come una policy di ricerca interattiva, navigando nello spazio degli stati PDDL passo dopo passo.
• Approcci Confrontati:
  1. Fast Downward (Lama-first): Pianificatore classico greedy (soddisfacente).
  2. Fast Downward (Seq-sat-lama-2011): Pianificatore classico anytime che migliora iterativamente la qualità della soluzione.
  3. Direct LLM Planning: Claude Haiku 4.5 che genera un piano completo in un singolo prompt. Se fallisce, viene riprovato da zero senza feedback intermedio.
  4. Agentic LLM Planning: Claude Haiku 4.5 che utilizza PyPDDLEngine per eseguire azioni singole, osservare gli stati e decidere la prossima mossa, potendo resettare se il percorso sembra improduttivo.

Metriche Valutate

• Tasso di successo: Frazione di istanze risolte con successo.
• Lunghezza del piano: Numero di azioni (solo per le istanze risolte da tutti i metodi).
• Modalità di fallimento: Timeout, uscita anticipata (early exit), o successo.
• Costo in Token: Efficienza computazionale.

3. Contributi Chiave

1. PyPDDLEngine: Un nuovo strumento open-source che colma il divario infrastrutturale, permettendo agli LLM di interagire con un ambiente di pianificazione formale in modo step-by-step, posizionando il modello come policy di ricerca all'interno del ciclo di ricerca piuttosto che come semplice generatore di testo.
2. Caratterizzazione Empirica: Una valutazione comparativa su larga scala che quantifica i vantaggi (e i costi) dell'approccio agentic rispetto alla generazione diretta e ai metodi classici.
3. Analisi del Feedback: Una distinzione teorica e pratica tra il feedback "esternamente fondato" (come gli errori di compilazione nel coding) e il feedback "auto-valutato" (stato PDDL), spiegando perché i guadagni degli agenti sono modesti nella pianificazione rispetto alla programmazione.

4. Risultati Sperimentali

• Tasso di Successo:

  • I pianificatori classici (Fast Downward) hanno raggiunto un 85,3% di successo.
  • L'approccio Agentic LLM ha ottenuto il 66,7%, superando di 3 punti percentuali l'approccio Direct LLM (63,7%).
  • Il vantaggio agentic è consistente ma modesto e si concentra nelle istanze di difficoltà media.

• Qualità del Piano (Lunghezza):

  • Su un sottoinsieme di istanze risolte da tutti i metodi (49 istanze), entrambi gli approcci LLM hanno prodotto piani più brevi rispetto a seq-sat-lama-2011 (il pianificatore classico che iterativamente cerca di accorciare i piani), nonostante gli LLM non avessero meccanismi di miglioramento iterativo della qualità.
  • Questo suggerisce che gli LLM potrebbero ricordare pattern di soluzione ottimali dai dati di addestramento piuttosto che derivarli tramite ricerca.

• Costo e Efficienza:

  • L'approccio agentic è significativamente più costoso: 5,7 volte più token per soluzione rispetto alla generazione diretta.
  • L'approccio agentic ha mostrato un comportamento di "uscita anticipata" (early exit) su 6 istanze, giudicandole irrisolvibili quando in realtà erano risolvibili (come dimostrato dall'approccio diretto), indicando una scarsa capacità di auto-valutazione dell'progresso.

• Analisi dei Fallimenti:

  • Su 15 istanze molto difficili dove i pianificatori classici hanno fallito (timeout), gli LLM ne hanno risolta solo una in comune e alcune singole in modo isolato, confermando che non superano i limiti dei metodi classici sui problemi più complessi.

5. Significato e Implicazioni

Il paper offre intuizioni critiche per il futuro dell'IA agentic e della robotica:

1. Limiti del Feedback Auto-Generato: A differenza degli agenti di coding che beneficiano di feedback esterni oggettivi (errori di test, compilazione), gli agenti di pianificazione PDDL devono valutare il proprio progresso basandosi solo sullo stato interno. Senza un segnale esterno che indichi la direzione verso l'obiettivo, l'interazione step-by-step non garantisce un miglioramento sostanziale delle prestazioni.
2. Memorizzazione vs. Ragionamento: Il fatto che gli LLM producano piani brevi e ottimali senza meccanismi di ottimizzazione iterativa suggerisce che le loro prestazioni su Blocksworld derivano dalla memorizzazione di pattern dai dati di addestramento (recall) piuttosto che da una capacità di pianificazione generalizzabile. Quando i nomi delle azioni vengono alterati sintatticamente, le prestazioni crollano, confermando questa ipotesi.
3. Requisiti per la Robotica: Per un deployment efficace in robotica, non basta che un LLM abbia conoscenza del mondo e interagisca con l'ambiente. È cruciale che il sistema di percezione fornisca segnali di progresso esternamente fondati (es. "ti stai avvicinando all'obiettivo" o "sei in una traiettoria fallimentare"). Senza questi segnali, l'agente non può correggere efficacemente il proprio percorso.

In conclusione, mentre l'approccio agentic offre un leggero vantaggio rispetto alla generazione diretta, non sostituisce i pianificatori classici in termini di affidabilità o capacità di generalizzazione su problemi sconosciuti. Il successo degli agenti dipende criticamente dalla qualità e dall'oggettività del feedback ambientale fornito.