Technisch overzicht: Een complementaire studie naar PlanGPT

Probleemstelling

Geautomatiseerde planning, een subveld van Kunstmatige Intelligentie, omvat het genereren van sequenties van acties (plannen) om van een initiële toestand naar een doeltoestand te gaan, die doorgaans wordt geformaliseerd met de Planning Domain Definition Language (PDDL). Hoewel traditionele planners lang de standaard zijn geweest, heeft recent onderzoek de inzet van Large Language Models (LLMs) voor deze taak verkend. PlanGPT, een state-of-the-art LLM die vanaf nul is opgebouwd en geïnspireerd is door GPT-2, werd voorgesteld als een planner die in staat is om algemene beleidsregels te leren om planningsproblemen binnen specifieke domeinen op te lossen.

De oorspronkelijke PlanGPT-paper presenteerde echter beperkingen in de evaluatie ervan. Het richtte zich primair op "plan coverage" (het percentage geldige gegenereerde plannen) zonder uitgebreide prestatie-indicatoren te verstrekken zoals plankosten (oplossingskwaliteit) of de tijd voor het genereren van plannen. Bovendien werden de specifieke problemen uit de International Planning Competition (IPC) benchmark niet expliciet gedetailleerd, en de vergelijking was beperkt tot andere LLM's en Graph Neural Networks in plaats van traditionele, optimale planners. Deze studie adresseert de vraag of plannen met LLM's relevant en de moeite waard is, gezien de aanzienlijke computationele middelen die vereist zijn, door een rigoureuze, complementaire evaluatie van PlanGPT uit te voeren tegenover traditionele planningsstrategieën.

Methodologie

De auteurs voerden een uitgebreide herwaardering van PlanGPT uit met behulp van de IPC benchmark-problemen over zeven domeinen: BlocksWorld, Depot, Driverlog, Logistics, Satellite, Zenotravel en Floortile (Visitall werd uitgesloten). De experimentele opzet omvatte drie verschillende strategieën:

1. PlanGPT: De LLM-gebaseerde planner, die tokens voorspelt die overeenkomen met acties en objecten om een plan te genereren.
2. FastDownward (A):* Een traditionele optimale planner die de A*-zoekheuristiek gebruikt, die een optimale plankost garandeert maar computationeel duur kan zijn.
3. FastDownward (Greedy): Een traditionele planner die een Greedy zoekheuristiek gebruikt, waarbij snelheid boven optimaliteit wordt geprioriteerd.

Experimentele procedure:

• Inputverwerking: PDDL-probleembestanden werden genormaliseerd met domeinafhankelijke shell-scripts. PlanGPT tokeniseerde "fluents" (predicaten en objecten) uit de :init en :goal secties, en voorspelde opeenvolgend actie-tokens totdat een <end> token werd gegenereerd.
• Validatie: Gegenereerde plannen werden gevalideerd met de officiële VAL-validator om de plan coverage te bepalen.
• Metrieken: De studie evalueerde drie belangrijke metrieken:
  • Plan Coverage: Het percentage problemen waarvoor een geldig plan is gegenereerd.
  • Plan Cost: Het totaal aantal acties in het gegenereerde plan.
  • Planning Time: De tijd die nodig is om het plan te genereren.
• Scoring: IPC-genormaliseerde scores werden berekend voor zowel kosten als tijd. Voor kosten ontving de strategie met de laagste kosten voor een probleem een score van 1, waarbij anderen proportioneel werden geschaald. Voor tijd werd een logaritmische formule gebruikt relatief aan een timeout van 300 seconden.

De experimenten werden uitgevoerd op de LIG Aker GPU-cluster, hoewel de auteurs opmerken dat een standaard GPU (bijv. NVIDIA GTX 1080 TI) of zelfs een CPU voldoende is om PlanGPT te draaien.

Belangrijkste bijdragen

1. Verificatie van Plan Coverage: De studie bevestigde dat de plan coverage-resultaten van PlanGPT grotendeels consistent zijn met de resultaten gerapporteerd in de oorspronkelijke paper, met een klein gemiddeld verschil van ongeveer 10% toegeschreven aan verschillende parameterinstellingen en het gebruik van de IPC benchmark-set.
2. Uitgebreide Prestatie-evaluatie: In tegenstelling tot het oorspronkelijke werk, introduceert dit artikel Plan Cost en Plan Generation Time als cruciale evaluatiemetrieken, wat een holistischer beeld geeft van de bruikbaarheid van PlanGPT.
3. Directe Vergelijking met Traditionele Planners: De studie vergelijkt PlanGPT direct met FastDownward met behulp van zowel A* (optimale) als Greedy (snelle) heuristieken, wat een baseline biedt voor de vraag of LLM's kunnen concurreren met gevestigde planningsalgoritmen.
4. Resource Analyse: Het paper benadrukt de intensieve inzet van middelen voor PlanGPT, waarbij wordt opgemerkt dat er voor elk van de 8 ondersteunde domeinen een apart model nodig is, wat vragen oproept over de efficiëntie van een dergelijke aanpak vergeleken met algemene planners.

Resultaten

De resultaten wijzen erop dat de prestaties van PlanGPT gemengd zijn en over het algemeen niet superieur zijn aan traditionele planningsstrategieën wanneer de volledige reikwijdte van de metrieken wordt beschouwd:

• Plan Coverage: PlanGPT bereikte een gemiddelde coverage van 79% over de geteste domeinen. Dit is vergelijkbaar met de Greedy-strategie (88%), maar aanzienlijk lager dan de optimale A*-strategie in sommige domeinen (bijv. Logistics, waar A* 71% oploste versus 43% voor PlanGPT).
• Plan Cost:
  • In het BlocksWorld-domein presteerde PlanGPT goed, waarbij het vaak de optimale kosten van A* evenaarde en de Greedy-strategie overtrof.
  • In andere domeinen zoals Driverlog faalde PlanGPT regelmatig in het vinden van geldige plannen. Wanneer het wel slaagde, waren de kosten vaak hoger dan die van de Greedy-strategie.
  • Algemeen: De Greedy-strategie presteerde over het algemeen beter dan PlanGPT in termen van de totale IPC-kostenscore (5,36 vs. 5,02). Hoewel PlanGPT superieur was in specifieke domeinen (BlocksWorld, Depot, Floortile), was het globaal minder efficiënt.
• Planning Time:
  • De Greedy-strategie was consequent het snelst en behaalde bijna perfecte IPC-tijdscores (5,82) in de meeste domeinen.
  • De generatietijd van PlanGPT was variabel; het was soms sneller dan A*, maar over het algemeen langzamer dan Greedy.
  • Algemeen: Greedy behaalde de hoogste totale IPC-tijdscore (5,82), gevolgd door PlanGPT (4,95), terwijl A* de laagste score behaalde (2,46) vanwege timeout-problemen bij complexe problemen.

Samenvatting van IPC-scores (Totaal):

• Kosten: Greedy (5,36) > PlanGPT (5,02) > A* (3,26)
• Tijd: Greedy (5,82) > PlanGPT (4,95) > A* (2,46)

Betekenis en Claims

Het paper sluit af met een bescheiden beoordeling van de huidige staat van LLM's in geautomatiseerde planning. De auteurs stellen dat hun bevindingen de hypothese dat LLM's momenteel competente planners zijn, niet definitief bevestigen of ontkrachten.

• Beperkingen: De studie benadrukt dat PlanGPT momenteel niet beter is dan een Greedy zoekstrategie in termen van algehele efficiëntie en oplossingskwaliteit. De vereiste van een apart model per domein en de vaste limieten op het aantal objecten beperken de schaalbaarheid en toepasbaarheid ervan op complexe, real-world problemen.
• Efficiëntie van Middelen: De auteurs trekken de "waardigheid" in twijfel van het gebruik van LLM's voor planning, gezien de verbruikte middelen. Zelfs als een LLM in specifieke metrieken een Greedy-aanpak zou overtreffen, kan de computationele kost (inclusclusief trainingstijd, die niet in de generatietijd-metriek is meegenomen) het minder "competent" maken dan traditionele benaderingen.
• Toekomstige Richtingen: Het paper suggereert dat hoewel LLM's op dit moment misschien niet de optimale oplossing zijn voor algemene planning, het vakgebied verdere research vereist. Het stelt dat alternatieve architecturen, zoals Large Reasoning Models (LRMs), mogelijk beter geschikt zijn voor plannings-taken dan de huidige LLM's.

Uiteindelijk dient het paper als een kritische reality check voor de Automated Planning-gemeenschap, waarbij wordt aangetoond dat hoewel LLM's veelbelovend zijn in specifieke niches, ze momenteel geen algemeen, efficiënt alternatief bieden voor traditionele planners zoals FastDownward.