🤖 machine learning

PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models

PlanningBench is een nieuw raamwerk dat het creëren van planningsdata omvormt van vaste verzamelingen naar een beheersbaar, schaalbaar generatieproces met behulp van een gestructureerde taxonomie en door beperkingen gedreven synthese, waardoor zowel een rigoureuze evaluatie van de huidige beperkingen van LLM's mogelijk wordt als effectieve training via versterkend leren om generaliseerbare planningsvaardigheden te verbeteren.

Oorspronkelijke auteurs: Ziliang Zhao, Zenan Xu, Shuting Wang, Hongjin Qian, Yan Lei, Minda Hu, Zhao Wang, Shihan Dou, Zhicheng Dou, Pluto Zhou

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziliang Zhao, Zenan Xu, Shuting Wang, Hongjin Qian, Yan Lei, Minda Hu, Zhao Wang, Shihan Dou, Zhicheng Dou, Pluto Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar onervaren leerling wilt leren tot een meesterkok te worden. Je zou hen een enkel, vast receptenboek kunnen geven (de oude manier van AI-testen), maar dat vertelt je alleen of ze dat specifieke boek kunnen volgen. Het vertelt je niet of ze kunnen omgaan met een plotselinge schaarste aan ingrediënten, een kapotte oven, of een klant die halverwege zijn bestelling wijzigt.

PlanningBench is een nieuwe "keukensimulator" die is ontworpen om Large Language Models (LLM's) te testen en te trainen in de complexe kunst van planning. In plaats van de AI gewoon een statische lijst met problemen te geven, bouwden de onderzoekers een machine die onbeperkt, unieke en verifieerbare planningsuitdagingen kan genereren, ter plekke.

Hieronder wordt de paper uiteengezet, met behulp van eenvoudige analogieën:

1. Het Probleem: De Beperking van het "Vaste Menu"

Voordat deze paper verscheen, was het testen van AI-planning vergelijkbaar met het geven van een vast menu van 50 wiskundeproblemen aan een student. Als ze ze goed hadden, slaagden ze. Maar:

Beperkte Variatie: Het menu bevatte slechts 50 problemen. Zodra de student ze uit het hoofd had geleerd, was de test nutteloos.
Valse Moeilijkheidsgraad: De "moeilijke" problemen waren gewoon langer of bevatten meer getallen, niet per se logischer complexer.
Geen Feedbacklus: Als de student het fout had, vertelde de test je niet waarom of hielp het hen om voor de volgende keer te leren.

2. De Oplossing: De "Oneindige Receptengenerator" (PlanningBench)

De auteurs creëerden een raamwerk genaamd PlanningBench. Denk hierbij aan een meesterkok (de onderzoekers) die een "Kookboek van Beperkingen" schreef in plaats van een lijst met recepten.

De Taxonomie (Het Kookboek): Ze organiseerden realistische planningsopgaven (zoals vergaderingen plannen, een bruiloft regelen of een elektriciteitsnet beheren) in 6 hoofdcategorieën en meer dan 30 specifieke types.
De Beperkingen (De Ingrediënten): Ze definieerden regels zoals "Tijdsvensters" (je kunt niet vóór 17:00 uur diner koken), "Capaciteitslimieten" (de oven past slechts 4 pizza's) en "Afhankelijkheden" (je kunt de taart niet serveren voordat de maaltijd is opgegeten).
De Generator (De Machine): Deze machine neemt een "recepttype" (bijvoorbeeld "Vergaderplanning") en mixt willekeurig verschillende beperkingen erin (bijvoorbeeld "Zaal A is kapot", "De CEO is alleen dinsdag vrij). Het creëert elke keer een uniek, zelfstandig probleem.

3. De "Gesloten-Lus" Keuken

Het systeem spitst niet alleen problemen uit; het voert een team van drie personen uit om kwaliteit te waarborgen:

De Generator: Creëert een nieuw, lastig planningsprobleem.
De Respondent (De Leerling): De AI probeert het op te lossen.
De Criticus (De Inspecteur): Een gespecialiseerde AI controleert het antwoord tegen een strikte "Checklist".
- Hebben ze de juiste ruimte gebruikt?
- Zijn ze het budget te boven gegaan?
- Vergeten ze de vegetarische optie?

Als de Respondent het te makkelijk oplost, geeft de Criticus het sein aan de Generator om het volgende probleem moeilijker te maken (bijvoorbeeld: "Voeg een scenario met een brandalarm toe"). Als de Respondent faalt, houdt het systeem het probleem vast maar noteert het waar de AI fout ging. Dit creëert een moeilijkheidscurve die zich aanpast aan het vaardigheidsniveau van de AI.

4. De "Gouden Standaard" Regel

Een cruciale bevinding in de paper gaat over Deterministische Oplossingen.

De Analogie: Stel je voor dat je de AI vraagt "een goed verhaal te schrijven". Er zijn een miljoen manieren om dat te doen, en het is moeilijk om te zeggen welke het "beste" is.
De Oplossing: PlanningBench dwingt de AI om problemen op te lossen met één duidelijk, optimaal antwoord (zoals een wiskundeprobleem of een specifiek schema).
Waarom het belangrijk is: De paper vond dat wanneer de AI traint op problemen met één "correct" antwoord, het beter leert. Het is als het trainen van een hardloper op een baan met een duidelijke finishlijn, in plaats van hen te vragen ergens "leuks" te gaan rennen. Deze duidelijkheid geeft de AI een sterker signaal over hoe het kan verbeteren.

5. De Resultaten: Testen en Trainen

De onderzoekers gebruikten dit systeem op twee manieren:

A. Het Examen (Evaluatie)
Ze testten top-AI-modellen (zoals GPT-5.4 en anderen) op deze gegenereerde problemen.

Het Resultaat: Zelfs de slimste modellen hadden moeite. Het beste model loste slechts ongeveer 63% van de problemen perfect op.
De Inzicht: De AI is goed in het voldoen aan lokale regels (bijvoorbeeld: "Ik heb de vergadering gepland"), maar slecht in globale consistentie (bijvoorbeeld: "Maar die vergadering overlapt met de vlucht van de CEO"). De grootste fout was niet opmaak; het waren rekenfouten en het vergeten van beperkingen (zoals het opraken van tijd of geld).

B. Het Trainingskamp (Versterkend Leren)
Ze namen een model en trainden het met de geverifieerde data van PlanningBench.

Het Resultaat: Het model werd niet alleen beter in de specifieke problemen die het zag; het werd beter in ongeziene planningsopgaven (zoals reizen plannen) en zelfs in algemene instructie-volgtaken.
De Les: Trainen op deze "strenge, verifieerbare" planningsproblemen leerde de AI hoe het meerdere regels tegelijkertijd moet hanteren, een vaardigheid die overdraagbaar was naar andere gebieden.

Samenvatting

PlanningBench is een tool die planning verandert van een "gokspel" in een "meetbare wetenschap".

Het beweegt weg van vaste testbanken naar oneindige, gegenereerde scenario's.
Het gebruikt een gesloten-lus systeem (Generator -> Oplosser -> Criticus) om ervoor te zorgen dat problemen oplosbaar maar uitdagend zijn.
Het bewijst dat duidelijke, enkelvoudige antwoorden de beste manier zijn om AI te trainen in plannen.
Het onthult dat huidige AI-modellen nog steeds vrij slecht zijn in het houden van alle ballen in de lucht wanneer beperkingen strak worden, maar dat ze kunnen leren om beter te worden met het juiste soort trainingsdata.

De paper concludeert dat we om AI echt "slim" te maken in plannen, data nodig hebben die schaalbaar is (oneindig kan groeien), divers is (veel realistische situaties bestrijkt) en verifieerbaar is (we wiskundig kunnen bewijzen dat het antwoord goed is). PlanningBench biedt precies dat.

Technische Samenvatting: PlanningBench

Probleemstelling

Plannen is een fundamentele capaciteit voor Large Language Models (LLM's), waarbij doelen, beperkingen, middelen en langetermijngevolgen moeten worden gecoördineerd tot uitvoerbare oplossingen. Bestaande planningsbenchmarks lijden echter onder aanzienlijke beperkingen:

Vaste Datacollecties: De meeste benchmarks behandelen planningsdata als statische, vaste verzamelingen van instanties in plaats van controleerbare generatiedoelen, wat de dekking en diversiteit van scenario's beperkt.
Oppervlakkige Moeilijkheidsproxi's: Moeilijkheid wordt vaak benaderd via oppervlakkige metrics (bijvoorbeeld promptlengte of aantal vereisten) in plaats van structurele bronnen zoals koppelings van beperkingen, hiërarchie of taakspecifiek ontwerp.
Gebrek aan Trainingsondersteuning: Bestaande benchmarks bieden beperkte ondersteuning voor schaalbare generatie, automatische verificatie of planningsgerichte training, waardoor het moeilijk is om modelgrenzen te diagnosticeren of generaliseerbaar planningsgedrag te verbeteren.

Methodologie: PlanningBench Framework

De auteurs introduceren PlanningBench, een framework voor het genereren van schaalbare, diverse en verifieerbare planningsdata voor zowel evaluatie als training. De methodologie verloopt in twee macro-fasen:

1. Constructie van Taak- en Beperkingstaxonomie

In plaats van domeinen te catalogiseren, abstraheren de auteurs herbruikbare planningschema's uit real-world scenario's (bijvoorbeeld planning, logistiek, noodhulp) naar een gestructureerde taxonomie.

Taaktaxonomie: Organiseert plannings taken in zes families op basis van structurele complexiteit: Planning en Roostering, Toewijzing en Matching, Verschuivingen en Arbeidskrachtplanning, Routing en Reizen, Project- en Productieoperaties, en Noodhulp en Publieke Dienstverlening. Dit dekt meer dan 30 specifieke taaktypen en talrijke subtaken.
Beperkingstaxonomie: Beperkingen worden gemodelleerd in drie lagen om verifieerbaarheid en controleerbaarheid te waarborgen:
- Algemene Beperkingen: Gedeeld tussen taken (bijvoorbeeld volledigheid van invoer, tijdvensters).
- Taakspecifieke Beperkingen: Gebonden aan specifieke taakstructuren.
- Gespecialiseerde Stateful Beperkingen: Afhankelijk van eerder uitgevoerde acties of opgebouwde staat.
Moeilijkheidsniveaus: Beperkingen worden gecategoriseerd in Basis (haalbaarheid), Gemiddeld (optimalisatie/eerlijkheid) en Moeilijk (robuustheid, detectie van onhaalbaarheid, herstel van uitzonderingen).

2. Beperking-gedreven Synthesepijplijn

PlanningBench maakt gebruik van een gesloten-lus syntheseproces met drie componenten:

Generator: Steekt taak-beperkingconfiguraties op en instantieert zelfstandige planningsproblemen. Het gebruikt een steekproefverdeling over basis-, gemiddelde en moeilijke beperkingen om de moeilijkheid te controleren.
Responder: Probeert het gegenereerde probleem op te lossen.
Critic: Verifieert de oplossing tegen een checklist op instantieniveau.
Adaptieve Moeilijkheidscontrole: Als de Responder een instantie volledig oplost ( $u=1$ ), verschuift de pijplijn de samenstelling van beperkingen naar hogere moeilijkheid (verhoging van de gewichten voor gemiddelde en moeilijke beperkingen). Als de instantie onopgelost blijft ( $u=0$ ), wordt deze behouden op het huidige moeilijkheidsniveau.
Verificatie: Elke instantie wordt gekoppeld aan een verificatiechecklist die beperkingen op promptniveau omzet in uitvoerbare controles. Het framework geeft de voorkeur aan bepaalde of goed gespecificeerde optimale oplossingen om duidelijke beloningssignalen te bieden, en vermijdt losse antwoordruimtes die gedeeltelijke haalbaarheid toestaan zonder globale consistentie.

Belangrijkste Bijdragen

Framework voor Synthetische Data Generatie: PlanningBench biedt een mechanisme om schaalbare, diverse en verifieerbare planningsdata te genereren die gebaseerd is op realistische scenario's, en gaat verder dan vaste benchmarkcollecties naar controleerbare generatie.
Training-gerichte Verificatie: Het framework toont aan dat geverifieerde PlanningBench-data ondersteuning biedt voor planningsgerichte versterking van leren (specifiek GRPO). De auteurs identificeren beloningsbepaaldheid (voorkeur voor goed gespecificeerde optima) als een kritieke factor voor stabiele en overdraagbare training.
Uitgebreide Evaluatieset: Het artikel evalueert systematisch open-source en closed-source frontier LLM's, en onthult dat zelfs de sterkste modellen worstelen met volledige oplossingen onder gekoppelde beperkingen.

Experimentele Resultaten

Evaluatieprestaties

De auteurs evalueerden 18 representatieve LLM's (zowel open als closed-source) op een subset van 467 instanties van PlanningBench.

Prestatiekloof: Zelfs het best presterende model, GPT-5.4-xhigh, behaalde slechts 63,17% All-pass (het voldoen aan alle checklist-items), wat aangeeft dat de benchmark uitdagend blijft en niet verzadigd is.
Lokale versus Globale Consistentie: Er bestaat een aanzienlijke kloof tussen Avg-pass (fractie van checklist-items die zijn voldaan) en All-pass. Bijvoorbeeld, GPT-5.4-medium behaalde 90,03% Avg-pass maar slechts 58,09% All-pass, wat suggereert dat modellen vaak voldoen aan lokale beperkingen maar falen in het integreren daarvan in een globaal consistent plan.
Foutanalyse: De primaire faalmodus bij modellen is Verkeerde Berekening/Toewijzing (60,9%–83,5% van de fouten), gevolgd door weggelaten beperkingen en fouten in state-tracking. Opmaakfouten waren verwaarloosbaar.

Training en Overdracht

De auteurs trainden een Qwen-A3B-30B-model met GRPO op 300 geverifieerde PlanningBench-instanties.

Overdracht naar Planningsbenchmarks: Het getrainde model toonde aanzienlijke verbeteringen op ongezette planningsbenchmarks:
- ChinaTravel: All-pass steeg van 50,92% naar 58,36%.
- TravelPlanner: All-pass steeg van 28,85% naar 46,86%.
- De winsten waren duidelijker dan die bereikt door training op menselijk geschreven data, wat de waarde benadrukt van gestructureerde, verificatie-gerichte synthese.
Overdracht naar Algemene Taken: Training op PlanningBench verbeterde ook de prestaties op bredere instructievolgende en redeneerbenchmarks (Multi-Challenge, Inverse IFEval, Collie), met een gemiddelde scorestijging van 7,06 punten.
Rol van Bepaalde Optima: Modellen getraind op data die bepaalde optima benadrukt (Syn-PlanningBench), toonden superieure overdracht en stabielere trainingsdynamiek (snellere convergentie, soepelere beloningscurves) in vergelijking met die getraind op data met losse optima (Syn-NotDetOptimal).

Betekenis en Claims

Het artikel beweert dat PlanningBench de kritieke behoefte aan schaalbare, diverse en verifieerbare planningsdata aanpakt. De betekenis ligt op drie gebieden:

Diagnostische Kracht: Het biedt een fijnmazig beeld van LLM-planningscapaciteiten, waarbij onderscheid wordt gemaakt tussen gedeeltelijke naleving en het vermogen om globale consistentie te handhaven onder gekoppelde beperkingen.
Trainingsnut: Het bewijst dat automatisch verifieerbare planningsdata kan dienen als effectieve trainingssignalen voor versterking van leren, wat niet alleen plannen verbetert maar ook algemene instructievolging en redenering.
Ontwerpprincipe: Het werk benadrukt dat beloningsbepaaldheid essentieel is voor stabiele planningsgerichte training; instanties met goed gespecificeerde optimale oplossingen bieden duidelijkere directionele signalen dan die met veel lokaal aanvaardbare antwoorden.

De auteurs concluderen dat controleerbare dataconstructie, automatische verifieerbaarheid en beloningsbepaaldheid sleutelfactoren zijn voor het diagnosticeren en verbeteren van de generaliseerbare planningscapaciteiten van LLM's.