💬 NLP

Exploring Plan Space through Conversation: An Agentic Framework for LLM-Mediated Explanations in Planning

Dit paper introduceert een multi-agent LLM-architectuur die interactieve, door de gebruiker gestuurde uitleg biedt over planningsoplossingen en de effectiviteit daarvan voor het oplossen van doelconflicten valideert via een gebruikersstudie.

Oorspronkelijke auteurs: Guilhem Fouilhé, Rebecca Eifler, Antonin Poché, Sylvie Thiébaux, Nicholas Asher

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Guilhem Fouilhé, Rebecca Eifler, Antonin Poché, Sylvie Thiébaux, Nicholas Asher

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een reisleider bent die een perfecte dagplanning moet maken voor een gezin. Je wilt dat iedereen naar het sportevenement gaat, dat er een heerlijk diner wordt gekookt en dat er nog even tijd is om boodschappen te doen. Maar er is een probleem: de tijd is beperkt, de auto is klein en sommige activiteiten botsen met elkaar.

Dit is precies wat AI-planning doet: het zoekt een oplossing voor complexe problemen. Maar vaak is de AI niet slim genoeg om te weten wat jij precies wilt, of waarom bepaalde dingen niet kunnen.

Deze paper beschrijft een slimme manier om de AI en de mens samen te laten werken, alsof ze aan een tafel zitten te praten. Hier is de uitleg in simpele taal:

1. Het Probleem: De "Blindeman" en de "Gids"

Stel je voor dat de AI een blinde pianist is. Hij kan de noten spelen (de plannen maken), maar hij ziet niet wat er op het podium gebeurt. Jij bent de gids die ziet waar de obstakels liggen.
Vroeger moest je de AI vragen stellen met moeilijke, technische taal (zoals "Waarom is doel X niet haalbaar in formule Y?"). Dat was als proberen een pianist te instrueren door alleen maar wiskundige formules te fluisteren. De AI snapte het niet goed, en jij raakte gefrustreerd.

2. De Oplossing: Een Gesprek in Gewone Taal

De auteurs van dit paper hebben een systeem bedacht waar je gewoon kunt praten met de AI, alsof je met een vriend over je dagplanning discussieert.
Ze gebruiken een team van AI-assistenten (LLM-agents) die als tolken werken:

De Vertaler (Translator): Jij zegt: "Kan ik ook nog even naar de bakker?" De vertaler zet dit om in de taal die de rekenmachine begrijpt.
De Rekenmachine (Planner): Deze doet de zware wiskunde. Hij kijkt of het kan.
De Uitlegger (Explainer): Als het niet kan, zegt de rekenmachine: "Nee, want de bakker en het sportevenement vallen op hetzelfde tijdstip." De uitlegger vertaakt dit terug naar jou: "Helaas, je kunt niet tegelijkertijd bij de bakker zijn en je kind naar het voetbal brengen."

3. Het Magische Team: Waarom meerdere AI's?

De auteurs zeggen: "Gebruik niet één super-AI voor alles." Dat werkt vaak slecht. In plaats daarvan hebben ze een team gemaakt:

De Suggestie-maker: Als jij niet weet wat je moet vragen, zegt deze AI: "Misschien wil je weten of je de boodschappen kunt doen zonder het diner te missen?" Dit helpt jou om je vragen te formuleren.
De Context-bewaker: Deze AI onthoudt wat je eerder hebt gezegd. Als je vraagt: "En wat als ik dat doe?", weet hij precies waarover je het hebt, zonder dat je alles opnieuw hoeft uit te leggen.

4. De Test: Mensen vs. Templates

Ze hebben dit getest met echte mensen.

Groep A (De Oude Manier): Kreeg een lijst met vaste knoppen om op te drukken (zoals een oude telefoon met nummertjes).
Groep B (De Nieuwe Manier): Kreeg een chatvenster waar ze vrij konden typen en vragen stellen.

Het resultaat?
De mensen in Groep B (de chat) vonden het makkelijker om een goede planning te maken. Ze raakten minder snel in de war, vertrouwden de AI meer en kwamen sneller tot een oplossing die voor iedereen goed was. Het voelde niet als een robot, maar als een gesprek met een slimme helper.

5. De Grootte van de Uitdaging: Het "Onmogelijke" Diner

Stel, je wilt:

Diner koken.
De kinderen naar hun sportwedstrijd brengen.
Boodschappen doen.

Maar: Koken en sporten gebeuren op hetzelfde tijdstip.

Vroeger: De AI zou zeggen: "Fout: Goal C en Goal M zijn in conflict." (Niet begrijpelijk).
Nu: De AI zegt: "Je kunt niet alles doen. Als je wilt koken, moet je de sportwedstrijd overslaan, of andersom. Wat is belangrijker voor jou?"

Conclusie

De kernboodschap van dit paper is: AI moet niet alleen maar antwoorden, het moet een gesprek aangaan.

Door de AI te laten praten in onze taal en door slimme tolken te gebruiken, kunnen we complexe problemen (zoals het plannen van een hele dag voor een gezin) veel beter oplossen. Het is alsof je een virtuele planner hebt die niet alleen rekent, maar ook luistert, uitlegt en meedenkt.

Kort samengevat in één zin:
In plaats van een robot die je commando's uitvoert, hebben ze een digitale gesprekspartner gemaakt die je helpt om je perfecte dag te plannen, zelfs als alles in de war zit.

1. Probleemstelling

Bij het automatiseren van plangeneratie voor complexe, sequentiële beslissingsproblemen (zoals logistiek of dagplanning) is het doel vaak niet om de menselijke planner te vervangen, maar om een iteratief proces te faciliteren. In dit proces moet de menselijke gebruiker het AI-systeem begeleiden op basis van voorkeuren en expertise.

De kernuitdaging ligt in de interactie tussen de gebruiker en het plannersysteem:

Interpretatie: Mensen formuleren hun vragen en voorkeuren in natuurlijk taal, terwijl plannersystemen werken met formele logica (zoals PDDL of LTLf).
Vertrouwen en Begrip: Zonder goede uitleg begrijpen gebruikers niet waarom bepaalde plannen onmogelijk zijn of waarom bepaalde doelen conflicteren. Dit leidt tot een gebrek aan vertrouwen in het systeem.
Beperkingen van LLM's: Hoewel Large Language Models (LLM's) uitstekend zijn in taal, kunnen ze complexe planningsproblemen niet betrouwbaar oplossen. Ze zijn ook niet inherent geschikt voor het uitvoeren van formele redeneringen over planruimtes.
Staticiteit: Bestaande uitlegsystemen zijn vaak statisch (vooraf gedefinieerde templates) en bieden geen ruimte voor doorvragen of contextafhankelijke dialoog, wat essentieel is voor het oplossen van conceptuele problemen.

2. Methodologie

De auteurs stellen een multi-agent framework voor dat LLM's gebruikt als "vertalers" en "facilitators" binnen een hybride architectuur. Het systeem is onafhankelijk van het specifieke uitlegkader (explanation framework) en richt zich op interactieve, contextafhankelijke uitleg.

Architectuur

Het systeem bestaat uit verschillende agenten die communiceren via een gestructureerd protocol (zie Figuur 1 en 2 in het artikel):

Question Suggester (SQ): Een LLM-agent die relevante vragen genereert om gebruikers te helpen hun informatiebehoeften te formuleren (voorkomt hoge cognitieve last).
Question Translator (TQ): Classificeert de vraag van de gebruiker (bijv. "Waarom?", "Hoe?") en identificeert de onderwerpen (doelen). Het routeert de vraag naar de juiste component.
Goal Translator (TG): Vertaalt natuurlijke taalbeschrijvingen van doelen naar formele logica (LTLf - Linear Temporal Logic on finite traces). Dit maakt het mogelijk voor leken om complexe tijdsgebonden constraints in te voeren.
Explanation Framework (EFCC): De kerncomponent die de formele planningstaken uitvoert. Het berekent Minimale Onoplosbare Subsets (MUS) en Minimale Correctiesets (MCS) om conflicten tussen doelen te analyseren.
Explanation Translator (TE): Een LLM-agent die de formele uitleg (uit het EFCC) vertaalt naar natuurlijk taal, rekening houdend met de context van het gesprek en de specifieke gebruiker.

Het Uitlegkader (EFCC)

Het framework ondersteunt een rijk scala aan vraagtypes, gebaseerd op MUS en MCS:

US-why / US-how: Voor onoplosbare taken (waarom faalt het plan en hoe maak ik het oplosbaar?).
S-why-not / S-what-if / S-can / S-how: Voor oplosbare taken (waarom wordt een doel niet bereikt, wat gebeurt er als ik dit doel forceer, etc.).

De interactie is iteratief: de gebruiker stelt een vraag $\rightarrow$ het systeem vertaalt en berekent $\rightarrow$ de LLM vertaalt de uitleg $\rightarrow$ de gebruiker vraagt door of past zijn doelen aan.

3. Belangrijkste Bijdragen

Formalisering van een Iteratief Raamwerk: De auteurs definiëren een abstract raamwerk voor iteratief plannen met natuurlijke taal, waarbij elke stap een snapshot is van de planruimte met enforced (afgedwongen) en reference (referentie) doelen.
Implementatie met LLM-Agenten: Ze introduceren een specifieke implementatie waarbij LLM's worden ingezet als gespecialiseerde agenten (vertalers, suggesters) in plaats van als de planner zelf. Dit combineert de sterkte van LLM's in taal met de nauwkeurigheid van traditionele planning-algoritmen.
Uitbreiding van Uitlegkwaliteit: In tegenstelling tot eerdere werken die zich beperkten tot "waarom niet"-vragen, biedt dit framework een breed scala aan interactieve vraagtypes die dieper ingaan op conflicten en oplossingen.
Validatie door Gebruikersstudie: Een uitgebreide user study met 131 deelnemers (leken) die de LLM-gebaseerde interface vergeleek met een traditionele template-based interface.

4. Resultaten van de Gebruikersstudie

De studie werd uitgevoerd in een "Parents' Afternoon" scenario (plannen van activiteiten met conflicterende tijden en middelen).

Objectieve Prestaties: Hoewel er geen statistisch significant verschil was in de maximale bereikte nuttigheid (utility) tussen de LLM-groep en de template-groep, toonde de LLM-groep een trend naar snellere convergentie (bereiken van een goed plan in minder iteratiestappen).
Vraaggedrag: Gebruikers in de LLM-groep stelden significant minder vragen (gemiddeld 11,4 vs 22,8), maar deze vragen waren effectiever. Ze maakten meer gebruik van suggesties van de Question Suggester.
Subjectieve Waardering: De LLM-groep scoorde significant hoger op:
- Het verminderen van de moeilijkheidsgraad van de taak.
- Het verbeteren van het plan.
- Het gevoel van vertrouwen in welke plannen mogelijk zijn.
Interactie: De gemiddelde conversatie bestond uit 4,3 beurten, wat aangeeft dat gebruikers graag doorvragen (follow-up vragen) om hun begrip te verdiepen, iets wat in template-systemen minder vaak voorkwam.

5. Betekenis en Conclusie

Dit onderzoek demonstreert dat het combineren van LLM's met traditionele AI-planningssystemen een krachtige methode is om Explainable AI (XAI) te realiseren in complexe domeinen.

Hybride Benadering: Het bewijst dat LLM's niet de planner hoeven te zijn, maar wel essentieel kunnen zijn als brug tussen mens en machine. Ze vertalen intenties naar logica en logica terug naar begrijpelijke uitleg.
Interactiviteit: Het benadrukt dat uitleg een dialoog moet zijn. Interactieve uitleg is effectiever dan statische uitleg omdat het gebruikers toelaat om hun mentale model van het probleem te corrigeren via doorvragen.
Toekomstperspectief: De auteurs wijzen erop dat toekomstig werk zich moet richten op het evalueren van dit systeem bij domeinexperts (in plaats van alleen leken) en op het uitbreiden van de uitlegkaders naar andere methoden (zoals Constraint Programming).

Kortom, het artikel biedt een robuust architecturaal bewijs dat conversatie-gestuurde, LLM-gemiddelde uitleg de bruikbaarheid en het vertrouwen in geautomatiseerde plannersystemen aanzienlijk verbetert.