U-Define: Designing User Workflows for Hard and Soft Constraints in LLM-Based Planning
Dit artikel presenteert U-Define, een systeem dat de gebruikerscontrole over op LLM's gebaseerde planning verbetert door gebruikers in staat te stellen beperkingen te categoriseren als strikte "harde" regels of flexibele "zachte" voorkeuren, die worden geverifieerd via complementaire methoden van formeel modelchecken en LLM-as-judge om betrouwbaarheid, bruikbaarheid en tevredenheid van de gebruiker te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een perfecte familievakantie te plannen. Je hebt een lijst met dingen die moeten gebeuren (zoals "we moeten binnen ons budget blijven" of "de kinderen moeten zwemvesten dragen in het zwembad") en dingen die je echt hoopt dat ze gebeuren (zoals "we zouden graag een rustig strand willen" of "het zou leuk zijn om een museum te bezoeken").
In het verleden, wanneer mensen AI (Grote Taalmodellen) vroegen om deze reis te plannen, gokte de AI gewoon. Het vergat misschien de zwemvesten omdat het te druk was met het proberen creatief te zijn, of het stelde een hotel voor dat veel te duur was. De AI is als een zeer getalenteerde, maar licht afwezige, reisagent die vloeiend spreekt maar niet altijd luistert naar de strikte regels.
Het Probleem:
Huidige AI-tools zijn ofwel te stijf (je dwingen complexe code te gebruiken om regels in te stellen) ofwel te los (je regels volledig negeren). Gebruikers zaten vast aan het handmatig controleren van het werk van de AI, wat vermoeiend is en vatbaar voor fouten.
De Oplossing: U-Define
De onderzoekers bouwden een nieuw systeem genaamd U-Define. Denk eraan als een "Slimme Reisagent met een Dubbelcontrolesysteem". In plaats van de AI gewoon te vragen "plan een reis", laat U-Define je precies vertellen welke regels Hard zijn en welke Zacht zijn.
Hier is hoe het werkt, met eenvoudige analogieën:
1. De Twee Bakken met Regels
U-Define vraagt je om je instructies in twee bakken te sorteren:
- De "Harde" Bak (De Bakstenen Muur): Dit zijn niet-onderhandelbare regels. Als de AI er één breekt, is het plan nutteloos.
- Voorbeeld: "We moeten vegetarisch eten."
- De Magie: U-Define vertaalt je Engelse zin direct naar een strikte, wiskundige "code" (genaamd LTL/PRISM) die een computer perfect kan controleren. Het is alsof je je regel omzet in een beveiligingscamera die nooit knippert. Als het plan een biefstuk bevat, schreeuwt de camera direct "FOUT!".
- De "Zachte" Bak (De Wenslijst): Dit zijn voorkeuren. Als de AI ze mist, is het plan nog steeds oké, gewoon niet perfect.
- Voorbeeld: "We geven de voorkeur aan een ontspannen tempo."
- De Magie: Voor deze regels gebruikt U-Define een tweede AI (een "Rechter") om het plan te lezen en een sterrenscore te geven (1 tot 5 sterren) en een commentaar over hoe goed het bij je vibe paste.
2. De Werkstroom: Hoe Je Interageert
Stel je voor dat je aan een computer zit met U-Define:
- Jij Spreekt: Je typt: "Plan een reis naar Venetië." Je voegt je Harde regels toe (zwemvesten, vegetarisch eten) en Zachte regels (ontspannen tempo, leuk voor kinderen).
- De Vertaler: Het systeem zet je "Harde" regels stiekem om in die strikte wiskundige code. Het toont je de vertaling om ervoor te zorgen dat het je correct begrepen heeft.
- De Generator: De hoofd-AI maakt drie verschillende reisplannen.
- De Dubbelcontrole:
- De Wiskundige Computer controleert de Harde regels. Het zegt: "Plan A faalde omdat het geen zwemvesten inpakte. Plan B haalde alle Harde regels."
- De Rechter-AI controleert de Zachte regels. Het zegt: "Plan B kreeg 4 sterren omdat het ontspannend was, maar Plan C kreeg 5 sterren omdat het meer leuke activiteiten had."
- Het Resultaat: Je ziet de plannen gerangschikt. Je weet met zekerheid dat de topplannen je "moeten" niet zullen schenden, en je kunt zien welke het beste past bij je "wensen".
3. Wat de Onderzoekers Vonden
Het team testte dit met gewone mensen (zoals ouders die vakanties plannen) en experts (zoals bouwmanagers of subsidiecoördinatoren).
- Gewone Mensen Vonden Het Geweldig: Ze voelden zich veel zekerder. Ze hoefden niet "detective" te spelen om fouten te vinden. Ze vonden het fijn dat ze de "moeten" konden scheiden van de "leuk om te hebben". Het voelde alsof de AI eindelijk het verschil tussen een regel en een suggestie begreep.
- De "Harde" Regels zijn Krachtig: Toen het systeem garandeerde dat de Harde regels werden gevolgd, vertrouwden mensen de AI veel meer. Ze waren bereid een paar kleine missers bij de Zachte regels te accepteren, maar als een Harde regel werd geschonden, waren ze zeer ongelukkig.
- De "Zachte" Regels zijn Flexibel: Mensen gebruikten de Zachte regels om het plan bij te stellen totdat het precies goed voelde. Ze merkten echter op dat de "sterrenscores" van de AI voor zachte regels niet altijd perfect waren, dus ze moesten het plan nog steeds zelf bekijken.
- Experts Wilden Meer Hulp: De experts (die zeer complexe banen hebben) vonden het systeem geweldig, maar vonden het moeilijk om alle hun vele regels in te typen. Ze hoopten dat het systeem hun gebruikelijke regels zou kunnen onthouden of uit spreadsheets kon importeren, zodat ze niet elke keer alles vanaf nul hoefden in te typen.
De Grote Conclusie
Het artikel concludeert dat AI om echt nuttig te zijn in planning, jij moet laten beslissen wat een strikte regel is en wat een flexibele voorkeur.
- Harde Beperkingen = Het fundament van het huis (moet stevig zijn).
- Zachte Beperkingen = De verf en inrichting (kan naar smaak worden veranderd).
Door gebruikers een manier te geven om deze twee duidelijk te onderscheiden en verschillende "tools" te gebruiken om ze te controleren (wiskunde voor het harde werk, een tweede AI voor het zachte werk), maakt U-Define AI-planning betrouwbaarder zonder zijn creativiteit te verliezen. Het verandert de AI van een "zwarte doos" die gokt in een "samenwerkende partner" die je grenzen respecteert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.