LHAW: Controllable Underspecification for Long-Horizon Tasks
Dit paper introduceert LHAW, een modulair framework dat systematisch ambiguïteit toevoegt aan lange-termijn taken om de prestaties van agenten bij het oplossen van onvolledig gespecificeerde workflows te evalueren en te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, autonome assistent hebt die een complexe klus voor je moet doen, zoals het organiseren van een groot festival of het repareren van een heel software-systeem. Deze assistent werkt alleen, zonder dat jij de hele tijd bij hem in de buurt hoeft te staan.
Het probleem is: wat gebeurt er als de opdracht die je geeft niet helemaal duidelijk is?
Stel, je zegt tegen je assistent: "Koop een auto."
Een slimme assistent zou moeten denken: "Wacht even, wat voor auto? Een fiets? Een vrachtwagen? Wat is mijn budget? Moet hij elektrisch zijn?"
Maar veel huidige AI-assistenten doen twee dingen die niet goed zijn:
- Ze gokken en hopen het goed te hebben. Ze kopen misschien een dure sportauto terwijl je een goedkope bestelbus nodig had. Het resultaat is een ramp.
- Ze vragen om alles. Ze bellen je voor elke kleine twijfel: "Moet ik links of rechts afslaan?", "Mag ik een rode of blauwe auto kiezen?". Dit kost jou tijd en energie, en je raakt geïrriteerd.
Dit artikel introduceert LHAW (Long-Horizon Augmented Workflows). Het is een slimme manier om AI-assistenten te trainen en te testen op precies dit punt: Wanneer moet je vragen, en wanneer moet je zelf een beslissing nemen?
Hoe werkt LHAW? (De "Vage Opdracht"-Machine)
De onderzoekers hebben een systeem gebouwd dat werkt als een kookrecept voor verwarrende taken.
Stel je hebt een perfect duidelijk recept: "Maak een taart met 200 gram suiker, 3 eieren en bak het 30 minuten op 180 graden."
LHAW neemt dit recept en verwijdert systematisch stukjes informatie om het "onvolledig" te maken. Ze doen dit op vier manieren:
- Het Doel (Goal): "Maak een taart" (Maar wat voor taart? Een cake? Een taart voor een bruiloft?)
- De Regels (Constraints): "Bak het" (Maar hoe lang? Op welke temperatuur?)
- De Ingrediënten (Inputs): "Gebruik eieren" (Welke eieren? Hoeveel? Uit welke winkel?)
- De Context: "Bak het" (In welke oven? Is de oven al voorverwarmd?)
Ze maken dus een "vage versie" van de opdracht en sturen deze naar de AI.
De Drie Soorten "Vage Opdrachten"
Na het testen van de AI met deze vage opdrachten, verdelen ze de resultaten in drie categorieën, alsof je een spelletje doet:
- De "Ramp" (Outcome-Critical): De AI probeert de taak te doen zonder te vragen, maar faalt volledig.
- Voorbeeld: De AI maakt een taart zonder suiker omdat ze dacht dat suiker niet nodig was. Resultaat: Een smakeloze brok. De AI had moeten vragen.
- De "Willekeur" (Divergent): De AI doet iets, maar elke keer een ander ding.
- Voorbeeld: Soms maakt de AI een cake, soms een taart. Het resultaat is onvoorspelbaar. De AI had ook moeten vragen voor duidelijkheid.
- De "Slimme Gok" (Benign): De AI raadt het goed, zelfs zonder te vragen.
- Voorbeeld: Je zegt "Koop een drankje" en de AI koopt water. Dat is prima, want water is een logische standaard. Hier is vragen niet nodig.
Wat hebben ze geleerd? (De "Kosten" van een Vraag)
De onderzoekers keken naar verschillende AI-modellen (zoals GPT-5, Claude en Gemini) en ontdekten interessante patronen:
- De "Over-veilige" AI: Sommige modellen (zoals GPT-5.2) zijn bang om fouten te maken. Ze bellen de mens voor elk klein detail.
- Analogie: Het is alsof je een kok hebt die elke 5 minuten vraagt: "Mag ik nu een snufje peper doen?" of "Is de pan wel schoon?". Het resultaat is misschien goed, maar jij als chef wordt gek van het gebrek aan vertrouwen.
- De "Te zelfstandige" AI: Andere modellen (zoals sommige Gemini-versies) durven nooit te vragen. Ze gokken en hopen het goed te hebben.
- Analogie: Dit is de kok die de taart verbrandt omdat hij dacht dat 180 graden genoeg was, terwijl de oven het niet deed. Hij vraagt nooit om hulp.
- De "Slimme" AI: De beste AI's weten precies wanneer ze moeten vragen. Ze berekenen: "Is het risico van een fout groter dan de moeite van een vraag?"
Waarom is dit belangrijk?
Vroeger testten we AI's alleen op taken die perfect waren beschreven. Maar in het echte leven zijn opdrachten zelden perfect.
- Een manager zegt: "Regel die vergadering." (Maar met wie? Waar? Wanneer?)
- Een klant zegt: "Fix die bug." (Welke bug? In welk bestand?)
LHAW helpt ons AI's te bouwen die niet stilletjes falen als de opdracht vaag is, maar ook niet je hersenen uitputten met onnodige vragen. Ze leren de kunst van de strategische vraag: "Ik heb meer info nodig om dit goed te doen, dus ik vraag het nu één keer, en dan ga ik het afmaken."
Samenvatting in één zin
LHAW is een trainingskamp voor AI's waar ze leren hoe ze omgaan met onduidelijke instructies, zodat ze niet blindelings fouten maken, maar ook niet je telefoon laten rinkelen met onnodige vragen, maar juist op het juiste moment de juiste vraag stellen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.