Specifying the Delegated-Autonomy Boundary: Requirements Engineering for Agentic AI
Dit artikel behandelt de unieke requirements engineering-uitdagingen van Agentic AI door het concept van een "delegated-autonomy boundary" te introduceren en twee complementaire artefacten voor te stellen — de Agency Justification Record (AJR) en het gelaagde Agentic Delegation Policy (ADP) — om de reikwijdte van beslissingen die aan autonome systemen worden gedelegeerd systematisch te definiëren, te rechtvaardigen en te beheersen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de kapitein bent van een ruimteschip. Gedurende het grootste deel van de menselijke geschiedenis betekende het bouwen van een schip het schrijven van een strikte instructiehandleiding: "Als je een rood licht ziet, draai dan links. Als je een blauw licht ziet, draai dan rechts." Het schip was een robot die orders perfect opvolgde, maar kon niet zelf nadenken. Daarna vonden we "slimme" computers uit die konden leren van data, zoals een student die een bibliotheek aan boeken leest en het antwoord raadt. Maar zelfs die slimme computers waren vooral gewoon raders; ze wachtten tot jij een vraag stelde en gaven dan een antwoord. Ze deden niet echt iets uit zichzelf.
Nu betreden we een nieuw tijdperk met "Agentic AI". Denk hierbij niet aan een raden, maar aan een nieuw soort bemanningslid. Dit bemanningslid wacht niet alleen op orders; het kan een kaart bekijken, besluiten om een moersleutel te pakken, een deur te openen, met een ander bemanningslid te praten en een lek te repareren—alles zonder dat je elke stap aan het systeem vertelt. Het heeft een beetje een eigen wil. Dit is spannend, maar ook een beetje eng. Als je een bemanningslid de sleutels van de machinekamer geeft, hoe weet je dan dat het niet per ongeluk het schip laat crashen? Hoe beslis je waar het aan mag komen, en wanneer je moet ingrijpen en het stuur moet overnemen? Dit is de grote vraag: Hoe stellen we de regels vast voor een robot die uit zichzelf kan handelen?
Dit artikel pakt exact dat probleem aan. De auteurs, Chetan Arora, Andreas Vogelsang en Abbi Sharma, betogen dat we deze "handelende" robots momenteel bouwen zonder de regels van hun vrijheid op te schrijven. In plaats van duidelijke regels, verbergen we de instructies in rommelige computercode en vage prompts. Ze stellen een nieuwe manier voor om deze systemen te ontwerpen met behulp van twee speciale instrumenten: een "Justification Record" en een "Delegation Policy".
Eerst de Agency Justification Record (AJR). Stel je voor dat je een nieuwe stagiair aanneemt. Voordat je de sleutels van het kantoor aan hem geeft, moet je jezelf afvragen: "Hebben we echt een stagiair nodig, of kunnen we gewoon een verkoopautomaat gebruiken?" De AJR is een checklist die teams dwingt deze vraag te beantwoorden. Het vraagt: Is de taak te chaotisch voor een simpel script? Moet het met verschillende systemen communiceren? Kunnen we de stagiair stoppen als hij een fout maakt? Het artikel suggereert dat als je niet aan alle vakjes op deze lijst kunt voldoen, je helemaal geen "agent" moet bouwen. Je zou dan gewoon een eenvoudiger, veiliger hulpmiddel moeten gebruiken. De auteurs testten dit bijvoorbeeld op een idee voor "code review". Ze kwamen tot de conclusie dat het beoordelen van code eigenlijk een zeer gestructureerde baan is met duidelijke regels, dus was een fancy, denkende robot niet nodig; een simpel script zou dat werk beter en veiliger doen. De AJR zegt: "Bouw geen robot als een rekenmachine het ook kan."
Maar wat als je wél een robot nodig hebt? Dat is waar het tweede instrument om de hoek komt kijken: de Agentic Delegation Policy (ADP). Dit is als een "Regelboek van Vrijheid" voor je robot-bemanningslid. In plaats van alleen te zeggen "Ga het schip repareren", breekt de ADP precies af wat de robot wel en niet mag doen, met behulp van een hiërarchisch systeem van autoriteit.
Denk aan de ADP als een verkeerslichtsysteem voor de acties van de robot:
- Groen licht (Autonome laag): De robot kan deze dingen alleen doen, zoals een kaart lezen of de temperatuur controleren. Geen mens hoeft toe te kijken.
- Geel licht (Adviserende laag): De robot kan suggesties doen, zoals "Ik denk dat we de motorolie moeten vervangen", maar hij moet wachten tot een mens "Ja, ga door" zegt voordat hij daadwerkelijk iets doet.
- Rood licht (Verboden laag): Dit zijn de "Niet Aanraken"-zones. De robot is strikt verboden om dingen te doen zoals het schip laten crashen of belangrijke bestanden te verwijderen, ongeacht wat er gebeurt.
De ADP dekt ook andere belangrijke regels, zoals:
- Geheugen: Wat mag de robot onthouden? Kan hij geheimen over patiënten of code bewaren, of moet hij ze na de klus vergeten?
- Teamwerk: Als de robot in de war raakt of als twee robots het oneens zijn, wie roept hij dan aan? De ADP zegt: "Als je het niet binnen twee pogingen kunt oplossen, stop dan en vraag het aan een mens."
- Veiligheid: Hoe weten we of de robot de waarheid spreekt? Het beleid vereist dat de robot een logboek bijhoudt van alles wat hij doet, zodat mensen dit later kunnen controleren.
De auteurs testten deze ideeën met twee zeer verschillende voorbeelden. Het eerste was een "Hospital Discharge Agent", een robot die is ontworig om te helpen patiënten uit het ziekenhuis te ontslaan. Deze taak is chaotisch, brengt veel contact met verzekeringsmaatschappijen en artsen met zich mee, en brengt een hoog risico met zich mee als er iets misgaat. De AJR zei: "Ja, dit is een perfecte taak voor een robot," en de ADP gaf strikte regels: de robot mag patiëntendossiers lezen (Groen), maar mag nooit een ontslagbevel ondertekenen zonder goedkeuring van een arts (Rood). Het tweede voorbeeld was de eerder genoemde "Code Review Agent". De AJR keek ernaar en zei: "Nee, dit is te eenvoudig en gestructureerd. Gebruik hier geen robot, maar een script."
Het artikel beweert niet dat het alles heeft opgelost. Het geeft toe dat we nog moeten uitzoeken hoe we deze geschreven regels daadwerkelijk omzetten in computercode die de robots begrijpen, en hoe we ze goed kunnen testen. Maar de kern van het idee is duidelijk: we kunnen deze krachtige robots niet zomaar ongestraft hun gang laten gaan. We moeten stoppen met het verbergen van de regels in de code en beginnen met het helder opschrijven ervan, door precies te bepalen hoeveel vrijheid we geven en wanneer we die weer terugnemen. Door de AJR te gebruiken om te beslissen of we een robot nodig hebben, en de ADP om te beslissen hoe we hem laten handelen, kunnen we een toekomst bouwen waarin deze digitale bemanningsleden behulpzame helpers zijn, en geen gevaarlijke wildcards.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.