The Perils of Agency: How Developers Perceive, Prioritize, and Address Risks in Agentic AI Products
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een hoogopgeleide, razendsnelle stagiair inhuurt om je bedrijf te helpen runnen. Deze stagiair is niet zomaar een passieve werker; het is een Agentic AI. Ze kan zelfstandig beslissingen nemen, je tools gebruiken (zoals je e-mail, je database of je agenda) en uitzoeken hoe ze complexe problemen kunnen oplossen zonder dat jij ze bij elke stap de hand boven het hoofd moet houden.
Dit klinkt geweldig, toch? Maar het paper waar je naar vraagt, "The Perils of Agency," is in feite een rapport van een groep van 35 builders (ontwikkelaars) die proberen deze "super-stagiairs" in te huren en te beheren. Ze ontdekten dat hoewel deze agents krachtig zijn, ze ook als losgelaten honden zijn: de precies dezelfde eigenschappen die ze nuttig maken (snel rennen, achter eekhoorns aanjagen, deuren openen) zijn ook de eigenschappen die ze gevaarlijk maken.
Hier is een eenvoudige uitsplitsing van wat het paper heeft gevonden, met behulp van alledaagse analogieën.
1. Welke risico's zien de builders? (De "Blinde Vlekken")
De builders zijn erg goed in het opsporen van risico's die vlak voor hun neus gebeuren in het kantoor.
- De "Kantoor"-risico's: Ze maken zich zorgen of de stagiair het verkeerde bestand verwijdert, in een loop terechtkomt, of per ongeluk een vertrouwelijke e-mail naar de verkeerde persoon stuurt. Dit is vergelijkbaar met een hond die een vuilnisbak omverwerpt of een schoen kapot bijt.
- De "Wereld"-risico's (De Blinde Vlek): Echter, ze maken zich veel minder zorgen over de grote, langetermijngevolgen. Ze besteden niet veel tijd aan de vraag of de stagiair uiteindelijk ieders baan zal overnemen of op massale schaal de privacy van mensen zal schenden.
- De Analogie: Het is alsof een ouder zich zorgen maakt dat zijn kind vandaag een vaas kan breken, maar zich niet zorgen maakt over het feit dat het kind over tien jaar een roekeloze bestuurder kan zijn. De directe rommel is makkelijker te zien dan de verre toekomst.
2. Hoe beslissen ze wat ze gaan repareren? (De "Business Filter")
Wanneer de builders een lijst van 100 potentiële problemen hebben, hoe beslissen ze welke ze als eerste aanpakken? Ze gebruiken een "Business Success Filter."
- Hoge Prioriteit: Ze lossen zaken op die het product traag kunnen maken, ervoor kunnen zorgen dat het crasht, of klanten boos kunnen maken. Als de stagiair te traag is, verliest het bedrijf geld. Als de stagiair tegen een klant liegt, verliest het bedrijf vertrouwen.
- Lage Prioriteit: Ze negeren vaak risico's die duur zijn om te herstellen of die de business op dit moment niet direct schaden.
- De Analogie: Stel je voor dat je een racewagen bestuurt. Je zult onmiddellijk een lekke band repareren omdat dat de race stopt. Je zult misschien negeren dat de auto de lucht vervuilt of dat de bestuurder gestrest is, omdat die zaken de auto niet tegenhouden om vandaag de race te winnen. De builders geven prioriteit aan "de race winnen" (bedrijfsdoelen) boven "het milieu redden" (maatschappelijke risico's).
3. Hoe proberen ze de risico's te stoppen? (De "Koorddansact")
Dit is het meest interessante deel van het paper. De builders staan voor een groot dilemma. Om de "super-stagiair" ervan te weerhouden slechte dingen te doen, moeten ze juist de dingen afnemen die de stagiair in de eerste plaats een "super-stagiair" maken.
- De Spanning:
- Om de stagiair te stoppen met het verwijderen van bestanden, moet je de deur op slot doen (autonomie beperken).
- Om de stagiair te stoppen met het gebruik van de verkeerde tools, moet je de sleutels afpakken (toolgebruik beperken).
- Om de stagiair te stoppen met het maken van vreemde beslissingen, moet je ze een strikt script geven (aanpassingsvermogen beperken).
- Het Resultaat: Elke keer dat ze een veiligheidsbarrière toevoegen, wordt de agent iets minder "agentic" (minder slim, minder behulpzaam, minder flexibel).
- De Analogie: Het is als het proberen te leren aan een vogel om veilig te vliegen. Als je een zware kooi om de vogel plaatst om te voorkomen dat hij tegen ramen vliegt, kan hij helemaal niet meer vliegen. Als je hem vrij laat vliegen, kan hij crashen. De builders zitten gevangen in de poging om een kooi te bouwen die sterk genoeg is om de vogel veilig te houden, maar open genoeg om hem te laten vliegen.
4. Waarom is het zo moeilijk? (Het "Toolbox Probleem")
De builders hebben het gevoel dat ze een kapot vliegtuig proberen te repareren met een ijshockeystick en ducttape.
- Geen Goede Tools: Er zijn weinig volwassen, betrouwbare tools om te testen of deze agents wel veilig zijn. Het is moeilijk om te weten of je veiligheidsmaatregelen daadwerkelijk werken totdat het te laat is.
- Het "Jury"-probleem: Soms worden de veiligheidsmaatregelen zelf ook door AI gemaakt. Dus als je een AI gebruikt om te controleren of een andere AI liegt, en de controlerende AI is ook een beetje in de war, dan heb je het probleem eigenlijk niet opgelost.
- De Analogie: Het is alsof je een brandveilige woning probeert te bouwen met hout. Je blijft meer hout toevoegen (veiligheidscontroles) om de brand te stoppen, maar het hout zelf is brandbaar.
De Belangrijkste Conclusie
Het paper concludeert dat er een fundamenteel conflict bestaat in het bouwen van deze AI-agents.
- Het Doel: We willen AI die slim, onafhankelijk is en complexe taken kan uitvoeren (Agentic).
- Het Probleem: Hoe onafhankelijker en slimmer het is, hoe gevaarlijker het kan zijn.
- De Realiteit: Om het veilig te maken, moeten we het minder onafhankelijk en minder slim maken.
De builders zitten momenteel in het midden. Ze proberen risico's te beheersen die voortkomen uit de superkrachten van de AI, maar ze hebben niet de juiste tools of de juiste bedrijfsregels om dit te doen zonder hun "super-stagiair" te veranderen in een gewone, saaie robot. Ze proberen in essentie een wild paard te temmen zonder zadel, zonder hoofdstel en zonder kaart.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.