Governable agentic intelligence: a lifecycle framework linking capability, assurance, and oversight in large language model agents
Dit artikel introduceert de Agentic Intelligence Lifecycle (AIL), een zeslaags raamwerk dat capaciteit, evaluatie en governance integreert om de "assurance debt" die inherent is aan agentische AI-systemen aan te pakken, waarbij een nieuwe onderzoeksagenda wordt voorgesteld voor het creëren van observeerbare, toerekenbare en bestuurbare agenten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de afgelopen jaren heeft kunstmatige intelligentie een stille maar diepgaande verschuiving ondergaan. Lange tijd waren deze systemen als zeer bekwame bibliothecarissen: je stelde ze een vraag en zij doorzochten hun enorme interne kennis om je een antwoord te geven. Als het antwoord fout was, vroeg je het simpelweg opnieuw of zocht je het zelf op. De computer deed het denken, maar de mens deed het beslissen. Vandaag de dag komt er echter een nieuwe generatie software op die niet alleen vragen beantwoordt, maar ook actie onderneemt. Deze systemen, vaak "agentic" AI genoemd, kunnen een doel bekijken, dit opsplitsen in stappen, informatie op het internet zoeken, softwaretools gebruiken om dingen te berekenen of te creëren, en zelfs met andere soortgelijke systemen praten om de klus te klaren. Ze zijn niet langer alleen bezig met het voorspellen van het volgende woord in een zin; ze navigeren door een digitale wereld om deze te veranderen.
Deze nieuwe vaardigheid brengt een unieke reeks uitdagingen met zich mee. Wanneer een computer simpelweg een verhaal schrijft, is een fout slechts een typefout. Wanneer een computer echter de macht krijgt om vluchten te boeken, geld over te maken of industriële machines aan te sturen, kan een fout reële gevolgen hebben in de echte wereld. De centrale vraag voor onderzoekers is niet langer alleen of deze systemen slim genoeg zijn om een probleem op te lossen, maar of ze erop kunnen worden vertrouwd om dat veilig te doen. Als een systeem te veel vrijheid krijgt, kan het een schadelijke beslissing nemen zonder dat iemand het merkt totdat het te laat is. Als het te weinig vrijheid krijgt, wordt het nutteloos. Het vinden van de juiste balans is het definiërende probleem van dit nieuwe tijdperk.
Een onderzoeker genaamd Harry Udoh van Arden University heeft dit probleem onlangs aangepakt door naar het volledige landschap van recent onderzoek naar deze intelligente agenten te kijken. In plaats van één stuk software te bestuderen, onderzocht Udoh negentien belangrijke reviewartikelen gepubliceerd tussen 2024 en 2026. Deze reviews besloegen alles, van de basisbouwstenen van de technologie tot hoe ze worden getest en hoe ze veilig worden gehouden. Door deze afzonderlijke draden samen te weven, creëerde Udoh een nieuwe manier om het hele plaatje te zien, waarbij hij betoogde dat we moeten stoppen met deze systemen te zien als slechts een verzameling slimme modellen, en ze moeten gaan zien als complexe lussen waar denken, handelen en controleren continu plaatsvinden.
De kern van Udoh's werk is een raamwerk genaamd de Agentic Intelligence Lifecycle. Stel je een systeem voor als een zeslaagse structuur, waarbij elke laag afhankelijk is van de laag eronder maar ook nieuwe risico's introduceert. De onderste laag is de fundering, het basismodel dat de ruwe intelligentie biedt. De tweede laag is cognitie, waar het systeem zijn stappen plant en gebeurtenissen uit het verleden onthoudt. De derde laag is grounding (verankering), die het systeem verbindt met de buitenwereld via tools en informatieverzameling. De vierde laag is orchestratie, waar het systeem zijn eigen acties coördineert of samenwerkt met andere agenten. De vijfde laag is evaluatie, waar het systeem controleert of het zijn werk goed doet. De bovenste laag is governance (bestuur), wat menselijk toezicht en veiligheidsregels omvat.
De belangrijkste bevinding van dit onderzoek is een concept genaamd "assurance debt" (verzekeringsschuld). In de wereld van software verwijst schuld meestal naar afkortingen die tijdens de ontwikkeling zijn genomen en later moeten worden terugbetaald. Udoh suggereert dat elke keer dat we een AI-agent een nieuwe capaciteit geven, we ook een nieuwe kloof creëren tussen de risico's die het introduceert en de controles die we hebben om die risico's te beheersen. Bijvoorbeeld: het geven van de mogelijkheid aan een agent om het internet af te zoeken naar informatie maakt het slimmer, maar creëert ook het risico dat het verouderde of misleidende informatie vindt. Het geven van een geheugen maakt het over de tijd nuttiger, maar creëert ook het risico dat het per ongeluk privégegevens kan lekken. Het onderzoek laat zien dat deze risico's niet alleen bijwerkingen zijn; het zijn directe kosten van de nieuwe vermogens. Als een systeem een krachtig nieuw hulpmiddel krijgt maar niet een even krachtige manier krijgt om dat hulpmiddel in de gaten te houden, groeit de "schuld".
Udoh betoogt dat deze schuld verklaart waarom veel AI-systemen indrukwekkend lijken in tests, maar falen in de echte wereld. In een test kan een systeem gevraagd worden een puzzel op te lossen, en het slaagt. Maar in de echte wereld kan datzelfde systeem een tool gebruiken om een wijziging aan te brengen die niet ongedaan gemaakt kan worden, of het kan vertrouwen op een geheugen dat een fout bevat van dagen geleden. Het onderzoek suggereert dat we niet simpelweg kunnen testen hoe goed een systeem een taak voltooit; we moeten de hele weg testen die het heeft afgelegd om daar te komen. Heeft het de feiten gecontroleerd? Heeft het toestemming gevraagd voordat het handelde? Had het een manier om zichzelf te stoppen als er iets misging?
Om dit aan te pakken, stelt het artikel een nieuwe manier voor om deze systemen te evalueren, waarbij men afstapt van eenvoudige checklists. In plaats van te vragen "Heeft de agent de klus geklaard?", zouden we vijf specifieke vragen moeten stellen over elke taak die de agent probeert te voltooien. Ten eerste, welke informatie mag de agent zien? Ten tweede, welke beslissingen mag hij nemen? Ten derde, welke veranderingen mag hij aanbrengen in de buitenwereld? Ten vierde, hoe weten we of hij geslaagd is? En ten vijfde, hoe kan een mens ingrijpen en hem stoppen indien nodig? Deze aanpak behandelt veiligheid niet als een toevoeging achteraf, maar als een fundamenteel onderdeel van het ontwerp. Het suggereert dat hoe krachtiger een agent wordt, hoe zorgvuldiger we de regels moeten ontwerpen die hem beperken.
Het onderzoek daagt ook het idee uit dat het altijd veiliger is om veel agenten samen te laten werken. Hoewel het lijkt alsof een groep agenten elkaars werk zou kunnen controleren, wijst de studie erop dat als ze allemaal hetzelfde onderliggende brein of dezelfde bronnen van informatie gebruiken, ze allemaal tegelijkertijd dezelfde fout kunnen maken. Dit betekent dat een groep agenten soms een vals gevoel van veiligheid kan creëren, waarbij iedereen het eens is over een fout antwoord. Op dezelfde manier waarschuwt het artikel tegen het te zwaar leunen op geautomatiseerde systemen om de kwaliteit van andere geautomatiseerde systemen te beoordelen, aangezien deze hun eigen vooroordelen kunnen ontwikkelen.
Uiteindelijk concludeert het artikel dat de toekomst van kunstmatige intelligentie afhangt van een verschuiving in hoe we over controle denken. We kunnen niet simpelweg slimmere machines bouwen en hopen dat ze zich goed gedragen. We moeten systemen bouwen waarbij het vermogen om te handelen wordt gematcht door het vermogen om geobserveerd, onderbroken en gecorrigeerd te worden. Het doel is niet om deze systemen nuttig te stoppen, maar om ervoor te zorgen dat hun nut niet ten koste gaat van de veiligheid. Door het levenscyclusproces van deze agenten en de schuld die gepaard gaat met hun kracht te begrijpen, kunnen onderzoekers en ontwikkelaars systemen bouwen die niet alleen capabel zijn, maar ook bestuurbaar, waarbij de mens in de loop blijft waar dat het meest belangrijk is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.