In de moderne digitale wereld vertrouwen grote organisaties op softwareprogramma's die namens hen handelen. Decennialang waren deze programma's voorspelbaar: een menselijke ingenieur schreef de code, installeerde het programma en gaf het een specifieke reeks instructies. Als het programma een e-mail moest versturen of geld moest verplaatsen, deed het precies wat het werd verteld, niets meer en niets minder. Om deze programma's veilig te houden, bouwden bedrijven systemen om hun identiteit te controleren en hun acties te loggen, vergelijkbaar met een beveiligingsbeambte die een pasje bij een deur controleert. Echter, een nieuw soort software is gearriveerd dat de regels verandert. Dit zijn autonome agenten, programma's die niet alleen een vast script volgen, maar kunstmatige intelligentie gebruiken om zelf te beslissen wat ze hierna gaan doen. Ze kunnen in seconden verschijnen en verdwijnen, ze kunnen kiezen uit een breed scala aan mogelijke acties die geen mens vooraf heeft opgeschreven, en iedereen met een internetverbinding kan er een creëren. Omdat deze agenten zo verschillend zijn van de oude, voorspelbare programma's, schieten de beveiligingssystemen die voor het verleden zijn ontworpen tekort om hen te beschermen.

Een team van onderzoekers bij Aurite AI heeft tijd besteed aan het bouwen van een nieuwe manier om deze onvoorspelbare agenten te beheren terwijl ze draaien. Zij stellen dat het proberen te controleren van deze agenten door hun code te fixen voordat ze beginnen onmogelijk is, omdat de agent op het laatste moment zijn eigen acties bepaalt. In plaats daarvan stellen zij een systeem voor dat elke enkele actie die de agent probeert uit te voeren observeert en hem stopt als dit niet is toegestaan. Om dit werkend te maken, hebben zij vijf essentiële vragen geïdentificeerd die voor elke actie beantwoord moeten worden. Ten eerste moet het systeem weten dat de agent bestaat. Ten tweede moet het bewijzen wie de agent is. Ten derde moet het beslissen of de agent toestemming heeft om te doen wat hij vraagt. Ten vierde moet het een permanent, onveranderlijk verslag maken van wat er is gebeurd dat iedereen later kan controleren. Ten vijfde moet het verifiëren waar de agent uit bestaat om te verzekeren dat deze niet geheim is gewijzigd. De onderzoekers hebben een systeem gebouwd dat de eerste vier vragen in realtime beantwoordt en ontwikkelt momenteel de vijfde als een apart hulpmiddel. Zij ontdekten dat deze aanpak weliswaar noodzakelijk is, maar een prijs met zich meebrengt: het vertraagt het systeem enigszins en vereist een klein hulpprogramma dat naast elke agent draait.

Het kernprobleem waar de onderzoekers tegenaan liepen, is dat traditionele beveiliging vertrouwt op het weten wat een programma precies zal doen voordat het begint. Als een menselijke werknemer wordt aangenomen, krijgt deze een pasje en een lijst met regels. Als een dienst wordt geïnstalleerd, krijgt deze een specifieke functiebeschrijving. Maar een autonome agent is anders. Het is als een reiziger die zonder visum aankomt, beweert een burger te zijn, en ter plekke beslist welk land hij gaat bezoeken en wat hij daar gaat doen. De onderzoekers ontdekten dat oude beveiligingstools, die gebouwd zijn voor mensen en vaste diensten, dit niet kunnen aan. Een standaard beveiligingscontrole kan misschien verifiëren dat de agent is wie hij zegt dat hij is, maar het kan de agent niet stoppen van het kiezen van een gevaarlijke actie die niemand van tevoren had voorzien. Op dezelfde manier kan een beveiligingsbeambte die alleen een lijst met goedgekeurde acties controleert, een agent niet stoppen van het verzinnen van een nieuwe, schadelijke actie op het moment zelf. De onderzoekers concludeerden dat de enige manier om deze agenten te besturen, is door te interveniëren op het exacte moment dat ze proberen te handelen, waarbij hun verzoek wordt getoetst aan een reeks regels voordat ze mogen voortgaan.

Om dit op te lossen, ontwierp het team een systeem dat is gebouwd rond vijf verschillende onderdelen, of primitieven, die samenwerken. Het eerste deel is discovery (ontdekking). Omdat agenten overal en op elk moment kunnen verschijnen, moet het systeem in staat zijn hen te vinden. De onderzoekers realiseerden zich dat het simpelweg opsommen van bekende agenten niet genoeg is, omdat de meest gevaarlijke agenten degenen zijn die nog niet geregistreerd zijn. Hun systeem is ontworpen om op te merken wanneer een agent iets probeert te doen dat het systeem niet herkent. In plaats van het alleen maar te blokkeren, legt het systeem de poging vast en waarschuwt het een menselijke operator, die vervolgens kan beslissen of deze nieuwe actie in de toekomst toegestaan moet worden. Dit verandert een potentiële fout in een manier om te leren en de regels bij te werken.

Het tweede deel is identity (identiteit). In het verleden kon een programma beweren een specifieke dienst te zijn, maar de onderzoekers ontdekten dat agenten kunnen liegen over wie ze zijn. Hun systeem vereist dat de agent zijn identiteit bewijst met behulp van een digitale credentiaal die automatisch wordt gegenereerd op basis van waar de agent draait en waaruit hij is opgebouwd. Dit bewijs wordt gecontroleerd op het moment dat de agent probeert verbinding te maken, wat verzekert dat het systeem met de echte agent praat en niet met een bedrieger. Dit bewijs is kortstondig en verandert constant, zodat zelfs als een hacker een credentiaal steelt, deze snel verloopt.

Het derde deel is governance (bestuur), wat het eigenlijke besluitvormingsproces is. Voordat een agent een e-mail kan verzenden of fondsen kan overmaken, moet hij om toestemming vragen. Het systeem controleert het verzoek tegen een reeks regels die specifiek zijn voor die organisatie. Als de actie is toegestaan, gaat de agent door. Als dat niet het geval is, wordt het verzoek onmiddellijk geblokkeerd. Dit gebeurt voordat de actie plaatsvindt, wat de enige manier is om de agent echt te controleren. De onderzoekers hebben ook een "kill switch" opgenomen die een agent direct kan stoppen als hij zich slecht begint te gedragen, zonder te wachten tot diens digitale credentiaal verloopt.

Het vierde deel is attestation (attestatie), wat gaat over het creëren van een betrouwbaar verslag. In het verleden hielden bedrijven logs bij van wat hun programma's deden, maar die logs werden geschreven door dezelfde programma's die werden geobserveerd. Als een programma ongehoorzaam werd, kon het ook de logs aanpassen om zijn sporen te wissen. De onderzoekers hebben een systeem gebouwd dat elke beslissing schrijft naar een speciale, onveranderlijke keten van records. Deze keten wordt ondertekend met een geheime sleutel die alleen de organisatie bezit, en het is zo ontworpen dat iedereen, zelfs buiten het bedrijf, kan verifiëren dat het record echt is en niet is aangepast. Dit biedt een manier om te bewijzen wat er is gebeurd in een rechtszaak of tijdens een onderzoek.

Het vijfde deel is supply chain verification (verificatie van de toeleveringsketen), wat vraagt waar de agent eigenlijk uit bestaat. Zelfs als een agent geïdentificeerd is en zijn acties zijn goedgekeurd, zou hij op een gecompromitteerde versie van zijn software kunnen draaien. De onderzoekers hebben tools gebouwd om de ingrediënten van de agent te controleren — de code, de data en de afhankelijkheden — maar deze tools werken momenteel apart van de realtime beveiligingscontroles. Hoewel de onderzoekers beargumenteren dat deze verificatie essentieel is omdat een perfect geïdentificeerde agent gebouwd op kapotte onderdelen nog steeds gevaarlijk is, blokkeert deze specifieke controle nog niet de acties op het moment dat ze plaatsvinden; het blijft een apart ontwikkelingsstadium in plaats van een geïntegreerd onderdeel van het onmiddellijke autorisatieproces.

De onderzoekers testten hun systeem in privéproeven bij enkele organisaties. Zij ontdekten dat vier van de vijf onderdelen volledig gebouwd en werkend zijn, terwijl het vijfde deel nog steeds wordt ontwikkeld als een apart hulpmiddel. Zij waren eerlijk over de kosten van deze nieuwe aanpak. Omdat het systeem elk verzoek controleert voordat het plaatsvindt, voegt dit een kleine vertraging toe aan het proces. Het vereist ook een klein hulpprogramma, een sidecar genoemd, om naast elke agent te draaien om diens identiteit te beheren. Belangrijker nog, als het beveiligingssysteem zelf uitvalt, moeten de agenten stoppen met werken om veilig te blijven. Dit betekent dat een fout in het beveiligingssysteem leidt tot een stilstand van de bedrijfsactiviteiten, een afweging die de onderzoekers noodzakelijk achten om schade te voorkomen.

Een van de meest verrassende bevindingen was dat het systeem ook zichzelf moet besturen. De onderzoekers realiseerden zich dat de tools die zij hebben gebouwd om de agenten te beheren, zelf ook geautomatiseerde programma's zijn. Zij besloten om hun eigen beheerstools door dezelfde beveiligingscontroles te laten lopen als de klantagenten. Dit betekent dat het systeem zijn eigen identiteit controleert, beslist of zijn eigen acties zijn toegestaan, en zijn eigen beslissingen vastlegt in dezelfde onveranderlijke keten. Dit zorgt ervoor dat de mensen die het beveiligingssysteem hebben gebouwd, de regels die zij voor anderen hebben gecreëerd, niet kunnen omzeilen.

De onderzoekers benadrukken dat hun werk niet gaat over het veranderen van hoe de kunstmatige intelligentie-modellen denken of zich gedragen. Zij gaan ervan uit dat de modellen werken zoals bedoeld en richten zich in plaats daarvan op de regels die bepalen wat de modellen mogen doen. Zij stellen dat het proberen op te lossen van het probleem door alleen de modellen te verbeteren niet genoeg is, omdat zelfs een goed gedragend model grenzen nodig heeft aan wat het kan openen en wijzigen. Hun oplossing is een praktisch kader dat organisaties vandaag de dag kunnen gebruiken om deze onvoorspelbare agenten te beheren. Door het probleem onder te verdelen in vijf duidelijke vragen, bieden zij een routekaart voor iedereen die probeert deze krachtige tools in een veilige, gecontroleerde omgeving te brengen. Het werk is niet af en het vijfde deel van het systeem wordt nog steeds geïntegreerd, maar de kern van het idee — dat deze agenten in realtime geobserveerd en gecontroleerd moeten worden — is voorgesteld als een noodzakelijke architecturale aanpak, waarbij de ontwerp rationale is gevalideerd door implementatie in plaats van gemeten uitkomsten over een brede populatie van implementaties.