In de moderne digitale werkplek is een nieuw type werknemer opgekomen: de software-agent. Dit zijn programma's die worden aangedreven door grote taalmodellen en die documenten kunnen lezen, e-mails kunnen versturen, gegevens tussen systemen kunnen verplaatsen en zelfs andere programma's kunnen aanroepen om taken uit te voeren. Ze handelen namens menselijke werknemers door instructies op te pakken en deze om te zetten in een reeks acties. De belofte is enorme efficiëntie, maar het risico is even groot. Als een menselijke werknemer wordt misleid om een geheim bestand naar de verkeerde persoon te sturen, blijft de schade beperkt tot het oordeel van die ene persoon. Maar wanneer een software-agent wordt misleid, kan deze de fout met perfecte snelheid uitvoeren en over elk systeem waarmee de agent toegang heeft. De kernuitdaging voor beveiligingsexperts is niet alleen om deze agenten slimmer te maken zodat ze niet worden misleid, maar om een systeem te bouhalen waarin het niet uitmaakt of ze worden misleid, omdat de schade fysiek onmogelijk uitgevoerd kan worden.

Dit is het centrale probleem dat wordt geadresseerd in een nieuwe studie door onafhankelijk onderzoeker Xabier Muruaga, die een manier voorstelt om deze digitale werkers te beveiligen, niet door te proberen de hersenen van de agent robuuster te maken, maar door de regels van wat de agent mag doen aan te scherpen. Het onderzoek stelt dat het gevaar van een gemanipuleerde software-agent primair een probleem is van de permissie-architectuur, en niet een probleem van het kunstmatige intelligentiemodel zelf. Zelfs als een agent perfect beveiligd is tegen misleiding, kan hij nog steeds schade aanrichten als hij te veel vrijheid krijgt om onschuldige acties te combineren tot een gevaarlijke uitkomst. Bijvoorbeeld, een agent mag een vertrouwelijk document lezen en mag een e-mail verzenden. Afzonderlijk zijn beide acties veilig. Maar als de agent wordt misleid om het document te lezen en het vervolgens direct naar een extern adres te mailen, creëert de combinatie een datalek dat door geen van beide permissies afzonderlijk bedoeld was toe te staan.

Om dit op te lossen, ontwikkelde Muruaga een systeem genaamd de Agentic Principal Chain. Stel je een commandostructuur voor waarbij een menselijke baas een taak delegeert aan een manager, die vervolgens een deel van die taak doorgeeft aan een junior assistent. In traditionele beveiligingssystemen reist de toestemming die de baas geeft mee naar beneden in de keten zonder te veranderen. De junior assistent kan eindigen met dezelfde brede bevoegdheden als de baas, wat een enorm risico creëert als die assistent wordt gecompromitteerd. De Agentic Principal Chain verandert dit door ervoor te zorgen dat met elke stap omlaag in de keten de toestemming kleiner en specifieker wordt. Het fungeert als een strikte poortwachter die buiten het denkproces van de agent staat. Voordat de agent een actie kan uitvoeren, controleert deze poortwachter niet alleen of de agent het recht heeft om die specifieende handeling te verrichten, maar ook wat de agent heeft gedaan tijdens deze specifieke sessie.

Het systeem werkt door een "sessiestatus" bij te houden, wat een voortlopend logboek is van elke actie die de agent heeft ondernomen. Als een agent geautoriseerd is om een bestand te lezen en geautoriseerd is om een e-mail te verzenden, kijkt het systeem naar de geschiedenis. Als de agent zojuist een geheim bestand heeft gelezen, zal het systeem de volgende poging om een e-mail te verzenden blokkeren, zelfs als het verzenden van e-mails over het algemeen is toegestaan. Dit voorkomt dat de agent twee veilige acties combineert tot een gevaarlijke actie. De onderzoekers noemen dit "composition closure" (compositie-afsluiting). Het is een regel die stelt dat bepaalde combinaties van acties verboden zijn, ongeacht of de individuele stappen zijn toegestaan. Het systeem beperkt ook de "blast radius" (impactradius) van elke individuele agent. Als een sub-agent wordt gecompromitteerd, is de schade die deze kan aanrichten wiskundig begrensd door de permissies die zij heeft geërfd, die strikt kleiner zijn dan de permissies van de agent die de sub-agent heeft gecreëerd. Dit zorgt ervoor dat een inbreuk in een deel van het systeem niet kan escaleren tot een ongecontroleerde verspreiding die de hele organisatie kan vernietigen.

Om te testen of deze aanpak daadwerkelijk werkt, bouwden de onderzoekers een werkende versie van het systeem en onderwierpen deze aan een reeks rigoureuze proeven. Ze testten het systeem tegen duizenden gesimuleerde aanvallen met behulp van gevestigde beveiligingsbenchmarks. In één reeks tests met meer dan 1.000 scenario's die ontworpen waren om gegevens te stelen, blokkeerde het systeem elke enkele poging. In een andere reeks tests, waarbij de onderzoekers een situatie simuleerden waarin het kunstmatige intelligentiemodel zelf volledig gecompromitteerd en volledig onder controle van een aanvaller was, stopte het systeem de aanvallen nog steeds. Toen het model probeerde gestolen gegevens te verzenden, weigerde de poortwachter het verzoek omdat de combinatie van acties de sessieregels schond. Het systeem voorkwam ook succesvol dat de agent bestanden vernietigde of gegevens manipuleerde op manieren die niet deel uitmaakten van de oorspronkelijke taak, waardoor het succespercentage van dergelijke aanvallen werd teruggebracht van meer dan 90 procent naar slechts 12 procent.

De studie mat ook hoeveel deze extra beveiligingslaag de agenten vertraagde. De resultaten toonden aan dat het systeem ongelooflijk snel is; het voegt minder dan een kwart milliseconde toe aan de tijd die nodig is om een beslissing te nemen. Dit betekent dat de beveiligingscontroles bijna onmiddellijk plaatsvinden, zonder merkbare vertraging voor de gebruiker. Er is echter een trade-off gevonden. In sommige gevallen voorkamen de strikte regels dat de agent een legitieme taak voltooide omdat het systeem te voorzichtig was over de combinatie van acties. In hun tests daalde het succespercentage van legitieme taken met ongeveer 8,6 procentpunt wanneer de strengste regels werden toegepast. Dit suggereert dat hoewel het systeem zeer effectief is in het stoppen van aanvallen, het zorgvuldige afstemming vereist om te voorkomen dat het zo restrictief wordt dat het normaal werk belemmert.

De onderzoekers waren zorgvuldig in het definiëren van wat hun systeem wel en niet doet. Ze bewezen wiskundig dat als de regels correct zijn ingesteld, het onmogelijk is voor een agent om een verboden combinatie van acties uit te voeren. Ze bewezen ook dat de potentiële schade van een gecompromitteerde agent niet groter kan worden naarmate de taak verder in de commandoketen wordt doorgegeven. Ze merkten echter op dat hun systeem niet elk mogelijk probleem oplost. Het kan een agent niet stoppen van het doen van iets schadelijks als die enkele actie al door de regels is toegestaan, zoals het verwijderen van een bestand als de agent toestemming heeft om bestanden te verwijderen. Het kan ook niet voorkomen dat een agent wordt misleid om een slechte keuze te maken binnen zijn toegestane reikwijdte. Deze problemen vereisen andere oplossingen, zoals betere training voor de kunstmatige intelligentie of gedetailleerdere controles op de specifieke gegevens die worden gehanteerd.

Uiteindelijk presenteert het artikel een verschuiving in hoe we denken over het beveiligen van kunstmatige intelligentie. In plaats van te proberen een onbreekbare geest te bouwen, verschuift de focus naar het bouwen van een onbreekbare kooi. Door strikte regels af te dwingen over welke acties gecombineerd kunnen worden en door te garanderen dat permissies krimpen bij delegatie van taken, creëert het systeem een vangnet dat standhoudt, zelfs wanneer het oordeel van de agent faalt. Het onderzoek laat zien dat met de juiste architecturale controles, we deze krachtige digitale werkers in complexe omgevingen kunnen laten opereren zonder de angst dat een enkel moment van verwarring tot een catastrofe leidt. De bevindingen suggereren dat de weg naar veilige kunstmatige intelligentie niet alleen ligt in slimmere modellen, maar in slimmere systemen die weten hoe ze "nee" moeten zeggen, zelfs wanneer het model "ja" zegt.