A Policy Algebra for Trust-Preserving Agentic AI Execution
Dit artikel introduceert een beleidsalgebra die een vertrouwen behoudende betrouwbaarheidsenvelop definieert voor agentische AI door beveiligingsbeperkingen en runtime-verplichtingen formeel te componeren, waardoor het systeem in staat is om op bijna alle beleidsschendingen in te grijpen terwijl hoge taakvoltooiingspercentages worden behouden en audit-volledigheid wordt gewaarborgd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld van kunstmatige intelligentie vindt er een belangrijke verschuiving plaats. Jarenlang lag de focus op het bouwen van systemen die tekst konden genereren, vragen konden beantwoorden of documenten konden samenvatten. Deze systemen waren als zeer deskundige bibliothecarissen die alles konden lezen, maar verboden werd om de boeken aan te raken of de meubels te verplaatsen. Vandaag de dag heeft een nieuwe generatie software, vaak "agenten" genoemd, de sleutels van het gebouw gekregen. Deze agenten praten niet alleen; ze handelen. Ze kunnen door privébedrijfsbestanden zoeken, e-mails versturen, databases bijwerken, externe diensten aanroepen en zelfs delen van een taak overdragen aan andere softwareprogramma's. Dit vermogen om van denken naar doen over te gaan, maakt hen ongelooflijk krachtig voor bedrijven, maar introduceert ook een nieuw soort gevaar. Een fout is niet langer alleen een verkeerde zin; het is een verwijderd bestand, een gelekt geheim of een budget dat is uitgegeven aan een taak die nooit is afgerond.
Het kernproblemi is dat een agent zijn doel kan bereiken terwijl hij de regels overtreedt om daar te komen. Stel je een werknemer voor die succesvol een pakket bezorgt, maar dit doet door in te breken in een afgesloten kamer waar hij niet in mocht komen. In het verleden controleerden beveiligingssystemen vooral of iemand een pasje had om een gebouw binnen te gaan. Maar voor deze intelligente agenten moet de beveiligingscontrole plaatsvinden bij elke stap van de reis, niet alleen bij de voordeur. Als een agent een beslissing mag nemen, moet die beslissing worden getoetst aan wie erom vraagt, welke instrumenten zij gebruiken, hoeveel geld zij nog te besteden hebben en of een mens de actie heeft goedgekeurd. Zonder dit constante toezicht kan een krachtig hulpmiddel gemakkelijk schade aanrichten, zelfs als de persoon die het proces startte goede bedoelingen had.
Onderzoekers van Volkswagen Digital Services en Scania CV AB hebben een nieuwe manier ontwikkeld om dit risico te beheersen, die zij een "policy algebra" noemen. Zie dit niet als een lijst met regels, maar als een wiskundig systeem voor het combineren van verschillende beveiligingseisen tot één onbreekbare beslissing. De onderzoekers realiseerden zich dat je een agent niet kunt vertrouwen door alleen naar het uiteindelijke antwoord te kijken dat hij produceert. Je moet naar het hele pad kijken dat hij heeft afgelegd om daar te komen. Hun systeem behandelt elke actie die een agent wil ondernemen als een overgang die langs een reeks poorten moet passeren. Deze poorten controleren de identiteit van de agent, de rol, de gevoeligheid van de gegevens waarmee deze in aanraking komt, de instrumenten die worden gebruikt, het resterende budget en of een mens akkoord is gegaan met de beweging. Als één enkele poort faalt, wordt de actie gestopt.
De genialiteit van deze aanpak ligt in de manier waarop het complexiteit afhandelt, vooral wanneer een agent een andere agent vraagt om een taak uit te voeren. In veel huidige systemen kunnen de beveiligingsregels per ongeluk verzwakken wanneer een taak wordt doorgegeven, waardoor een sub-agent dingen kan doen waar de oorspronkelijke agent geen toestemming voor had. Het nieuwe systeem voorkomt dit door ervoor te zorgen dat de autoriteit nooit groter wordt naarmate deze verder in de keten beweegt. In plaats daarvan wordt het beveiligingsprofiel strenger of blijft het gelijk. Als een hooggeplaatste manager een junior medewerker vraagt om te helpen, kan de junior medewerker plotseling niet meer toegang krijgen tot de privébestanden van de manager. Het systeem beheert ook geld zorgvuldig. Het zorgt ervoor dat als een agent veel rekenkracht of geld uitgeeft, deze een tastbaar resultaat moet opleveren, zoals een opgeslagen document of een voltooid dossier. Als een agent zonder nuttig resultaat door zijn budget heen is, stopt het systeem hem, om te voorkomen dat het bedrijf middelen verspilt aan een taak die nergens toe leidde.
Om te testen hoe goed dit werkt, lieten de onderzoekers duizenden gesimuleerde scenario's draaien waarbij agenten probeerden diverse taken te voltooien. Ze vergeleken hun nieuwe systeem met oudere methoden die vertrouwden op eenvoudige lijsten van toegestane instrumenten en gebruikersrollen. De resultaten toonden een duidelijk verschil in veiligheid. Het nieuwe systeem stopte 94,8% van de onveilige acties die het oudere systeem miste. Dit omvatte het voorkomen dat agenten toegang kregen tot gegevens die ze niet mochten zien, instrumenten gebruikten waar ze geen toestemming voor hadden, of taken doorstuurden naar andere agenten op een manier die de beveiligingsregels omzeilde. Het systeem elimineerde ook een specif kind van falen waarbij een agent al zijn geld zou uitgeven zonder een nuttig resultaat achter te laten. Wat het volgen van gegevens betreft, legde het nieuwe systeem 98,6% van de noodzakelijke details vast voor een audit, vergeleken met 71,9% voor de oudere methode, wat het veel gemakkelijker maakt om te begrijpen wat er misging als dat gebeurde.
Er is een prijs voor deze extra veiligheid. Het nieuwe systeem is iets langzamer in het nemen van beslissingen, met een gemiddelde van 71 milliseconden vergeleken met 38 milliseconden voor de oudere methode. Het stopt ook af en toe per ongeluk een veilige actie in ongeveer 4,2% van de gevallen, vergeleken met 2,1% voor het oudere systeem. Vanwege deze extra controles daalde het algemene percentage waarbij agenten hun taken succesvol voltooiden licht, van 90,7% naar 86,9%. De onderzoekers stellen echter dat deze afweging noodzakelijk is. Het doel is niet om de snelste of meest capabele agent te bouwen, maar de meest betrouwbare. Een taak die snel wordt voltooid maar waarbij ongeautoriseerde toegang tot gegevens of verspilling van geld betrokken is, is geen succes.
De studie bevestigt dat beveiliging voor intelligente agenten een eigenschap moet zijn van de gehele reis, en niet alleen van de bestemming. Door deze nieuwe methode te gebruiken om regels te combineren, kunnen bedrijven hun software met meer vrijheid laten handelen terwijl ze ervoor zorgen dat elke stap geautoriseerd, traceerbaar en economisch verantwoord blijft. Het systeem probeert niet te raden wat een agent fout zou kunnen doen; in plaats daarvan creëert het een kader waarin een agent alleen kan doen wat op elk moment expliciet is toegestaan. Deze aanpak verandert de ruwe kracht van kunstmatige intelligentie in een hulpmiddel dat ondernemingen daadwerkelijk kunnen vertrouwen om te opereren in de echte wereld, waar fouten reële gevolgen hebben.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.