Fail-Closed Authorization for Tool-Using AI Agents: A Capability Contract and Case Study
Dit artikel introduceert het Agent Security Contract (ASC), een deny-by-default autorisatieframework voor tool-gebruikende LLM-agenten dat pre-executie poorten afdwingt via beleidsbeperkte tool-allowlists en integriteitsgecontroleerd bewijs, waarbij door middel van statische trace-evaluaties wordt aangetoond dat bijgewerkte beleidsversies effectief kwaadaardige aanvallen blokkeren terwijl ze minder fout-positieven vertonen in vergelijking met eerdere iteraties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een digitale assistent voor die meer kan dan alleen vragen beantwoorden; het kan daadwerkelijk bestanden openen, e-mails versturen en commando's uitvoeren op je computer. Dit is de belofte van moderne AI-agenten, maar het brengt een gevaarlijke nieuwe realiteit met zich mee: als een aanvaller de AI erin slaagt de AI te laten denken dat een schadelijk commando een nuttige suggestie is, kan de AI zonder aarzelen gehoorzamen. Het kernprobleem is niet dat de AI in de war is, maar dat het een betrouwbare poortwachter mist om elke actie te controleren voordat deze plaatsvindt. In de wereld van computerbeveiliging is de veiligste aanpak om ervan uit te gaan dat niets is toegestaan totdat het expliciet is toegestaan, een principe dat bekend staat als "fail-closed". Als de poortwachter een verzoek niet kan verifiëren, moet hij simpelweg "nee" zeggen, in plaats van het risico te lopen op een fout waardoor een hacker gegevens kan stelen of belangrijke systemen kan verwijderen.
Een onderzoeker genaamd Andrey Lesnikov heeft een systeem gebouwd genaamd de Agent Security Contract om als deze poortwachter te fungeren. In plaats van te proberen te raden wat de AI denkt of de toon van een gesprek te analyseren, werkt dit systeem als een strikte, pre-executie controlepost. Voordat de AI een hulpmiddel (tool) mag aanraken, controleert het systeem een digitaal contract dat precies vermeldt welke hulpmiddelen zijn toegestaan, welke argumenten ze kunnen accepteren en welke acties eerst een handtekening van een mens vereisen. Het systeem werkt door de voorgestelde actie van de AI te vergelijken met een vastgelegde, onveranderlijke lijst van goedgekeurde hulpmiddelen. Als het hulpmiddel niet op de lijst staat, of als de argumenten verdacht lijken, wordt de actie onmiddellijk geblokkeerd. Als de actie iets gevaarlijks inhoudt, zoals het verwijderen van een bestand of het versturen van geld, pauzeert het systeem en vraat het om een goedkeuring via een ander kanaal (out-of-band) van een mens, zodat beslissingen met een hoge inzet nooit door de machine alleen worden genomen.
Om te testen of deze aanpak daadwerkelijk werkt, heeft Lesnikov geen live AI in een echte omgeving laten draaien, wat te riskant zou zijn. In plaats daarvan creëerde hij een verzameling opgenomen scenario's, inclusief zowel onschuldige taken als geraffineerde aanvallen die ontworpen zijn om beveiligingsregels te omzeilen. Hij liet deze opgenomen scenario's door zijn systeem lopen, versie voor versie, terwijl hij observeerde hoe de poortwachter reageerde. In de eerste versie blokkeerde het systeem de meeste voor de hand liggende aanvallen, maar miste het enkele slimme trucs, zoals het verbergen van kwaadaardige commando's binnen bestandspaden of het gebruik van speciale tekens om beveiligingsregels te omzeilen. Na het vinden van deze hiaten, heeft de onderzoeker de regels aangescherpt. Het bijgewerkte systeem leerde deze specifieke omzeilingen te herkennen en te blokkeren, zoals het voorkomen dat een AI gevoelige wachtwoordbestanden leest of shell-commando's gebruikt om buiten de toegestane werkruimte te navigeren.
De resultaten toonden aan dat het systeem zeer effectief is in het stoppen van ongeautoriseerde acties, maar dat dit gepaard gaat met een trade-off. In een test met meer dan honderd opgenomen taken blokkeerde de strikte nieuwe regels bijna elke aanvalspoging. Echter, het systeem blokkeerde ook een aanzienlijk aantal onschuldige taken omdat ze argumenten gebruikten die de strikte regels niet verwachtten. Bijvoorbeeld, als een taak probeerde een e-mail te versturen zonder een bijlage, en het systeem was geconfigureerd om een bestand te vereisen, werd de taak geblokkeerd hoewel deze veilig was. De onderzoeker kwam tot de conclusie dat het enkel opsommen van de namen van toegestane hulpmiddelen niet genoeg was om aanvallen te stoppen; het systeem moest de details van elk argument controleren. Toch, toen de regels werden aangepast om te begrijpen welke argumenten optioneel waren, kon het systeem onderscheid maken tussen veilige en onveilige acties zonder de onschuldige acties te blokkeren.
Een van de belangrijkste bevindingen was dat het vermogen van het systeem om aanvallen te stoppen volledig afhangt van hoe zorgvuldig de regels zijn geschreven. Toen de onderzoeker het systeem testte tegen een set reële aanvalsdoelen van een ander project, hield het systeem bijna alle van hen tegen, maar alleen omdat de regels menselijke goedkeuring vereisten voor elke actie die gegevens wijzigde of berichten verstuurde. Het systeem begreep niet magisch het verschil tussen een legitieme e-mail en een phishingpoging; het handhaafde simpelweg de regel dat een dergelijke actie een mens nodig had om "ja" te zeggen. Dit benadrukt een cruciale beperking: het systeem is slechts zo sterk als het contract dat het afdwingt. Als het contract te los is, kan de AI nog steeds schade aanrichten. Als het te strikt is, houdt het de AI tegen in het uitvoeren van zijn werk.
De studie mat ook hoeveel tijd deze beveiligingscontrole toevoegt aan het proces. Het systeem is ongelooflijk snel en doet er minder dan een honderdste van een seconde over om te beslissen of een actie wordt toegestaan of geblokkeerd. Deze snelheid betekent dat de beveiligingscontrole het werk van de AI niet vertraagt, wat het praktisch maakt voor echt gebruik. De onderzoeker merkte echter op dat het systeem geen volledige oplossing is. Het voorkomt niet dat een AI een toegestaan hulpmiddel op een schadelijke manier gebruikt, zoals het versturen van een bericht naar een veilig adres dat een virus bevat. Het kan ook niet beschermen tegen een hacker die al de controle heeft overgenomen over de computer waarop de AI draait. Het systeem is een specifiek instrument voor een specifieke taak: ervoor zorgen dat elke tool-call overeenkomt met een vooraf goedgekeurd plan.
Uiteindelijk demonstreert het artikel dat een eenvoudige, rigide set regels effectief kan zijn in het voorkomen dat een AI ongeautoriseerde commando's uitvoert. Het systeem werkt door te weigeren te handelen wanneer het onzeker is, een strategie die veiligheid boven gemak prioriteert. Hoewel de huidige versie zorgvuldige configuratie vereist en soms te voorzichtig kan zijn, laat het onderzoek zien dat het met betere regels en menselijk toezicht mogelijk is om een betrouwbare barrière te bouwen tussen een AI en de systemen die zij beheert. Het werk suggereert dat de toekomst van veilige AI-agenten niet ligt in slimmere AI, maar in striktere, eenvoudigere en meer transparante poortwachters.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.