Securing Agentic AI: From Per-Action Checks to Trajectory Assurance
Dit artikel schetst een uitgebreide beveiligingsroadmap voor autonome agenten, waarin wordt betoogd dat veiligheid moet verschuiven van het verifiëren van individuele acties naar het waarborgen van de integriteit van volledige gedragstrajecten over de gehele agentische stack, van single-agent inputs tot multi-agent delegatie en systeembrede provenance van de supply chain.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers niet alleen vragen beantwoorden, maar ook daadwerkelijk dingen doen. Ze vertellen je niet alleen het weer; ze boeken je vlucht, bestellen je boodschappen en beheren je bankrekening. Dit worden "autonome agenten" genoemd. Denk aan hen als superintelligente digitale stagiairs, aangedreven door Large Language Models (LLM's)—hetzelfde soort slimme AI dat gedichten of code kan schrijven. Maar in tegenstelling tot een menselijke stagiair die een baas nodig heeft om het werk te controleren, kunnen deze agenten zelfstandig plannen, redeneren en hulpmiddelen gebruiken. Ze kunnen zelfs met andere agenten praten, waardoor ze een team vormen om enorme, complexe taken aan te pakken.
De grote vraag die iedereen stelt is: "Wat gebeurt er als deze digitale stagiairs op de verkeerde weg raken?" Als een mens een fout maakt, kunnen we die meestal opmerken. Maar als een AI-agent in een seconde duizend kleine beslissingen neemt, en één daarvan is slechts een klein beetje af, kan hij per ongeluk een wet overtreden, een bankrekening leegmaken of een elektriciteitsnet platleggen. We dachten vroeger dat beveiliging alleen ging over het controleren of elke individuele stap veilig was, zoals controleren of een deur op slot zit. Maar dit artikel betoogt dat dat niet meer genoeg is. Het is also wordt vergeleken met het controleren of elke individuele steen in een kasteel van goede kwaliteit is; dat garandeert niet dat het hele kasteel niet zal instorten als de stenen in de verkeerde volgorde zijn gestapeld. Het echte gevaar is niet alleen een slechte stap; het is een hele reis die er bij elke tussenstop veilig uitziet, maar eindigt in een rampgebied.
Dit artikel, geschreven voor een topbijeenkomst van AI-leiders, dient als een routekaart voor het beveiligen van deze digitale agenten. De auteurs, een team van computerwetenschappers, stellen dat we moeten stoppen met beveiliging te zien als een eenvoudige "checklist" voor individuele acties en moeten gaan kijken naar de "trajectorie"—het volledige pad dat de agent aflegt van begin tot eind. Ze breken het probleem af in verschillende lagen, van hoe een agent dingen onthoudt tot hoe hij met andere agenten communiceert.
Eerst kijken ze naar de "Single-Agent Surface". Stel je een agent voor als een detective die aanwijzingen (prompts) leest, eerdere zaken onthoudt (geheugen) en hulpmiddelen gebruikt zoals een vergrootglas of een database. Het artikel waarschuwt dat kwaadwillenden "vergiftigde" aanwijzingen kunnen binnensluizen. Een hacker zou bijvoorbeeld een geheime instructie kunnen verstoppen in een onschuldig ogende e-mail of een webpagina. De agent kan dit lezen, denken dat het een normaal onderdeel van het verhaal is, en vervolgens de opdracht uitvoeren om gegevens te stelen. Nog erger is dat als het "geheugen" van de agent wordt vergiftigd, hij maanden of jaren later nog steeds in staat kan zijn om verkeerde beslissingen te nemen, lang nadat de initiële truc is uitgevoerd. Vergelijkbaar daarmee kunnen de hulpmiddelen die de agent gebruikt worden vervangen door kwaadaardige versies, zoals een monteur die een moersleutel vervangt door een neppe die de motor laat breken.
Vervolgens verkent het artikel de "Inter-Agent Surface", wat lijkt op een digitaal dorpsplein waar deze agenten elkaar ontmoeten en taken verhandelen. Ze gebruiken een protocol genaamd A2A (Agent-to-Agent) om met elkaar te communiceren. De auteurs wijzen erop dat dit dorpsplein momenteel erg losjes qua regels is. Een agent zou zich als iemand anders kunnen voordoen, of een groep agenten zou (per ongeluk of met opzet) kunnen samenwerken om middelen uit te putten, wat leidt tot een "denial-of-wallet" aanval waarbij ze al het geld uitgeven, simpelweg door met elkaar te praten. Het is als een groep vrienden die afspreekt om een pizza te kopen, maar ze blijven steeds meer bestellen totdat de creditcard maximaal is gebruikt, en niemand de fout opmerkt totdat het te laat is.
Vervolgens is er de "Model Routing" laag, de verkeerstoren die beslist welke hersenen (welk AI-model) een specifieke taak moet afhandelen. Het artikel suggereert dat hackers de verkeerstoren kunnen misleiden om een gevaarig verzoek naar een "dommer" of minder veilig AI-model te sturen, enkel om geld te besparen of veiligheidscontroles te omzeilen. Het is als een bewaker bij een museum die wordt misleid om een dief de VIP-ruimte in te laten omdat de bewaker te horen kreeg dat hij voor die specifieke gang een goedkopere, minder getrainde beveiligingscamera moest gebruiken.
Het meest cruciale deel van het artikel gaat over "Behavioral Trajectory Containment". Dit is het idee dat een agent duizend dingen kan doen die op zichzelf allemaal volkomen legaal zijn, maar wanneer je ze in een specifieke volgorde plaatst, een belangrijke regel overtreden. Stel je een robot in een ziekenhuis voor die patiënten mag ontslaan. Als hij één patiënt ontslaat, is dat prima. Als hij tien patiënten ontslaat, is dat ook prima. Maar als hij er vijftig ontslaat in een uur omdat hij in de war is geraakt door een patroon, kan hij een veiligheidsregel schenden over hoeveel patiënten er tegelijkertijd mogen vertrekken. Het artikel stelt dat huidige beveiligingsinstrumenten alleen de individuele stappen controleren, niet het hele verhaal. We hebben een manier nodig om de hele film te bekijken, niet alleen de losse frames.
Ten slotte raakt het artikel aan de "Supply Chain" en "Accountability". Net zoals een auto wordt gemaakt van onderdelen uit veel verschillende fabrieken, wordt een AI-agent gebouwd uit modellen, hulpmiddelen en instructies van vele verschillende bronnen. Als een van die onderdelen nep is of later wordt gehackt, is de hele agent gecompromitteerd. De auteurs zeggen dat we elk onderdeel moeten volgen, zoals een digitaal bonnetje voor alles wat de agent gebruikt. Ze benadrukken ook dat wanneer er iets misgaat, we in de "black box" moeten kunnen kijken om precies te zien wat de agent heeft gedaan, wie hem dat heeft verteld en waarom.
Kortom, het artikel biedt geen magische oplossing die vandaag alles oplost. In plaats daarvan suggereert het dat de manier waarop we over AI-beveiliging denken verouderd is. We kunnen niet alleen gaten dichtstoppen; we moeten het hele systeem herontwerpen om te garanderen dat de volledige reis van een AI-agent veilig, betrouwbaar en onder controle blijft. Het is een oproep om over te stappen van het controleren van individuele stappen naar het garanderen van de veiligheid van het hele pad.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.