ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents
ClawSentry is een open-source, framework-agnostische security gateway die progressieve risico's in autonome LLM-agenten mitigeert door een meerlagig, progressief beoordelingssysteem te implementeren over de fasen van vaardigheidstoelating, aanroeping, uitvoering en post-actie, waardoor de succesratio van aanvallen aanzienlijk wordt verlaagd terwijl een hoge doorvoer voor legitieme taken behouden blijft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers niet langer alleen vragen beantwoorden, maar ook zelfstandig dingen gaan doen. Ze kunnen code schrijven, bestanden op je harde schijf openen en berichten naar andere diensten sturen om een taak te voltooien. Dit worden autonome agenten genoemd, en ze vertegenwoordigen een sprong van passieve hulpmiddelen naar actieve werkers. Deze nieuwe vaardigheid brengt echter een nieuw soort gevaar met zich mee. Als een werker wordt misleid om een kwaadaardig gereedschap op te pakken, of als er een verborgen instructie in een document wordt geslopen dat ze lezen, kan de computer worden gedwongen om geheimen te stelen, belangrijke gegevens te verwijderen of zijn invloed uit te breiden naar andere systemen. Het risico is niet slechts een enkele fout; het is een kettingreactie waarbij één slechte beslissing kan leiden tot een cascade van schade. De kernuitdaging voor veiligheidsexperts is dat deze aanvallen slim en veranderlijk zijn. Een slechte instructie kan verborgen zijn in een bestand, vermomd als een normaal verzoek, of opgedeeld zijn in kleine, onschuldig lijkende stappen die pas gevaarlijk worden wanneer ze worden samengevoegd.
Onderzoekers van het Shanghai Artificial Intelligence Laboratory hebben een nieuw systeem ontwikkeld om deze aanvallen te stoppen voordat ze schade aanrichten. Ze noemen het ClawSentry. In plaats van te proberen elke slechte beweging te vangen nadat deze heeft plaatsgevonden, fungeert dit systeem als een poortwachter die de gehele levenscyclus van het werk van een computeragent in de gaten houdt. De onderzoekers realiseerden zich dat gevaar op vier verschillende stadia kan binnendringen: wanneer een nieuw hulpmiddel voor het eerst wordt geïntroduceerd, wanneer de agent besluit het te gebruiken, terwijl het hulpmiddel daadwerkelijk draait, en nadat het hulpmiddel zijn taak heeft voltooid en resultaten heeft geproduceerd. Eerdere veiligheidsmethoden keken meestal slechts naar één van deze stadia, zoals het controleren van de woorden die een gebruiker typt of het observeren van de code die een computer uitvoert. Het team kwam tot de conclusie dat dit niet voldoende was, omdat een kwaadwillende actor simpelweg opnieuw kon proberen het via een andere weg, door een ander hulpmiddel te gebruiken of de aanvraag anders te formul建模, om een enkel controlepunt te omzeilen.
Om dit op te lossen, bouwden de onderzoekers een framework dat tussen de computeragent en de buitenwereld staat en alles in de gaten houdt wat de agent probeert te doen. Ze ontwierpen een systeem dat in lagen werkt, vergelijkbaar met een beveiligingsteam dat eerst de ID van een bezoeker controleert, vervolgens het gedrag observeert en tot slot het resultaat van het bezoek beoordeelt. De eerste verdedigingslinie vindt plaats voordat een nieuw hulpmiddel ooit wordt gebruikt. Het systeem leest het volledige pakket code voor dat hulpmiddel om op verborgen gevaren te zoeken. Als de code verdacht lijkt, wordt het hulpmiddel onmiddellijk geblokkeerd. Dit voorkomt dat de agent überhaupt een gevaarlijk programma laadt. Als een hulpmiddel deze initiële controle passeert, houdt het systeem vervolgens elke actie die de agent onderneemt in de gaten. Het gebruikt een eenvoudige, snelle set regels om overduidelijke gevaren te vangen, zoals het proberen te verwijderen van een cruciaal systeembestand. Als de actie niet duidelijk gevaarlijk is, maar ook niet duidelijk veilig, escaleert het systeem de beslissing naar een geavanceerder computermodel dat de context en de intentie achter het verzoek kan begrijpen.
Een cruciaal onderdeel van dit systeem is het vermogen om te onthouden wat het al eerder heeft geblokkeerd. Als een agent probeert een bestand te stelen en wordt gestopt, legt het systeem dat specifieke doel vast. Als de agent later opnieuw probeert het via een ander hulpmiddel of door het verzoek in kleinere stappen op te delen, herkent het systeem dat het om hetzelfde slechte doel gaat in een nieuw jasje en stopt het opnieuw. Dit voorkomt dat de agent de verdediging uitput door vele verschillende benaderingen te proberen. Het systeem houdt ook in de gaten wat er gebeurt nadat een actie is voltooid. Soms verschijnt het gevaar pas in de resultaten die een hulpmiddel teruggeeft, zoals een bestand dat verborgen instructies bevat voor de volgende stap. Het systeem beoordeelt deze resultaten en kan een menselijke operator waarschuwen als er iets mis is gegaan, waardoor deze het proces kan stoppen voordat er meer schade wordt aangericht.
De onderzoekers testten dit systeem met verschillende soorten computeragenten en vonden het zeer effectief. In tests waarbij de agenten werden blootgesteld aan een grote verscheidenheid aan gevaarlijke hulpmiddelen en verborgen instructies, verminderde het systeem het succespercentage van aanvallen van bijna de helft van alle pogingen tot een zeer klein deel. Specifiek verlaagde het systeem het succespercentage van aanvallen van een bereik van 33,5% tot 49,7% naar tussen de 9,09% en 15,03% op een standaard set veiligheidstests. Tegelijkertijd hield het systeem de agenten niet tegen in hun normale, nuttige werk. Wanneer de agenten veilige taken kregen, waren ze nog steeds bijna altijd in staat om deze succesvol te voltooien, met een succespercentage van 98,7%. Dit toont aan dat het systeem een onderscheid kan maken tussen een oprechte fout en een kwaadaardige aanval zonder in de weg te zitten van nuttig werk.
De studie onderzocht ook hoe het systeem omgaat met verschillende typen computermodellen en vond dat de bescherming ongeacht welk specifiek kunstmatige intelligentie het denken doet, effectief is. De veiligheidsregels en het poortwachtersproces zijn gescheiden van de agent zelf, wat betekent dat hetzelfde beveiligingssysteem veel verschillende soorten agenten kan beschermen. De onderzoekers ontdekten ook dat de meest effectieve manier om een aanval te stoppen, het blokkeren van het gevaarlijke hulpmiddel is voordat de agent überhaupt de kans krijgt om het te gebruiken. Zodra een slecht hulpmiddel in het geheugen van de agent wordt geladen, wordt het veel moeilijker om de schade te stoppen, zelfs als het systeem erg goed is in het vangen van slechte acties op een later moment. Dit suggereert dat de beste verdediging is om strikt te zijn over welke hulpmiddelen in het systeem worden toegelaten.
Door een strikte initiële controle, een meerlagige beoordeling van elke actie en een geheugen van eerdere pogingen te combineren, creëert dit nieuwe systeem een veel veiligere omgeving voor autonome computers. Het adresseert de realiteit dat aanvallen geen eenmalige gebeurtenissen zijn, maar voortdurende pogingen om een weg door de verdediging te vinden. De resultaten suggereren dat we, met het juiste toezicht, computers complexe taken kunnen laten uitvoeren zonder de controle op te geven aan kwaadwillende actoren. Het systeem vertrouwt niet op één enkele truc of een perfect model; in plaats daarvan gebruikt het een gestructureerde aanpak die dreigingen op meerdere punten vangt, wat ervoor zorgt dat zelfs als één laag wordt omzeild, een andere klaar staat om het gevaar te stoppen. Dit werk biedt een praktisch blauwdruk voor hoe we krachtige, onafhankelijke computeragenten veilig kunnen integreren in ons dagelijks leven en werkomgevingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.