Mastyf Guard 1.5B: Cognitive Harvard Architectures for Sub-Millisecond AI Agent Perimeter Defense and Capability-Based Access Control

Stel je een wereld voor waarin computers de mogelijkheid krijgen om zelfstandig te handelen, niet alleen om vragen te beantwoorden, maar om taken uit te voeren zoals het versturen van e-mails, het beheren van databases of het besturen van smart home-apparaten. Deze autonome agenten zijn krachtig, maar ze worden geconfronteerd met een fundamenteel beveiligingsprobleem dat geworteld is in de manier waarop ze zijn gebouwd. Decennialang hebben computersystemen gewerkt volgens een ontwerp waarbij de instructies die de machine vertellen wat hij moet doen en de data die de machine verwerkt, zich in dezelfde geheugenruimte bevinden. Deze opstelling, hoewel flexibel, creëert een kwetsbaarheid: als een kwaadwillende actor een verborgen instructie in de datastroom kan glippen, kan de computer deze data aanzien voor een commando en het opvolgen. In het domein van kunstmatige intelligentie is dit gebrek in een nieuwe vorm teruggekeerd. Omdat deze AI-agenten hun eigen instructies en de onbetrouwbare informatie die ze van het internet verzamelen, allemaal tegelijkertijd lezen, kunnen ze worden misleid. Een aanvaller kan een commando verbergen in een onschuldig ogende productrecensie of een e-mail, en de AI, die niet in staat is om onderscheid te maken tussen de veilige data en de verborgen opdracht, kan die opdracht vervolgens opvolgen en acties uitvoeren waarvoor hij nooit bedoeld was, zoals het verwijderen van bestanden of het stelen van wachtwoorden.

Een onderzoeker bij Mastyf AI Research Laboratory in Kolkata, India, heeft een oplossing voorgesteld voor dit specifieke probleem, genaamd de "Cognitive Harvard Architecture". Hun werk, gedetailleerd in een studie getiteld "Mastyf Guard 1.5B", introduceert een nieuwe manier om deze autonome agenten te beschermen. In plaats van de AI toe te staan om instructies en data vrij te mengen, heeft de onderzoeker een systeem ontworpen dat de twee fysiek scheidt. In deze nieuwe opstelling mag de AI onbetrouwbare informatie lezen en nadenken over wat hij moet doen, maar hij kan niet daadwerkelijk zelfstandig een actie uitvoeren. Voordat de AI een taak kan uitvoeren, zoals het openen van een bestand of het versturen van een bericht, moet zijn verzoek door een strikte beveiligingscontrole gaan. Deze controle fungeert als een poortwachter die de permissies van de agent controleert tegen een specifieke lijst van toegestane acties. Als het verzoek van een vertrouwde bron komt en overeenkomt met de permissies, gaat het erdoorheen. Als het verzoek probeert iets te doen dat buiten de reikwijdte valt, of als het lijkt op een verborgen commando vermomd als data, stopt de poortwachter het onmiddellijk. Deze aanpak is gebaseerd op een ouder concept uit computerhardware waarbij instructiegeheugen en datageheugen op aparte fysieke locaties worden gehouden om precies dit soort verwarring te voorkomen.

De onderzoeker bouwde een softwaretool genaamd Mastyf Guard om dit idee te testen. Ze trainden een gespecialiseerd AI-model, dat relatief klein en efficiënt is, om als deze beveiligingspoortwachter te fungeren. Om te zien of het werkte, onderwierpen ze het aan een rigoureuze test met vijftigduizend verschillende scenario's. De helft van deze scenario's bestond uit realistische voorbeelden van veilige developer-commando's, zoals het bijwerken van een database of het samenvoegen van code. De andere helft bestond uit zorgvuldig geconstrueerde aanvallen die ontworpen waren om een AI te misleiden om iets schadelijks te doen. Deze aanvallen bevatten verborgen instructies begraven in tekst, pogingen om beveiligingsfilters te omzeilen en verzoeken om gevoelige informatie te stelen. De resultaten waren opmerkelijk. Het Mastyf Guard-systeem identificeerde en blokkeerde succesvol 99,33% van de kwaadaardige pogingen. In contrast hiermee slaagden andere toonaangevende beveiligingstools uit die tijd er niet in om meer dan de helft van deze aanvallen te vangen. Het nieuwe systeem was niet alleen nauwkeuriger, maar ook ongelooflijk snel. Het kon een beveiligingsbeslissing nemen in minder dan vijf microseconden, een snelheid die het mogelijk maakte om op standaard computerprocessoren te draaien zonder de noodzaak van dure, gespecialiseerde grafische hardware.

De studie benadrukte ook waarom voorgaande methoden om AI te beschermen tekort waren geschoten. Veel bestaande beveiligingstools waren ontworpen om duidelijke dreigingen zoals haatzaaiende taal of geweld in chatgesprekken op te sporen. Ze waren niet gebouwd om te herkennen wanneer een beleefde zin een verborgen commando bevatte om een server te verwijderen of een deur te ontgrendelen. Omdat deze oudere tools zochten naar slechte woorden in plaats van gevaarlijke acties, lieten ze geavanceerde aanvallen er zo doorheen glippen. Het Mastyf Guard-systeem kijkt echter niet alleen naar slechte woorden; het controleert de context en de permissies. Het begrijpt dat zelfs een volkomen beleefde zin gevaarlijk kan zijn als het probeert een tool te gebruiken waar de agent geen toestemming voor heeft. Door een strikte regel af te dwingen dat een agent alleen tools mag gebruiken waarvoor hij expliciete toestemming heeft, voorkomt het systeem dat de AI wordt misleid tot een "confused deputy" – een term die wordt gebruikt voor een vertrouwd programma dat door een aanvaller wordt misleid om iets schadelijks te doen.

Ondanks het succes was de onderzoeker voorzichtig om de beperkingen van hun werk te vermelden. Het systeem is zeer effectief in het stoppen van aanvallen die proberen de agent te laten een tool te gebruiken waar hij geen toegang toe zou moeten hebben. Echter, als een aanvaller erin slaagt de agent te misleiden om de details van een tool te veranderen die hij al wel mag gebruiken, vertrouwt het systeem op het vermogen van de AI om het subtiele verschil in betekenis te herkennen. In deze specifieke gevallen ving het systeem ongeveer 78,5% van de dreigingen op, wat nog steeds sterk is maar niet perfect. De onderzoeker benadrukte ook dat hun oplossing is ontworpen om lichtgewicht en betaalbaar te zijn. Omdat het efficiënt draait op standaard computergeheugen, vereist het niet de enorme hoeveelheden elektriciteit en dure hardware die grotere AI-modellen nodig hebben. Dit maakt het mogelijk voor bedrijven om hun autonome agenten te beveiligen zonder een enorme financiële last.

De bevindingen suggereren dat de manier waarop we veilige AI-systemen bouwen, moet veranderen. In plaats van te vertrouwen op het feit dat de AI slim genoeg is om te weten wat veilig is, moet de architectuur zelf de veiligheid afdwingen. Door het denkgedeelte van de AI te scheiden van het actiegedeelte en een strikte, op permissies gebaseerde poort tussen hen te plaatsen, heeft de onderzoeker een systeem gecreëerd dat zowel sneller als veiliger is dan de huidige alternatieven. De studie biedt een duidelijk pad vooruit voor het bouwen van autonome agenten die in de echte wereld kunnen opereren zonder constant het risico op een ramp te lopen. Het demonstreert dat door fundamentele principes van computerarchitectuur toe te passen op de nieuwe uitdagingen van kunstmatige intelligentie, het mogelijk is om een verdediging te creëren die zowel wiskundig solide als praktisch effectief is. Het werk vormt een belangrijke stap naar het veilig en betrouwbaar maken van autonome agenten als onderdeel van onze digitale infrastructuur, en bewijst dat beveiliging niet ten koste hoeft te gaan van snelheid of efficiëntie.