In de wereld van moderne computing heeft een fundamentele regel systemen lang veilig gehouden: instructies die een machine vertellen wat hij moet doen, moeten gescheiden blijven van de gegevens die de machine verwerkt. Deze scheiding zorgt ervoor dat een gebruiker een computer niet per ongeluk of kwaadwillig kan misleiden om commando's uit te voeren waarvoor hij niet bedoeld was. Echter, de opkomst van autonome kunstmatige intelligentie-agenten heeft deze lijn vervaagd. Deze agenten, ontworpen om complexe taken uit te voeren zoals het beheren van databases of het besturen van slimme apparaten, lezen vaak instructies en onbetrouwbare gegevens van het internet allemaal tegelijkertijd, in een enkele tekststroom. Omdat de computer de gegevens en de instructies als onderdeel van dezelfde mengeling behandelt, kan een slimme aanvaller een verborgen commando verstoppen in een ogenschijnlijk onschuldige e-mail of webpagina. Wanneer de agent deze inhoud leest, kan hij onbedoeld het verborgen commando opvolgen, waarbij acties worden uitgevoerd zoals het verwijderen van bestanden of het stelen van wachtwoorden. Deze kwetsbaarheid, bekend als indirecte prompt injectie, verandert de agent in een verwarde plaatsvervanger die bevelen opvolgt die hij nooit bedoeld had te ontvangen.

Onderzoekers bij Mastyf AI Research Laboratories hebben een nieuwe manier voorgesteld om deze agenten te beschermen, waarbij ze afstappen van het idee dat de kunstmatige intelligentie zelf de uiteindelijke rechter over veiligheid kan zijn. In plaats van te vertrouwen op de AI om elke mogelijke truc te herkennen, heeft het team een beveiligingssysteem gebouwd dat fungeert als een strikte poortwachter voordat er een actie wordt ondernomen. Ze noemen dit systeem Mastyf Guard. Het werkt volgens een eenvoudig maar krachtig principe: de AI mag denken en redeneren, maar wordt gestript van de macht om op eigen houtje te handelen. Elke keer dat de AI een hulpmiddel suggereert om te gebruiken, zoals het verzenden van een e-mail of het openen van een server, controleert een aparte, onafhankelijke beveiligingsmonitor het verzoek. Deze monitor probeert niet de intentie van de AI te raden; in plaats daarvan controleert hij een digitale lijst met machtigingen, vergelijkbaar met een uitsmijter die een gastenlijst controleert bij een club. Als de gevraagde actie niet expliciet is toegestaan voor die specifieke sessie, wordt het verzoek onmiddellijk geblokkeerd, ongeacht hoe overtuigend de redenering van de AI ook mag zijn.

De onderzoekers testten deze aanpak tegen een enorme collectie van vijftig duizend scenario's, waarvan de helft realistische aanvallen waren die ontworpen waren om agenten te misleiden, en de andere helft normale, veilige operaties uitgevoerd door ontwikkelaars. De resultaten toonden aan dat hun systeem het overgrote deel van de aanvallen bijna onmiddellijk kon stoppen. In de snelste gevallen duurde de beveiligingscontrole slechts vijf duizendsten van een seconde, een snelheid die zo snel is dat deze bijna onmerkbaar is voor een menselijke gebruiker. Het systeem identificeerde en blokkeerde succesvol 99,33 procent van de aanvallen, een significante verbetering ten opzichte van bestaande beveiligingsinstrumenten die vaak meer dan de helft van deze subtiele trucs missen. Cruciaal was dat het systeem dit deed zonder dure, krachtige computerchips nodig te hebben, en draaide efficiënt op standaard computerprocessoren met een geheugenvoetafdruk van slechts 1,1 gigabyte. Dit betekent dat de bescherming kan worden ingezet in alledaagse kantooromgevingen zonder dat er gespecialiseerde hardware voor nodig is.

Om te begrijpen hoe dit werkt, stel je de AI-agent voor als een zeer bekwame maar gemakkelijk afleidbare werknemer die een meestersleutel van het hele gebouw heeft gekregen. Als een vreemde een valse instructie in het oor van de werknemer fluistert, zou de werknemer die meestersleutel kunnen gebruiken om een deur te openen die hij niet mag openen. Het Mastyf Guard-systeem haalt de meestersleutel volledig uit de zak van de werknemer. In plaats daarvan moet de werknemer elke keer dat hij een deur wil openen, toestemming vragen aan een beveiligingsbeambte. De bewaker luistert niet naar het verhaal van de werknemer of probeert zijn toon te interpreteren; de bewaker controleert simpelweg een strikte lijst van welke deuren de werknemer op dat moment mag openen. Als het verzoek niet op de lijst staat, blijft de deur vergrendeld. Deze aanpak lost het probleem van de "verwarde plaatsvervanger" op door ervoor te zorgen dat zelfs als de AI wordt misleid om het verkeerde te vragen, het systeem dit simpelweg niet kan doen omdat het de autoriteit mist.

De onderzoekers pakten ook een subtieler probleem aan: wat gebeurt er wanneer de AI toestemming krijgt om een hulpmiddel te gebruiken, maar probeert de details van het verzoek te wijzigen om schade aan te richten? Bijvoorbeeld, een AI kan geautoriseerd zijn om een e-mail te verzenden, maar een aanvaller kan de AI misleiden om die e-mail naar een ander adres te sturen of met een andere onderwerptekst. Om dit te behanden, voegde het team een tweede laag van verdediging toe die fungeert als een zorgvuldige corrector. Deze laag controleert de specifieke details van het verzoek tegen de oorspronkelijke machtiging. Als de AI probeert geld over te maken naar een nieuw account of een bestand te openen waar het niet bij mag komen, vangt het systeem de wijziging op. In tests met drieduizend complexe zakelijke scenario's ving deze combinatie van strikte machtigingscontroles en gedetailleerde correctie 97,5 procent van de aanvallen, terwijl het een fout-positiefpercentage van nul procent behield, met een statistische bovengrens van 0,19% over 2.000 onschuldige bedrijfsoperaties. Het systeem was zo precies dat het in tweeduizend normale bedrijfsoperaties geen enkel vals alarm heeft gegeven.

Een van de meest significante bevindingen van het onderzoek is dat het systeem geen superintelligente AI nodig heeft om effectief te zijn. De onderzoekers ontdekten dat een klein, gespecialiseerd computerprogramma het overgrote deel van de beveiligingscontroles in microseconden kon afhandelen, waarbij het alleen een groter, complexer AI-model inroept wanneer een verzoek ambigu of verdacht was. Deze hybride aanpak houdt het systeem snel en goedkoop in gebruik. In het routinematige zakelijke verkeer was het complexe AI-model nooit nodig, waardoor het systeem kon opereren op de snelheid van de snelle, eenvoudige controles. Wanneer het systeem wel de grotere model moest oproepen om een lastig verzoek te onderzoeken, duurde dit ongeveer achttien milliseconden, wat nog steeds snel genoeg is voor de meeste realtime toepassingen. Dit ontwerp zorgt ervoor dat beveiliging niet ten koste gaat van snelheid of bruikbaarheid, waardoor bedrijven krachtige AI-agenten kunnen gebruiken zonder hun dagelijkse werkzaamheden te vertragen.

Het onderzoek verkende ook hoe te voorkomen dat gegevens uit het systeem lekken via een keten van geautoriseerde hulpmiddelen. Zelfs als een aanvaller de AI niet kan dwingen om een verboden hulpmiddel te gebruiken, kunnen zij proberen gevoelige informatie van het ene geautoriseerde hulpmiddel naar het andere te verplaatsen, om effectief gegevens naar buiten te smokkelen. Onder standaard capaciteitscontroles alleen, vonden de onderzoekers dat aanvallers in een aanzienlijk deel van de testgevallen gegevens konden exfiltreren door informatie tussen geautoriseerde hulpmiddelen te verplaatsen. Om dit te stoppen, implementeerden de onderzoekers een trackingsysteem dat de informatiestroom volgt, vergelijkbaar met hoe een bank de beweging van contant geld volgt om te zorgen dat het niet verdwijnt. Dit systeem markeert gevoelige gegevens, zoals wachtwoorden of financiële records, en zorgt ervoor dat deze gegevens alleen naar bestemmingen kunnen gaan die expliciet zijn vrijgegeven om deze te ontvangen. In tests met meer dan duizend pogingen om gegevens te stelen met deze specifieke trackingmethode, blokkeerde het systeem elke enkele poging, waardoor werd gegarandeerd dat gevoelige informatie niet naar een ongeautoriseerde locatie kon bewegen.

Hoewel het systeem een opmerkelijk succes liet zien, waren de onderzoekers voorzichtig om de grenzen ervan te benoemen. De beveiligingsgaranties rusten op de aanname dat de beveiligingsmonitor zelf op een vertrouwde computer draait en niet is gehackt. Als de monitor gecompromitteerd is, faalt het hele systeem. Daarnaast, hoewel het systeem uitstekend is in het stoppen van aanvallen die proberen hulpmiddelen op ongeautoriseerde manieren te gebruiken, is het niet perfect in het vangen van elke mogelijke variatie van een truc, met name die die complexe, meerstaps manoeuvres omvatten die ontworpen zijn om het systeem te verwarren. De onderzoekers identificeerden een klein aantal gevallen waarin hun systeem werd omzeild, voornamelijk waarbij zeer specifieke financiële trucs of domeinnaam-vermommingen betrokken waren, en ze hebben al updates voorgesteld om deze hiaten te dichten. Ze beschrijven hun werk als een pre-productie architectuur, wat betekent dat het klaar is voor testen in echte omgevingen, maar nog verdere validatie door onafhankelijke experts vereist voordat het als een definitief, commercieel product kan worden beschouwd.

De implicaties van dit werk reiken verder dan alleen het veiliger maken van AI; het verandert hoe we denken over het bouwen van intelligente systemen. Door de AI te behanden als een potentieel onbetrouwbaar onderdeel dat constant gesuperviseerd moet worden, in plaats van een betrouwbare partner die erop kan vertrouwen zichzelf te controleren, hebben de onderzoekers een framework gecreëerd dat veel moeilijker te breken is. Deze verschuiving in perspectief maakt het mogelijk om krachtige, autonome agenten te gebruiken in gevoelige omgevingen zoals ziekenhuizen, banken en overheidsinstellingen, waar de kosten van een fout hoog zijn. Het systeem bewijst dat hoge beveiliging geen offer van snelheid vereist of de noodzaak van dure hardware, wat het een praktische oplossing maakt voor de toekomst van kunstmatige intelligentie. Naarmate deze agenten gebruikelijker worden in ons dagelijks leven, zal het vermogen om het denken van het handelen te scheiden, en om strikte regels af te dwingen over welke acties zijn toegestaan, essentieel zijn om onze digitale wereld veilig te houden.

De onderzoekers hebben hun tools en gegevens beschikbaar gesteld aan het publiek, waardoor andere wetenschappers hun werk kunnen testen en verbeteren. Ze hebben de code voor de beveiligingsmonitor en de getrainde AI-modellen vrijgegeven, en nodigen de wereldwijde gemeenschap uit om zwakheden te vinden en verbeteringen voor te stellen. Deze openheid is een cruciaal onderdeel van het wetenschappelijke proces, wat ervoor zorgt dat het systeem niet alleen een theoretisch idee is, maar een praktisch instrument dat kan worden gecontroleerd en verfijnd. De studie concludeert dat door strikte, deterministische regels te combineren met slimme, flexibele controles, het mogelijk is om een veilige omgeving voor autonome agenten te bouwen. De weg vooruit houdt in om deze systemen voortdurend te testen in real-world scenario's, de regels te verfijnen om nieuwe soorten trucs te vangen, en ervoor te zorgen dat de technologie robuust blijft naarmate de dreigingen evolueren. Het werk vertegenwoordigt een belangrijke stap naar het veilig en betrouwbaar werkelijkheid maken van de belofte van autonome AI voor iedereen.