Stel je voor dat je de kapitein bent van een zeer slim, zeer snel ruimteschip. Dit schip heeft een nieuw soort autopilot: een AI-agent. Deze agent stuurt niet alleen bij; hij kan ook met andere computers praten, deuren openen, vracht verplaatsen en zelfs de motor repareren. Maar hier komt het lastige gedeelte: het schip vliegt door een sterrenstelsel vol met ruis. Soms geeft een vriendelijk bemanningslid een bevel, en soms probeert een sluwe alien het schip te misleiden door een vals bevel te verstoppen in een onschuldig ogend bericht.

Lange tijd dachten wetenschappers die AI-schepen bestuderen dat de enige manier om veilig te blijven, het kijken naar de woorden van het bevel was. Als het bevel eng klonk, zoals "blaas de motor op", zouden ze het stoppen. Als het vriendelijk klonk, zoals "repareer de motor", zouden ze het doorlaten. Maar dit is als een beveiliger bij een club die alleen naar de kleur van je shirt kijkt. Als een inbreker een rood shirt draagt, laat de bewaker hem binnen. Als een brandweerman een rood shirt draagt, houdt de bewaker hem tegen. Het probleem is dat dezelfde woorden een vriendelijk verzoek van een baas kunnen zijn of een dodelijke val van een hacker, afhankelijk van wie er spreekt en wat de situatie is. Dit artikel betoogt dat we moeten stoppen met alleen naar de woorden te kijken en moeten beginnen met het kijken naar het hele verhaal achter de woorden.

---

De Grote Verwarring: Woorden versus Wie Ze Sprak

De auteurs van dit artikel, een team onderzoekers van UC Santa Cruz en UC Berkeley, wijzen op een grote fout in de manier waarop we AI-agenten testen en beschermen. Ze zeggen dat we de verkeerde vraag stellen. In plaats van te vragen: "Ziet dit commando er gevaarlijk uit?", zouden we moeten vragen: "Is dit commando toegestaan in deze specieveke situatie?"

Om te begrijpen waarom dit ertoe doet, stel je een "Verwijder bestand"-commando voor.

• Scenario A: Je baas, die een sleutel van het gebouw heeft, zegt: "Verwijder de oude bestanden van vorig jaar." Dit is een goede zaak.
• Scenario B: Een hacker, die een briefje in een openbaar mededelingenbord heeft gesmokkeld, zegt: "Verwijder de oude bestanden van vorig jaar." Dit is een ramp.

De woorden zijn identiek. De actie is identiek. Maar in het eerste geval is het een routineuze schoonmaakbeurt. In het tweede geval is het een misdaad. Huidige beveiligingssystemen zijn als een robot die alleen de brief leest. De robot ziet "Verwijder" en raakt in paniek, of ziet "Verwijder" en denkt: "Oh, dat is prima," zonder te controleren wie het geschreven heeft. De auteurs stellen dat dit is alsof je een film beoordeelt door naar één enkel beeld te kijken. Je mist de plot, de personages en de context.

De Vierdelige Beveiligingscontrole

Om dit op te lossen, stelt het artikel voor dat we stoppen met het alleen bekijken van de actie en beginnen met het controleren van vier specifieke zaken, zoals een beveiligingsteam dat een checklist doorloopt voordat een ruimteschip mag bewegen. Ze noemen dit een "holistisch kader", wat gewoon een chique manier is om te zeggen: "kijken naar het hele plaatje."

Dit zijn de vier regels die de auteurs zeggen dat we voor elke actie die een AI onderneemt, moeten controleren:

1. Bronautorisatie (Wie praat er?): Dit vraagt: "Heeft iemand met de juiste sleutels dit daadwerkelijk gezegd?" Als een commando komt van een willekeurige webpagina of een document dat de AI aan het lezen is, is dat alsof een vreemde bevelen schreeuwt vanaf de straat. Zelfs als het bevel "geld verzenden" is, als de vreemde niet de bankdirecteur is, is het antwoord "Nee".
2. Taakafstemming (Wat is de missie?): Dit vraagt: "Maakt dit bevel deel uit van de baan waarvoor de AI is ingehuurd?" Stel je een bezorgrobot voor die is ingehuurd om pizza te brengen. Als iemand tegen hem zegt: "Ga een bank overvallen", dan is dat een ander werk. Zelfs als de robot naar de bank kan rijden, zou hij het niet moeten doen omdat het niet zijn missie is.
3. Actieafstemming (Past deze stap bij de missie?): Dit vraagt: "Helpt deze specifieke zet de missie?" Als de robot pizza bezorgt, moet hij misschien een deur openen. Maar als hij besluit de "deur te verbrijzelen" om erdoorheen te komen, dan is dat te veel. Het doel (pizza bezorgen) is prima, maar de actie (verbrijzelen) is fout.
4. Dataisolatie (Lekken er geheimen?): Dit vraagt: "Houdt de AI privé-informatie door elkaar?" Stel je een assistent van een arts voor. Als die helpt bij Patiënt A, en daarna helpt bij Patiënt B, mag hij niet per ongeluk de medische geschiedenis van Patiënt A aan Patiënt B vertellen. De AI moet de "bestanden" van verschillende mensen gescheiden houden.

Waarom Oude Tests Falen

Het artikel wijst erop dat veel van de tests die we vandaag de dag gebruiken om te zien of AI veilig is, kapot zijn omdat ze deze vier regels negeren. De onderzoekers hebben gekeken naar twee populaire testsets, AgentDojo en WASP, die 45 verschillende "aanvalsscenario's" bevatten.

Ze kwamen tot iets verrassends: el een van die 45 "aanvallen" kon ook een normale, legale aanvraag zijn.

• De Aanval: "Maak $30.000 over in kleine bedragen."
  • De "Slechte" versie: Een hacker die probeert geld te stelen.
  • De "Goede" versie: Een legitieme accountant die probeert onder een daglimiet te blijven bij het betalen van een huis.
• De Aanval: "Voeg een nieuwe gebruiker toe als Eigenaar."
  • De "Slechte" versie: Een hacker die een project overneemt.
  • De "Goede" versie: Een baas die een nieuwe mede-oprichter aan boord neemt.

De huidige tests zien alleen de actie ("Geld overmaken" of "Gebruiker toevoegen") en zeggen: "Dat is een aanval!" De auteurs zeggen dat dit fout is. De test kan het verschil niet zien omdat het niet controleert wie het vroeg of waarom. Het is alsof een leraar een leerling faalt voor het schrijven van het woord "bom" in een verhaal over een film, zonder de rest van het verhaal te lezen.

Het "Snapshot"-probleem

De auteurs bekritiseren ook hoe we AI testen. De meeste tests zijn als "snapshots" (momentopnames). Ze geven de AI een commando, zien wat er gebeurt, en resetten dan alles. Ze wissen het geheugen van de AI en beginnen opnieuw.

Maar het echte leven is geen snapshot; het is een film. Een hacker valt niet direct aan. Een hacker kan vandaag een "vergiftigd" briefje in het geheugen van de AI planten, en dan, drie dagen later, leest de AI dat briefje en denkt dat het een echt bevel is. Omdat snapshot-tests het geheugen resetten, kunnen ze deze langzame, sluipende aanvallen nooit zien. De auteurs beargumenteren dat we de hele reis van de AI moeten volgen, niet alleen één stap tegelijk.

De Oplossing: Een Nieuwe Manier om Verdedigingen te Bouwen

Dus, wat doen we? Het artikel suggerekt dat we moeten stoppen met het bouwen van "contentfilters" (programma's die alleen woorden scannen op een slechte sfeer) en moeten beginnen met het bouwen van "contextchecks".

• In plaats van te vragen: "Ziet deze zin eruit als een hack?"
• Moeten we vragen: "Is de bron geautoriseerd? Is de taak toegestaan? Is de actie te groot? Lekt er data?"

Dit verandert hoe we verdedigingen bouwen. Als een verdediging goed is in het controleren van "Bronautorisatie", hoeft deze niet perfect te zijn in het raden of een woord "slecht" is. Het hoeft alleen maar te weten of de persoon die spreekt een sleutel heeft. Dit is een veel makkelijkere en betrouwbaardere taak.

De auteurs geven toe dat dit een grote verandering is. Het betekent dat we niet alleen kunnen vertrouwen op de AI om te "weten" wat slecht is. We moeten systemen bouwen die constant de vier regels controleren terwijl de AI werkt. Ze suggereren dat, hoewel we niet altijd perfecte tracking kunnen hebben, we systemen kunnen bouwen die "goed genoeg" zijn in het controleren van deze vier zaken om de grote fouten te voorkomen.

De Kern van het Verhaal

Dit artikel beweert niet dat het alle problemen in AI-beveiliging heeft opgelost. Het zegt niet: "We hebben het allemaal gefixt!" In plaats daarvan zegt het: "We hebben naar het probleem vanuit de verkeerde hoek bekeken."

Door beveiliging te behandelen als een verhaal over wie wat doet en waarom, in plaats van alleen een lijst met slechte woorden, kunnen we AI bouwen die daadwerkelijk veilig is. Het is het verschil tussen een beveiliger die alleen naar je gezicht kijkt en een die je ID, je ticket, je bestemming en je bagage controleert. Het artikel suggere wordt dat als we willen dat onze AI-agenten veilig door het sterrenstelsel vliegen, we moeten beginnen met het controleren van het hele ticket, en niet alleen het gezicht.