Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection

Stel je voor dat je een robotbutler leert koken. Je geeft het een recept, maar de robot moet ook het nieuws lezen, het weer controleren en radioreportages beluisteren terwijl hij aan het werk is. Dit is hoe moderne AI-agenten werken: ze gebruiken "tools" om met de echte wereld te communiceren, zoals het browsen op het web of het controleren van databases. Maar hier zit de adder onder het gras: als een sluwe hacker een geheim briefje verstopt in een van die nieuwsartikelen of radioreportages, kan de robot in de war raken. In plaats van het recept af te maken, besluit hij plotseling je bestanden te verwijderen of geld naar een vreemde over te maken. Deze truc wordt "Indirect Prompt Injection" genoemd. Het is alsof een goochelaar een vals instructiebriefje in de zak van een toeschouwer glipt; de robot leest het, denkt dat het deel uitmaakt van de show, en voert de verkeerde bevelen uit.

Lamaag de tijd dat hackers die probeerden deze robots te misleiden een spelletje van "raden en controleren" moesten spelen. Ze zouden een trucje proberen, zien of de robot erin trapte, en hun trucje vervolgens aanpassen op basis van wat de robot deed. Maar in de echte wereld heeft een hacker vaak slechts één kans om een briefje in het pad van de robot te glippen. Hij kan niet wachten om te zien hoe de robot reageerde; hij moet het de eerste keer goed krijgen. De grote vraag die onderzoekers stelden was: Kan een hacker leren van eerdere mislukkingen en successen om een "meestertruc" te creëren die werkt op een gloednieuwe robot die hij nog nooit heeft ontmoet, met slechts één poging?

Maak kennis met SAVOR, een nieuwe methode die werkt als een meesterkok die leert van een bibliotheek vol culinaire rampen en triomfen. In plaats van te proberen een specifieke robot in realtime te misleiden, besteedt SAVOR offline tijd aan het bestuderen van duizenden eerdere pogingen waarbij hackers probeerden verschillende robots te kapen. Het kijkt naar wat werkte en, nog belangrijker, wat niet werkte. Het vraagt zichzelf af: "Waarom faalde die truc?" en "Waarom slaagde deze wel?". Door over deze uitkomsten te reflecteren, destilleert SAVOR de rommelige details van specifieke trucs tot een paar gouden regels, of "strategieën". Het is als een student die stopt met het memoriseren van specifieke wiskundeproblemen en in plaats daarvan de onderliggende logica van algebra leert.

Zodra SAVOR deze "strategiebibliotheek" heeft opgebouwd, bevriest het deze. Wanneer het een gloednieuwe, onbekende robot tegenkomt, heeft het geen hulp nodig of een tweede poging. Het trekt simpelweg de beste strategie uit de bevroren bibliotheek, maakt een enkel, perfect kwaadaardig briefje en glipt het erin. Het artikel laat zien dat deze aanpak ongelooflijk effectief is. In tests slaagde SAVOR er veel vaker in om robots te misleiden dan eerdere methoden, zelfs wanneer de robots sterke verdedigingen hadden of totaal anders waren dan de robots waarop SAVOR getraind was. Het werkte niet alleen in gesimuleerde tests; het werkte ook in een realistischere omgeving waar de robot daadwerkelijk handelingen moest uitvoeren, wat bewees dat deze "one-shot" trucs echt het gedrag van een robot kunnen veranderen. De onderzoekers ontdekten dat SAVOR kon leren van één set tools en succesvol een totaal andere set tools kon aanvallen, waardoor het zijn "hacker-intuïtie" effectief kon overdragen naar nieuwe situaties zonder dat daar een tweede kans voor nodig was.