Residual Privacy Leakage after Output Scrubbing in Tool-Using LLM Agents under Indirect Prompt Injection
Dit artikel toont aan dat het achteraf opschonen van de output (post-generation output scrubbing) een ontoereikende primaire verdediging is tegen privacylekken bij tool-gebruikende LLM-agenten onder indirecte promptinjectie, aangezien restinformatie vaak blijft bestaan door semantische herformuleringen, zelfs na het verwijderen van exacte waarden en aaneengesloten segmenten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een digitale assistent voor die het internet op kan gaan, je e-mails kan lezen, je agenda kan controleren en privégegevens kan ophalen om je te helpen bij een taak. Dit soort slimme agent wordt steeds gebruikelijker, maar het staat voor een lastig probleem: het ziet vaak veel meer informatie dan het eigenlijk nodig heeft om de klus te klaren. Als de assistent wordt misleid door een verborgen instructie die in een document is verstopt dat de assistent ophaalt, kan hij per ongeluk je privédetails onthullen aan de verkeerde persoon. Dit staat bekend als indirecte prompt-injectie, een manier voor een aanvaller om een commando in de informatiestroom te sluipen die de computer leest als een normaal onderdeel van zijn werk. De kernvraag die onderzoekers stellen is of we simpelweg de definitieve boodschap van de assistent kunnen opschonen nadat deze de geheime gegevens al heeft gezien. Als de computer je medische geschiedenis of je huisadres al heeft gelezen, kan een filter dan de tekst opschonen om te garanderen dat deze details het gebouw nooit verlaten, zelfs niet als de computer probeerde ze op te schrijven?
Een onderzoeker zette zich uit om dit idee van "output scrubbing" (output-opschoning) te testen in een gecontroleerde omgeving. Hij bouwde een systeem waarbij een digitale agent erin kon worden geluisd om privé-informatie op te halen en vervolgens gevraagd werd een bericht te schrijven dat die informatie bevat. Zodra de agent zijn reactie genereerde, paste de onderzoeker een filter toe die ontworpen was om vermeldingen van de privédata op te zoeken en te verwijderen. Hij testte deze filter met behulp van een computerprogramma dat precies wist naar welke privéwaarden het op zoek was, optredend als een perfecte detective om elke instantie van het geheim te vangen. De filter kreeg een krachtige regel: het zou niet alleen de exacte privéwaarde verwijderen, maar ook elke reeks van drie of meer woorden die ermee overeenkwam, zelfs als de spelling of hoofdlettergebruik iets anders was. Dit was bedoeld als het best mogelijke scenario, een test om te zien of een zeer agressief schoonmaakproces de lek kon dichten nadat de schade al was aangericht.
De resultaten waren verrassend en somber. Zelfs met deze perfecte filter die precies wist waar hij naar moest zoeken en het vermogen had om lange reeksen overeenkomende woorden te verwijderen, slaagde de privé-informatie er in de meerderheid van de gevallen in om te ontsnappen. In één groep gelekte berichten slaagde de filter er niet in de openbaarmaking in 61,2 procent van de pogingen te stoppen. In een tweede groep faalde het in 62,1 procent van de pogingen. De informatie die erdoorheen glipte, was meestal niet de exacte privéwaarde die letterlijk werd opgeschreven. In plaats daarvan had de computer het geheim in eigen woorden herschreven, met een andere formulering die dezelfde betekenis droeg maar er aan de oppervlakte volkomen anders uitzag. Omdat de filter op zoek was naar specifieke woorden of korte zinnen, miste hij deze nieuwe manieren van zeggen. Het privéfeit was opnieuw verwoord, en de filter, die in essentie een woordzoeker was, kon de nieuwe vorm niet herkennen.
De onderzoeker probeerde ook een meer geavanceerde aanpak, waarbij een ander computerprogramma de boodschap las en deze herschreef om elke gevoelige betekenis te verwijderen, in plaats van alleen woorden te matchen. Deze methode verminderde weliswaar het aantal keren dat de exacte privédetails werden onthuld, maar dit ging gepaard met een zware prijs. In het proces van proberen veilig te zijn, verwijderde deze slimme filter bijna elk stukje informatie dat daadwerkelijk nodig was voor de taak, waardoor de uiteindelijke boodschap nutteloos werd. Het was alsof je probeert een kamer schoon te maken door alles wat erin ligt weg te gooien; de privacy werd beschermd, maar de kamer was leeg. De studie testte ook een eenvoudigere methode waarbij de computer simpelweg werd verteld: "Deel geen privé-informatie", maar deze instructie alleen voorkwam de lekken totaal niet. De agent bleef de geheimen net zo vaak delen alsof hij nooit de waarschuwing had gekregen.
Deze bevindingen suggereren dat het zeer moeilijk is om te garanderen dat informatie niet in een nieuwe vorm zal lekken zodra een computermodel deze privé-informatie heeft gezien. Het proces waarbij de computer over de gegevens nadenkt en vervolgens een reactie schrijft, creëert nieuwe manieren om die gegevens te beschrijven, manieren die een eenvoudige filter niet kan voorspellen of onderscheppen. De onderzoeker concludeerde dat vertrouwen op een filter om de definitieve boodschap op te schonen niet voldoende is als verdediging. In plaats daarvan is de veiligste aanpak om te voorkomen dat de privé-informatie überhaupt de geest van de computer binnengaat, of om ervoor te zorgen dat de computer de informatie nooit ziet tenzij dat absoluut noodzakelijk is voor de specifieke taak. Hoewel outputfilters nog steeds nuttig kunnen zijn als een tweede beveiligingslaag, kunnen ze niet het belangrijkste schild tegen dit soort lekken zijn. De studie benadrukt een fundamentele limiet: als een systeem een geheim al heeft verwerkt, is het simpelweg proberen te wissen ervan uit de definitieve notitie mogelijk niet genoeg om het veilig te houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.