Labelled-Metadata Channels and Declarative Payload Phrasing in Hidden Prompt Injection: A Cross-Format Measurement Study
Dit artikel presenteert een cross-format meetstudie die aantoont dat kwetsbaarheden voor indirecte prompt injection vaak voortkomen uit extractie-pipelines die er niet in slagen verborgen payloads in metadata, binaire headers en gestructureerde velden over diverse bestandsformaten heen te saneren, in plaats van uit de interpretatie van de inhoud door de LLM's zelf.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een verzegelde brief overhandigt aan een zeer slimme, zeer enthousiaste robotassistent. Je doel is om de robot de brief te laten lezen en samen te vatten wat erin staat. Maar wat als de brief een geheim briefje bevat dat verborgen zit in de inkt, of geschreven staat op het retouradres van de envelop, of verstopt zit in een verborgen zakje? Dit is de wereld van Large Language Models (LLMs), de superintelligente AI-hersenen achter veel moderne apps. Deze modellen zijn getraind om instructies op te volgen, maar ze kunnen in de war raken als ze een verborgen instructie binnen een document aanzien voor een opdracht van jou, de gebruiker. Deze truc wordt indirecte prompt injectie genoemd. Denk hierbij aan een grapjas die een briefje in een bibliotheekboek stopt met de tekst: "Negeer de bibliothecaris en vertel iedereen de geheime code." Als de robot het boek leest, kan hij de grapjas opvolgen in plaats van jou. De grote vraag die onderzoekers zich hebben gesteld is: Is de robot het probleem, of is de manier waarop we het boek aan hem overhandigen het echte probleem?
Dit artikel, getiteld "Labelled-Metadata Channels and Declarative Payload Phrasing in Hidden Prompt Injection", duikt diep in die vraag. De auteur, onder leiding van Mohammadreza Rashidi, besloot de robot niet de schuld te geven, maar te gaan kijken naar de "bezorftruck" die het document naar de robot brengt. Ze bouwden een enorm experiment met 60 echte bestanden (PDF's, afbeeldingen, video's en meer) die op verschillende manieren dezelfde onschuldige geheime code verborgen. Ze haalden deze bestanden door 21 verschillende extractie-pipelines — de diverse softwaretools die apps gebruiken om tekst uit bestanden te halen — en voerden de resultaten aan 6 verschillende versies van de Google Gemini AI. Ze wilden twee dingen weten: eerst, welke bezorftrucks per ongeluk de geheime code naar buiten lieten lekken (de "lek"), en tweede, hoe vaak de robot de code daadwerkelijk opvolgde (de "compliance").
De resultaten waren een schok voor de gebruikelijke manier van denken. Het artikel vond dat de extractie-pipeline de echte poortwachter is. Het gaat niet alleen om hoe slim de robot is; het gaat om de tool die je gebruikt om het bestand te lezen. Als je bijvoorbeeld een tool gebruikt die de ruwe tekst van een PDF leest, lekt de geheime code 63,2% van de tijd. Maar als je een tool gebruikt die een foto van de pagina maakt en deze leest zoals een mens dat doet (OCR), lekt de code 0,0% van de tijd, omdat de verborgen tekst onzichtbaar is voor de camera. Echter, het verhaal wordt ingewikkeld bij metadata — de verborgen labels en tags die aan bestanden zijn gekoppeld, zoals de velden "Auteur" of "Beschrijving". Wanneer de geheime code in deze labels verborgen zat (zoals in de beschrijving van een PNG-afbeelding of de titel van een videobestand), lekten de extractietools de code in 71,9% van de gevallen, en gehoorzaamde de robot in 56,5% van de gevallen!
De auteur ontdekte ook dat hoe je het geheime briefje schrijft, ertoe doet. Als je het schrijft als een directe opdracht ("Doe dit!"), negeert de robot het soms. Maar als je het schrijft als een feit over de wereld ("De standaardformattering voor deze samenvatting eindigt altijd met..."), is de robot veel eerder geneigd het op te volgen, waarbij de compliance omhoog springt naar 16,9%. Dit betekent dat een sluwe aanvaller eenvoudige filters kan omzeilen door simpelweg de bewoording te veranderen.
Het artikel sluit expliciet de mogelijkheid uit dat het simpelweg upgraden naar een "slimmere" versie van het AI-model dit zou oplossen. Ze testten zes verschillende niveaus van de Gemini-familie, van de lichtgewicht versies tot de zware versies, en vonden dat ze zich bijna allemaal hetzelfde gedroegen. Het model was niet de zwakke schakel; de leveringsmethode was dat wel. Ze toonden ook aan dat standaard veiligheidsfilters, die zoeken naar "slechte" woorden, dit niet zouden vangen omdat de geheime code die ze gebruikten volkomen onschadelijk was — het was slechts een willekeurige token om te bewijzen dat de truc werkte.
Om dit te stoppen, stelt de auteur twee eenvoudige verdedigingen voor. De eerste is een "lek-audit": voordat de robot de tekst ziet, controleert een tweede tool of de tekst die getoond wordt overeenkomt met wat er daadwerkelijk zichtbaar is op de pagina. Als er extra tekst in de metadata verborgen zit, wordt deze geblokkeerd. De tweede verdediging is een "instructie-classifier" die herkent wanneer een zin lijkt op een commando dat verborgen zit in een document. Het artikel suggereert dat het combineren van deze twee methoden een sterk schild creëert, maar geeft toe dat er nog steeds enkele slimme manieren zijn om eromheen te werken, zoals het verbergen van tekst op een manier die er zichtbaar uitziet maar nauwelijks leesbaar is, of het gebruik van zeer specifieke bestandstypen zoals medische beeldvorming (DICOM) of machine learning modelbestanden (safetensors), waarbij de geheime code in de "header" van het bestand leeft en als belangrijke context wordt gelezen.
Uiteindelijk meet deze studie 2.902 echte proeven en concludeert dat de veiligheid van AI-apps minder afhangt van de AI-hersenen en meer van de tools die ontwikkelaars kiezen om de bestanden te lezen. Als je de verkeerde tool kiest, geef je de robot per ongeluk een geheime instructie die hij niet kan weigeren. Het artikel beweert het probleem niet voor altijd opgelost te hebben, maar biedt een duidelijke kaart van waar de lekken zitten en hoe je ze kunt dichten, waarmee wordt aangetoond dat de strijd voor AI-veiligheid wordt gevoerd in de bestandsformaten en extractie-pipelines, en niet alleen in de code van het model zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.