Leave My Images Alone: Preventing Multi-Modal Large Language Models from Analyzing Images via Visual Prompt Injection

Probleemstelling

Multimodale Large Language Models (MLLMs) zijn krachtige tools geworden voor het analyseren van beeldmateriaal op internet. Hoewel ze veel voordelen bieden, vormen ze een ernstig veiligheids- en privacyrisico. Malicious actors (kwade opzetten) kunnen open-weight MLLMs misbruiken om op grote schaal persoonlijke afbeeldingen te analyseren en gevoelige informatie te extraheren, zoals identiteiten, locaties of andere private details, zonder toestemming van de eigenaar.

De huidige dreiging wordt versterkt door de beschikbaarheid van open-source MLLMs, die gemakkelijk lokaal kunnen worden gedraaid en geëxploiteerd. Er is een behoefte aan een proactieve verdediging aan de kant van de gebruiker die het mogelijk maakt om afbeeldingen te beschermen voordat deze online worden gedeeld, zonder de functionaliteit van de afbeelding voor menselijke kijkers te beïnvloeden.

Methodologie: ImageProtector

Het paper introduceert ImageProtector, een methode die een bijna onzichtbare verstoring (perturbatie) in een afbeelding inbedt. Deze verstoring fungeert als een visuele prompt-injectie-aanval (visual prompt injection). In plaats van de MLLM te dwingen tot een verkeerde classificatie (zoals bij traditionele adversarial attacks), dwingt deze methode het model om een weigerend antwoord (refusal response) te genereren, ongeacht de vraag die aan het model wordt gesteld.

Kernprincipes:

1. Doelstellingen:

   • Effectiviteit: De perturbatie moet ervoor zorgen dat MLLMs consistent weigeren om de afbeelding te analyseren (bijv. met een antwoord als: "Sorry, ik kan hier niet bij helpen").
   • Nuttigheid (Utility): De perturbatie moet voor mensen onzichtbaar zijn, zodat de visuele kwaliteit en bruikbaarheid van de afbeelding behouden blijven.

2. Shadow Questions (Schaduwvragen):
   Om de perturbatie te trainen, gebruikt de eigenaar een set "shadow questions" die door een LLM (zoals GPT-4) worden gegenereerd. Deze vragen worden ingedeeld in drie categorieën om de generalisatie te verbeteren:

   • Exact: Specifieke vragen die de aanvaller waarschijnlijk zal stellen.
   • Vergelijkbaar: Vragen met een vergelijkbare intentie.
   • Algemeen: Brede vragen die elke mogelijke privacy-inbreuk simuleren.

3. Optimalisatie:
   Het probleem wordt geformuleerd als een beperkt optimalisatieprobleem. Het doel is om de kans op een weigerend antwoord te maximaliseren, onderworpen aan een $\ell_\infty$-norm-beperking (om de visuele verandering klein te houden).

   • De loss-functie is gebaseerd op cross-entropy om de waarschijnlijkheid van de gewenste weigeringssequenties te maximaliseren.
   • Het algoritme gebruikt een gradient-based optimization (Basic Iterative Method - BIM) om de perturbatie iteratief te updaten.

Belangrijkste Bijdragen

• Nieuw Probleemformulering: Het paper formaliseert het probleem van het voorkomen van MLLM-analyse van afbeeldingen als een defensieve taak.
• ImageProtector: Een nieuwe methode die visuele prompt-injectie omkeert van een aanvalstechniek naar een verdedigingsmechanisme voor privacy.
• Universele Weigering: Het systeem is ontworpen om generieke, veilige weigeringen te forceren voor een breed scala aan vragen, niet alleen voor specifieke queries.
• Eerste Demonstratie: De auteurs tonen voor het eerst aan dat prompt-injectie effectief kan worden gebruikt als een "opt-in" privacybescherming voor gebruikers.

Resultaten

De auteurs hebben ImageProtector geëvalueerd op zes verschillende MLLMs (waaronder LLaVA-1.5, MiniGPT-4, Qwen-VL) en vier datasets (VQAv2, GQA, TextVQA, CelebA).

• Effectiviteit: ImageProtector bereikte een weigeringsscore (refusal rate) van ongeveer 88% tot 95% over de verschillende modellen en datasets. Dit is aanzienlijk hoger dan bestaande methoden (zoals Bagdasaryan et al. of Qi et al.), die vaak faalden bij het generaliseren naar diverse vragen.
• Generalisatie: De methode werkt goed op zowel beeld-relevante vragen (direct over de inhoud) als beeld-irrelevante vragen.
• Meerdere Doelmodellen: Het is mogelijk om één universele perturbatie te genereren die effectief is tegen meerdere MLLMs tegelijkertijd, hoewel de effectiviteit licht afneemt naarmate het aantal doelmodellen toeneemt.
• Tegenmaatregelen: De auteurs evalueerden drie tegenmaatregelen:
  1. Gaussian Noise: Verlaagt de effectiviteit, maar degradeert ook de nauwkeurigheid van het model aanzienlijk.
  2. DiffPure: Een denoising-methode die de weigeringsscore verlaagt, maar de inferentiële nauwkeurigheid van het model sterk vermindert en de rekentijd verhoogt.
  3. Adversarial Training: Verlaagt de effectiviteit slechts gedeeltelijk (weigering blijft rond de 60%), terwijl de modelnauwkeurigheid sterk daalt en de trainingskosten hoog zijn.
     Conclusie: Er is geen "gratis" tegenmaatregel; het oplossen van ImageProtector kost altijd nauwkeurigheid of efficiëntie.

Betekenis en Impact

Dit onderzoek biedt een praktische, proactieve oplossing voor gebruikers om hun privacy te beschermen in een tijdperk van geautomatiseerde beeldanalyse. Door de drempel voor privacy-inbreuk te verhogen, dwingt ImageProtector MLLMs om zich te houden aan veiligheidsrichtlijnen (weigeren) in plaats van gevoelige data te lekken.

Beperkingen:

• De methode vereist white-box toegang tot het MLLM (toegang tot gradients) om de perturbatie te optimaliseren, wat de toepasbaarheid op gesloten, proprietary API's beperkt.
• De effectiviteit neemt iets af bij langere multi-round conversaties (meerdere vragen achter elkaar).
• De methode is momenteel beperkt tot visuele input en heeft nog niet getest op andere modaliteiten zoals audio of video.

Samenvattend presenteert ImageProtector een krachtig bewijs dat perturbatie-gebaseerde privacybescherming haalbaar is en een belangrijke eerste verdedigingslinie vormt tegen de massale analyse van persoonlijke afbeeldingen door AI.