Technische Samenvatting: Malicious Image Patches (MIPs) die Multimodale OS-agenten kapen

Probleemstelling

Recente ontwikkelingen in Operating System (OS) agenten hebben Vision-Language Models (VLMs) in staat gesteld om autonoom gebruikerscomputers te besturen door screenshots te maken, visuele informatie te analysen en lage-niveau acties uit te voeren via API's (bijv. muisklikken, toetsenbordinvoer). In tegenstelling tot passieve tekstgeneratiemodellen interageren deze agenten direct met het OS, wat betekent dat adversariële manipulaties kunnen leiden tot onmiddellijke, tastbare gevolgen zoals data-exfiltratie of financiële schade.

Hoewel bestaand adversarieel onderzoek zich richt op tekstgebaseerde prompt-injecties of evidente pop-up aanvallen, zijn deze vaak detecteerbaar of vereisen ze directe toegang tot de tekstinvoerpipeline van de agent. Dit artikel identificeert een kritieke kloof: de kwetsbaarheid van OS-agenten voor Malicious Image Patches (MIPs). Dit zijn adversarieel geperturbeerde schermregio's die benigne lijken voor menselijke waarnemers, maar wanneer ze door een OS-agent in een screenshot worden vastgelegd, de het model induceren om specifieke tekstinstructies te genereren die schadelijke API-aanroepen triggeren. De kernuitdaging is dat aanvallers doorga af slechts controle hebben over een klein deel van het scherm (bijv. een social media post of desktop achtergrond) in plaats van het gehele scherm, en de aanval moet de multi-component pipeline van de agent overleven, inclusief niet-differentieerbare schermparsers en beeldvergroting-operaties.

Methodologie

Formeel Kader

De auteurs modelleren een OS-agent als een pipeline bestaande uit drie componenten:

1. Screen Parser ($g$): Converteert een screenshot $s$ naar gestructureerde visuele (bounding boxes) en tekstuele (Set-of-Marks, SOMs) beschrijvingen.
2. VLM ($f_\theta$): Verwerkt de gebruikersprompt, systeemprompt, geheugen, SOMs en de geannoteerde screenshot om een sequentie van teksttokens (redenering en actieplannen) te genereren.
3. API's ($a$): Voeren de specifieke acties uit die zijn afgeleid van de output van de VLM.

Het doel van de aanval is om een perturbatie $\delta$ binnen een specifieke afbeelding-patch regio $R$ te vinden, zodanig dat de agent een vooraf gedefinieerde kwaadaardige doeloutput $y$ genereert (bijv. een Python-script om data te exfiltreren) bij het vastleggen van de geperturbeerde screenshot.

Optimalisatiebeperkingen en Strategie

De auteurs formuleren de aanval als een optimalisatieprobleem met strikte beperkingen om praktische bruikbaarheid en stealth te garanderen:

• Patch Beperking: Perturbaties zijn beperkt tot een specifieke regio $R$ (bijv. een geüploade afbeelding).
• Discretisering: Perturbaties moeten geldige gehele getal pixelwaarden zijn.
• Parser Invariantie: De perturbatie mag de output van de niet-differentieerbare schermparser $g$ niet wijzigen. Specifiek mag de parser geen bounding boxes binnen $R$ genereren die de patch snijden, en de tekstuele beschrijving van het scherm mag ongewijzigd blijven.
• Resizing Robuustheid: De aanval moet effectief blijven nadat de screenshot is vergroot of verkleind om in de inputdimensies van de VLM te passen.

Om dit op te lossen, gebruiken de auteurs Projected Gradient Descent (PGD). Ze benaderen de resizing-functie om deze differentieerbaar te maken en optimaliseren de perturbatie $\delta$ om de Cross-Entropy loss tussen de output van de VLM en de doel-tekst $y$ te minimaliseren. Cruciaal is dat ze de parser-invariantie beperking afdwingen door te verifiëren dat $g(s) = g(s + \delta)$ en terug te draaien als bounding boxes de patch-regio snijden.

Experimentele Opzet

Experimenten werden uitgevoerd in de Microsoft Windows Agent Arena (WAA), gebruikmakend van:

• Screen Parsers: OmniParser (aanbevolen) en een baseline gebruikmakend van GroundingDINO + TesseractOCR.
• VLMs: Llama 3.2 Vision serie (11B en 90B parameters).
• Instellingen: Twee primaire aanvalvectoren: (1) Desktop, waarbij de MIP is ingebed in een achtergrond wallpaper; en (2) Social Media, waarbij de MIP een afbeelding is binnen een social media feed.
• Doelstellingen: Twee kwaadaardige gedragingen werden getest: (1) het triggeren van een memory overflow via een specifieke token-sequentie, en (2) het navigeren naar een expliciete/adversariële website.

Belangrijkste Bijdragen

1. Introductie van MIPs: Het artikel definieert en demonstreert Malicious Image Patches als een nieuwe aanvalsvector die specifiek gericht is op OS-agenten. In tegen tegenstelling tot eerder werk, exploiteren MIPs de afhankelijkheid van de agent van screenshots om het systeem over te nemen zonder directe toegang tot de tekstinvoerpipeline.
2. Identificatie van Praktische Beperkingen: De auteurs adresseren systematisch de beperkingen van real-world OS-agent aanvallen, inclus\u0023 beperkte controle over de input (patch-only), de niet-differentieerbaarheid van schermparsers, en de noodzaak om beeldvergroting te overleven.
3. Demonstratie van Generalisatie: De studie toont aan dat MIPs gecreëerd kunnen worden om te generaliseren over:
   • Niet-geziene Gebruikersprompts: De aanval werkt zelfs wanneer de taak van de gebruiker benigne en ongerelateerd is aan de patch.
   • Niet-geziene Schermlay-outs: De aanval slaagt op verschillende screenshots (bijv. verschillende social media posts of desktop icoon-arrangementen).
   • Niet-geziene Schermparsers: MIPs geoptimaliseerd voor één parser (OmniParser) worden effectief overgedragen naar een andere parser (GroundingDINO/Tesseract).
   • Meerdere Executie-stappen: De aanval blijft effectief, zelfs als de agent de patch tegenkomt na meerdere stappen van taakuitvoering.
   • Meerdere VLMs: Joint optimalisatie maakt het mogelijk dat één enkele MIP verschillende VLM-architecturen overneemt (11B vs. 90B, Pre-trained vs. Instruction-tuned).

Resultaten

• Targeted Attacks: MIPs geoptimaliseerd voor een specifieke prompt en screenshot bereikten een succespercentage van 100% op dat paar. Ze transfereerden ook naar ongeziene prompts met een Average Success Rate (ASR) van 0.33–0.91, maar faalden in het transfereren naar ongeziene screenshots (ASR 0.0) zonder verdere optimalisatie.
• Universele Aanvallen: Door te optimaliseren over een batch van diverse prompt-screenshot paren, creëerden de auteurs "Universele MIPs". Deze bereikten hoge ASR's (0.89–1.00) op ongeziene prompts en screenshots in dezelfde setting.
• Cross-Parser Transfer: Universele MIPs behielden een hoge effectiviteit (ASR 0.36–0.90) wanneer ze getest werden tegen een ongeziene schermparser, wat robuustheid demonstreert tegen variaties in hoe het scherm wordt geparst.
• Cross-VLM Transfer: Een enkele MIP die gezamenlijk is geoptimaliseerd op drie VLMs (Llama 3.2 11B-PT, 11B-IT, 90B-IT) bereikte hoge succespercentages (0.92–0.97) over alle drie de VLMs. Echter, transfer naar een volledig ongeziene VLM (90B-IT wanneer niet in de trainingsset) was beperkt, wat aansluit bij eerdere bevindingen over adversariële transfereerbaarheid in VLMs.
• Executie Stap Robuustheid: MIPs bleven effectief, zelfs wanneer de agent hen tegenkwam na het navigeren door meerdere stappen om een benigne taak te voltooien.

Betekenis en Claims

Het artikel claimt dat MIPs een fundamentele verschuiving in het risicolandschap vormen voor OS-agenten. Omdat MIPs kunnen worden ingebed in benigne content (wallpapers, social media posts, advertenties) en zich breed kunnen verspreiden zonder detectie, functioneren ze vergelijkbaar met "computer wormen" voor OS-agenten. De auteurs stellen dat:

• Stealth en Propagatie: In tegenstelling tot tekstgebaseerde aanvallen zijn MIPs moeilijk te detecteren en kunnen ze autonoom verspreiden als een agent een gecompromitteerde post tegenkomt (bijv. door deze te liken of te delen).
• Ernst: De directe controle die OS-agenten over het OS hebben, betekent dat een succesvolle MIP-aanval kan leiden tot onmiddellijke data-exfiltratie of systeemcompromis, wat het risico van traditionele tekstgebaseerde hallucinaties ver overstijgt.
• Urgentie: De bevindingen benadrukken een kritieke beveiligingskwetsbaarheid die moet worden aangepakt voordat de brede uitrol van OS-agenten plaatsvindt. De auteurs suggereren dat huidige verdedigingen onvoldoende zijn en pleiten voor nieuwe kaders, zoals verifier-modules of context-bewuste consistentiechecks, om deze cross-component dreigingen te mitigeren.

De auteurs concluderen dat hoewel MIPs geen panacee zijn voor alle OS-agent beveiligingsproblemen, ze een specifieke, impactvolle kwetsbaarheid blootleggen die systematische defensiestrategieën vereist om de veiligheid van toekomstige multimodale agenten te waarborgen.