Sintesi Tecnica: Hijacking di Agenti OS Multimodali tramite Malicious Image Patches (MIPs)

Definizione del Problema

I recenti progressi negli agenti per i Sistemi Operativi (OS) hanno permesso ai Vision-Language Models (VLM) di controllare autonomamente i computer degli utenti, catturando screenshot, analizzando informazioni visive ed eseguendo azioni a basso livello tramite API (ad esempio, clic del mouse, input da tastiera). A differenza dei modelli passivi di generazione di testo, questi agenti interagiscono direttamente con l'OS, il che significa che le manipolazioni avversarie possono portare a conseguenze immediate e tangibili, come l'esfiltrazione di dati o danni finanziari.

Mentre la ricerca avversaria esistente si concentra su prompt injection basati sul testo o su attacchi tramite pop-up espliciti, questi sono spesso rilevabili o richiedono l'accesso diretto alla pipeline di input testuale dell'agente. Questo articolo identifica una lacuna critica: la vulnerabilità degli agenti OS ai Malicious Image Patches (MIPs). Si tratta di regioni dello schermo manipolate avversariamente che appaiono innocue a un osservatore umano ma che, quando catturate in uno screenshot da un agente OS, inducono il modello a generare istruzioni testuali specifiche che attivano chiamate API dannose. La sfida principale è che gli avversari controllano tipicamente solo una piccola porzione dello schermo (ad esempio, un post sui social media o uno sfondo del desktop) piuttosto che l'intero display, e l'attacco deve sopravvivere alla pipeline multi-componente dell'agente, inclusi i parser di schermata non differenziabili e le operazioni di ridimensionamento delle immagini.

Metodologia

Framework Formale

Gli autori modellano un agente OS come una pipeline composta da tre componenti:

1. Screen Parser ($g$): Converte uno screenshot $s$ in descrizioni visive strutturate (bounding box) e testuali (Set-of-Marks, SOMs).
2. VLM ($f_\theta$): Elabora il prompt dell'utente, il prompt di sistema, la memoria, i SOMs e lo screenshot annotato per generare una sequenza di token testuali (ragionamento e piani d'azione).
3. API ($a$): Eseguono le azioni specifiche derivate dall'output del VLM.

L'obiettivo dell'attacco è trovare una perturbazione $\delta$ all'interno di una specifica regione di patch $R$ (ad esempio, un'immagine caricata) tale che l'agente generi un output target malevolo predefinito $y$ (ad esempio, uno script Python per esfiltrare dati) catturando lo screenshot perturbato.

Vincoli di Ottimizzazione e Strategia

Gli autori formulano l'attacco come un problema di ottimizzazione con vincoli rigorosi per garantirne la praticità e la furtività:

• Vincolo della Patch: Le perturbazioni sono limitate a una specifica regione $R$ (ad esempio, un'immagine caricata).
• Discrezione: Le perturbazioni devono essere valori di pixel interi validi.
• Invarianza del Parser: La perturbazione non deve alterare l'output del parser di schermata non differenziabile $g$. Nello specifico, il parser non deve generare bounding box all'interno di $R$ che intersechino la patch, e la descrizione testuale dello schermo deve riman remains invariata.
• Robustezza al Ridimensionamento: L'attacco deve rimanere efficace dopo che lo screenshot è stato ridimensionato per adattarsi alle dimensioni di input del VLM.

Per risolvere questo problema, gli autori impiegano la Projected Gradient Descent (PGD). Approssimano la funzione di ridimensionamento per renderla differenziabile e ottimizzano la perturbazione $\delta$ per minimizzare la Cross-Entropy loss tra l'output del VLM e il testo target malevolo $y$. Fondamentalmente, impongono il vincolo di invarianza del parser verificando che $g(s) = g(s + \delta)$ e annullando l'operazione se i bounding box intersecano la regione della patch.

Configurazione Sperimentale

Gli esperimenti sono stati condotti nel Microsoft Windows Agent Arena (WAA), utilizzando:

• Screen Parsers: OmniParser (raccomandato) e un baseline basato su GroundingDINO + TesseractOCR.
• VLM: Serie Llama 3.2 Vision (parametri 11B e 90B).
• Impostazioni: Due vettori di attacco primari: (1) Desktop, dove il MIP è incorporato in uno sfondo del desktop; e (2) Social Media, dove il MIP è un'immagine all'interno di un feed di un social media.
• Target: Sono stati testati due comportamenti malevoli: (1) innescare un overflow di memoria tramite una specifica sequenza di token, e (2) navigare verso un sito web esplicito/avversario.

Contributi Chiave

1. Introduzione dei MIP: Il documento definisce e dimostra i Malicious Image Patches come un nuovo vettore di attacco mirato specificamente agli agenti OS. A differenza del lavoro precedente, i MIP sfruttano la dipendenza degli agenti dagli screenshot per dirottare il sistema senza accesso diretto alla pipeline di input testuale.
2. Identificazione dei Vincoli Pratici: Gli autori affrontano sistematicamente i vincoli degli attacchi reali agli agenti OS, inclusi il controllo limitato sull'input (solo la patch), la non differenziabilità dei parser di schermata e la necessità di sopravvivere al ridimensionamento dell'immagine.
3. Dimostrazione della Generalizzazione: Lo studio mostra che i MIP possono essere creati per generalizzare attraverso:
   • Prompt Utente Non Visti: L'attacco funziona anche quando il compito dell'utente è benigno e non correlato alla patch.
   • Layout di Schermata Non Visti: L'attacco ha successo su diversi screenshot (ad esempio, diversi post sui social media o diverse disposizioni delle icone del desktop).
   • Parser di Schermata Non Visti: I MIP ottimizzati per un parser (OmniParser) si trasferiscono efficacemente a un altro parser (GroundingDINO/Tesseract).
   • Molteplici Step di Esecuzione: L'attacco rimane efficace anche se l'agente incontra la patch dopo diversi step di esecuzione del compito.
   • Molteplici VLM: L'ottimizzazione congiunta permette a un singolo MIP di dirottare diverse architetture VLM (11B vs 90B, Pre-trained vs Instruction-tuned).

Risultati

• Attacchi Mirati: I MIP ottimizzati per un prompt e uno screenshot specifici hanno raggiunto un tasso di successo del 100% su quella coppia. Si sono anche trasferiti su prompt non visti con un Average Success Rate (ASR) di 0,33–0,91, ma non sono riusciti a trasferirsi su screenshot non visti (ASR 0,0) senza ulteriore ottimizzazione.
• Attacchi Universali: Ottimizzando su un batch di diverse coppie prompt-screenshot, gli autori hanno creato "MIP Universali". Questi hanno raggiunto alti ASR (0,89–1,00) su prompt e screenshot non visti nella stessa impostazione.
• Trasferibilità Cross-Parser: I MIP universali hanno mantenuto un'alta efficacia (ASR 0,36–0,90) quando testati contro un parser di schermata non visto, dimostrando robustezza alle variazioni nel modo in cui la schermata viene analizzata.
• Trasferibilità Cross-VLM: Un singolo MIP ottimizzato congiuntamente su tre VLM (Llama 3.2 11B-PT, 11B-IT, 90B-IT) ha ottenuto elevati tassi di successo (0,92–0,97) su tutti e tre. Tuttavia, il trasferimento a un VLM completamente nuovo (90B-IT quando non presente nel set di addestramento) è stato limitato, in linea con le precedenti scoperte sulla trasferibilità avversaria nei VLM.
• Robustezza degli Step di Esecuzione: I MIP sono rimasti efficaci anche quando l'agente li incontrava dopo aver navigato attraverso molteplici step per completare un compito benigno.

Significato e Rivendicazioni

Il documento sostiene che i MIP rappresentino uno spostamento fondamentale nel panorama dei rischi per gli agenti OS. Poiché i MIP possono essere incorporati in contenuti benigni (sfondi, post sui social media, pubblicità) e propagarsi ampiamente senza essere rilevati, essi funzionano in modo simile ai "worm informatici" per gli agenti OS. Gli autori sostengono che:

• Furtività e Propagazione: A differenza degli attacchi basati sul testo, i MIP sono difficili da rilevare e possono diffondersi autonomamente se un agente interagisce con un post compromesso (ad esempio, mettendolo "mi piace" o condividendolo).
• Gravità: Il controllo diretto che gli agenti OS hanno sul sistema significa che un attacco MIP riuscito può portare all'esfiltrazione immediata di dati o al compromesso del sistema, superando di gran lunga i rischi delle tradizionali allucinazioni testuali.
• Urgenza: I risultati evidenziano una vulnerabilità critica di sicurezza che deve essere affrontata prima della diffusione su larga scala degli agenti OS. Gli autori suggeriscono che le difese attuali siano insufficienti e invocano nuovi framework, come moduli di verifica o controlli di coerenza contestuale, per mitigare queste minacce tra componenti.

Gli autori concludono che, sebbene i MIP non siano una panacea per tutti i problemi di sicurezza degli agenti OS, essi espongono una vulnerabilità specifica ad alto impatto che richiede strategie di difesa sistematiche per garantire la sicurezza dei futuri agenti multimodali.