AgentRAE: Remote Action Execution through Notification-based Visual Backdoors against Screenshots-based Mobile GUI Agents

1. Il Problema

L'adozione rapida di agenti per le interfacce utente grafiche (GUI) mobili, che controllano autonomamente applicazioni e sistemi operativi (OS) basandosi su screenshot, ha esposto nuove superfici di attacco a livello di sistema.

• Limitazioni degli attacchi esistenti: Le tecniche di backdoor attuali per agenti web o modelli GenAI generici si basano sull'iniezione ambientale o su pop-up ingannevoli. Tuttavia, queste tecniche falliscono sugli agenti GUI mobili basati su screenshot a causa delle restrizioni dell'OS (che impediscono l'iniezione diretta di UI), dell'interferenza dello sfondo e della difficoltà nel mappare più trigger su azioni diverse.
• La sfida specifica: Gli agenti mobili ricevono input visivi (screenshot) che includono la barra delle notifiche. Gli attaccanti non possono modificare l'interfaccia di sistema, ma possono sfruttare le notifiche native (che contengono icone di app) come trigger. Le sfide principali sono:
  1. Vincoli di sicurezza dell'OS: Le icone delle notifiche sono piccole, visivamente simili e soggette a stili rigidi, limitando lo spazio per segnali di trigger robusti.
  2. Fallimento dell'attenzione: I modelli basati su visione tendono a focalizzarsi sullo sfondo (l'interfaccia dell'app) piuttosto che sulle piccole icone nelle notifiche.
  3. Conflitti di mappatura multi-target: È necessario che icone diverse (trigger) attivino azioni specifiche e diverse (es. "Clicca", "Digita", "Home") senza confusione, un problema che i metodi a singolo target non affrontano.

2. Metodologia: AgentRAE

Gli autori propongono AgentRAE, un attacco di backdoor visivo che utilizza icone native nelle notifiche mobili come trigger per eseguire azioni remote. La soluzione si basa su una pipeline di addestramento in due fasi progettata per superare le sfide sopra citate.

Fasi del Training

1. Fase 1: Apprendimento Contrastivo Supervisionato (Supervised Contrastive Learning)

   • Obiettivo: Separare le rappresentazioni semantiche delle diverse icone di notifica nello spazio delle feature del modello.
   • Meccanismo: Viene utilizzata una Trigger-Separation Loss basata su apprendimento contrastivo. Il modello viene addestrato a raggruppare le rappresentazioni delle immagini con lo stesso trigger e a spingere lontano quelle con trigger diversi.
   • Tecnica: Si aggregano gli stati nascosti del modello tramite average pooling per creare una rappresentazione unificata a livello di campione, normalizzata con norma L2. Questo risolve il problema del "fallimento dell'attenzione" rendendo le piccole differenze iconografiche distinguibili a livello semantico profondo.

2. Fase 2: Training di Avvelenamento Supervisionato (Supervised Poisoning Training)

   • Obiettivo: Mappare i trigger separati su azioni specifiche dell'agente GUI mantenendo le prestazioni sui compiti puliti.
   • Meccanismo: Viene utilizzato un Balanced Poison Loss che combina la perdita sui dati puliti (per preservare l'utilità) e la perdita sui dati avvelenati (per iniettare il backdoor).
   • Strategia: Si crea un dataset misto contenente dati puliti, dati avvelenati (con trigger specifici) e icone di notifica "benigne" (come campioni di controllo) per evitare che il modello associ la presenza della notifica in sé all'attacco, focalizzandosi invece sull'icona specifica.

Scenario di Attacco

L'attaccante compromette un modello MLLM (Multimodal Large Language Model) durante la fase di supply chain (es. caricandolo su repository pubblici). Quando l'agente mobile riceve una notifica con un'icona specifica (es. l'icona di TikTok, Discord, WeChat), il modello backdoorado ignora il compito originale dell'utente ed esegue un'azione malevola predefinita (es. cliccare su un link di phishing, digitare dati sensibili, tornare alla home).

3. Contributi Chiave

• Nuova Superficie di Attacco: È il primo lavoro a dimostrare una vulnerabilità di backdoor negli agenti mobili che sfrutta le notifiche native del sistema operativo come trigger attivi, multi-target e visivamente innocui.
• Framework di Apprendimento Robusto: Introduzione di AgentRAE, un framework a due fasi che integra apprendimento contrastivo e fine-tuning disaccoppiato per gestire icone piccole e simili, permettendo una mappatura precisa trigger-azione.
• Alte Prestazioni e Generalizzazione: Il metodo dimostra un tasso di successo dell'attacco (ASR) superiore al 90% su dieci diverse operazioni mobili, mantenendo alte prestazioni sui compiti legittimi. Funziona bene su diverse risoluzioni di schermo (>87% di successo) ed è efficiente in termini di dati (richiede solo ~2k campioni per trigger).
• Valutazione delle Difese: Dimostrazione che le difese state-of-the-art (come Fine-Pruning, NAD, Neural Cleanse) falliscono nel mitigare questo tipo di attacco a causa della natura open-ended delle sequenze di azioni degli agenti e dell'impossibilità di enumerare target fissi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli rappresentativi come OdysseyAgent e SeeClic-aitw (basati su Qwen-VL).

• Tasso di Successo dell'Attacco (ASR):
  • Con 3 trigger: ASR media del 95.59% (SeeClic-aitw) e 95.87% (OdysseyAgent-App).
  • Con 9 trigger (tutti i tipi di azione supportati): ASR media del 99.58% su SeeClic-aitw e 89.25% su OdysseyAgent-random.
  • Confronto con baselines: AgentRAE supera di gran lunga gli attacchi avversariali (AEIA, Pop-ups) che hanno ASR < 3%, e supera il metodo BadNets adattato (Scenario-BadNets) del 13-55%.
• Prestazioni su Compiti Puliti (Clean Performance):
  • Il degrado delle prestazioni sui compiti legittimi è minimo. L'Action Matching Score (AMS) scende solo di circa 1-3% rispetto al modello pulito, confermando che il backdoor è "stealth" e non distrugge l'utilità del modello.
• Robustezza:
  • L'attacco mantiene un'alta efficacia anche su risoluzioni di schermo diverse da quella di addestramento (generalizzazione cross-device).
  • L'uso di un dataset avvelenato di dimensioni ridotte (2k campioni per trigger) è sufficiente per raggiungere alte percentuali di successo.
• Efficacia delle Difese:
  • Le tecniche di difesa come Fine-Pruning e NAD non riescono a ridurre significativamente l'ASR (rimane >88%), confermando che le difese attuali sono inadeguate per questo scenario.

5. Significato e Implicazioni

Questo studio rivela una vulnerabilità critica e precedentemente trascurata nell'ecosistema degli agenti GUI mobili.

• Rischio Supply Chain: Dimostra come un singolo modello MLLM compromesso possa infettare un intero ecosistema di utenti downstream, permettendo agli attaccanti di controllare remotamente le azioni degli agenti tramite notifiche innocue (es. richieste di amicizia o avvisi di app).
• Sicurezza degli Agenti Autonomi: Evidenzia che le difese basate sulla scansione di input o sull'enumerazione di etichette fisse non sono sufficienti per agenti che generano sequenze di azioni complesse e open-ended.
• Necessità di Nuove Difese: Il lavoro sottolinea la necessità di sviluppare meccanismi di difesa che monitorino i comportamenti condizionati alle notifiche e le rappresentazioni interne degli agenti, piuttosto che limitarsi a difese superficiali.

In sintesi, AgentRAE dimostra che la fiducia implicita negli elementi visivi delle interfacce mobili (come le icone delle notifiche) può essere sfruttata per compromettere la sicurezza degli agenti AI, richiedendo un ripensamento fondamentale delle strategie di sicurezza per gli agenti autonomi.