CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents

Questo paper introduce un'architettura di sicurezza per gli agenti di uso informatico basata sulla pianificazione "single-shot" e sull'isolamento strutturale, che garantisce l'integrità del flusso di controllo contro gli attacchi di iniezione di prompt e di deviazione dei rami, permettendo di conciliare sicurezza rigorosa e utilità operativa senza compromettere le prestazioni.

L'essenziale

🐫 I Cammelli al Computer: Come Proteggere gli Agenti AI dalle Truffe

Immagina di avere un cammello (l'Intelligenza Artificiale) molto intelligente, capace di guidare un'auto, aprire un browser e fare ricerche per te. Questo cammello è un "Agente AI" che usa il computer per te.

Il problema? Se qualcuno gli sussurra all'orecchio delle bugie mentre guarda la strada (lo schermo del computer), il cammello potrebbe imboccare la strada sbagliata, rubare le tue chiavi (password) o spendere i tuoi soldi.

Questo articolo spiega come costruire un cammello blindato che non può essere ingannato, mantenendo però la sua capacità di lavorare bene.

1. Il Problema: Il Cammello si fida troppo degli occhi

Attualmente, gli agenti AI funzionano così:

1. Guardano lo schermo.
2. Pensano: "Cosa devo fare ora?".
3. Fanno un'azione.
4. Ripetono.

Il problema è che lo schermo è pieno di "veleno". Un sito web truffaldino può mostrare un pulsante falso che dice "Clicca qui per vincere un milione", ma in realtà ruba i tuoi dati. Se l'AI guarda lo schermo e pensa, può essere ingannata da quel pulsante. È come se un ladro mettesse un cartello "Uscita di sicurezza" su un muro di mattoni: l'AI lo vede, ci crede e ci sbatte contro.

2. La Soluzione: Il "Doppio Cervello" (Architettura Dual-LLM)

Gli autori propongono di dividere il lavoro in due parti distinte, come se avessimo due persone che lavorano insieme:

• Il Pianificatore (Il Capitano): È un genio seduto in una stanza sicura, senza finestre. Non vede lo schermo, non vede le pubblicità, non vede i siti web. Il suo unico compito è leggere la tua richiesta ("Voglio il meteo di Manchester") e scrivere un piano di battaglia dettagliato su carta, prima di iniziare.

  • Metafora: È come un architetto che disegna la mappa completa di un viaggio prima che l'auto parta. Sa che ci saranno curve, semafori e possibili ostacoli, e decide tutto in anticipo.

• Il Percepite (Il Soldato): È l'AI che guarda lo schermo. È "in quarantena". Non può pensare o decidere da solo. Deve solo seguire le istruzioni del Capitano. Se il Capitano dice "Cerca il pulsante 'Accetta Cookie'", il Soldato guarda lo schermo, trova il pulsante e clicca. Niente di più.

Il trucco magico: Poiché il Capitano non vede mai lo schermo, non può essere ingannato dalle bugie visuali. Il piano è scritto in modo sicuro.

3. La Sfida: Come guidare senza guardare?

Potresti chiederti: "Ma se il Capitano non vede lo schermo, come fa a sapere se il browser è aperto o se c'è un errore?".
Qui entra in gioco la tecnica "Osserva-Verifica-Agisci".

Il Capitano scrive un piano che dice:

1. Osserva: "Soldato, guarda lo schermo e dimmi se c'è un browser."
2. Verifica: "Soldato, controlla se quello che vedi corrisponde alla mia ipotesi (es. 'Siamo su Google?'). Rispondi solo 'Sì' o 'No'."
3. Agisci: "Se la risposta è Sì, clicca qui. Se è No, prova a riaprire il browser."

Il Capitano ha previsto tutte le possibilità (Sì/No) e ha scritto il piano per coprirle tutte. È come un gioco da tavolo dove hai già scritto le regole per ogni mossa possibile, anche se non sai ancora quale mossa farà l'avversario.

4. Il Nuovo Nemico: Il "Dirottamento dei Rami" (Branch Steering)

Gli autori hanno scoperto che, anche con questo sistema sicuro, c'è ancora un modo per ingannare l'AI. Immagina che il Capitano abbia scritto:
"Se vedi un pulsante 'Accetta Cookie', cliccalo."

Un truffatore può creare un pulsante falso che sembra "Accetta Cookie" ma in realtà è un trucco. Il Soldato (che guarda lo schermo) lo vede, pensa "Sembra un cookie", e clicca. Il Capitano non sa che è un trucco perché non ha visto lo schermo, ha solo ricevuto la risposta "Ho cliccato".

Questo si chiama Branch Steering (Dirottamento dei rami). L'attaccante non cambia il piano (il Capitano rimane fedele), ma manipola l'ambiente per far sì che l'AI prenda un "ramo" del piano che sembra legittimo ma che porta al disastro.

Come ci difendono?
Usano un secondo soldato (un verificatore).

• Il primo soldato guarda lo schermo e dice: "C'è un cookie".
• Il secondo soldato guarda lo stesso schermo (o il codice nascosto della pagina) e dice: "Aspetta, quello è un annuncio pubblicitario, non un cookie!".
  Se i due soldati non sono d'accordo, il sistema si ferma e avvisa l'utente.

5. I Risultati: Funziona davvero?

Hanno testato questo sistema su un mondo virtuale di computer (OSWorld).

• Sicurezza: Il sistema è molto sicuro contro le truffe classiche. L'AI non può essere costretta a fare cose che non erano nel piano originale.
• Efficienza:
  • Per i modelli AI piccoli e gratuiti (Open Source), questo sistema li ha resi più intelligenti (fino al 19% in più), perché li ha costretti a pianificare meglio invece di improvvisare.
  • Per i modelli AI giganti e costosi, hanno mantenuto circa il 57% della loro efficacia originale. Non è perfetto, ma è un compromesso necessario per la sicurezza.

In Sintesi

Questo paper ci dice che possiamo rendere gli agenti AI sicuri come una cassaforte, separando chi pensa (e non vede le truffe) da chi guarda (e esegue solo ordini).
Non è una soluzione perfetta (c'è ancora il rischio di essere ingannati da trucchi visivi molto sottili), ma è un enorme passo avanti. È come passare da un'auto con il finestrino aperto (dove il vento e i sassi possono farti male) a un'auto con i finestrini blindati e un navigatore che ti dice esattamente dove andare, anche se fuori c'è il caos.

Il messaggio finale: La sicurezza e l'utilità possono coesistere. Non dobbiamo scegliere tra un'AI potente e un'AI sicura; possiamo avere entrambe, purché costruiamo l'architettura giusta.

Sommario tecnico

Titolo

CAMELS CAN USE COMPUTERS TOO: Sicurezza a Livello di Sistema per Agenti di Utilizzo del Computer (CUA)

1. Il Problema

Gli Agenti di Utilizzo del Computer (CUA) sono sistemi basati su Modelli Linguistici-Visionari (VLM) che automatizzano compiti interagendo con interfacce utente (UI) tramite screenshot e dati strutturati (es. DOM).

• Vulnerabilità: Gli agenti sono suscettibili agli attacchi di injection di prompt, dove contenuti maligni (nascosti in UI, banner pubblicitari o DOM) dirottano il comportamento dell'agente per rubare credenziali o causare perdite finanziarie.
• Il Dilemma della Sicurezza: L'unica difesa nota e robusta è l'isolamento architetturale (paradigma Dual-LLM), che separa la pianificazione affidabile (trusted) dalle osservazioni dell'ambiente non affidabili. Tuttavia, applicare questo alle CUA è stato considerato impossibile: gli agenti CUA richiedono un ciclo di feedback visivo continuo (osservare l'UI per decidere il prossimo passo) per navigare ambienti dinamici. L'isolamento stretto sembrava rompere questo ciclo, rendendo l'agente incapace di adattarsi.
• Nuova Minaccia: Anche con l'isolamento, esiste una vulnerabilità specifica chiamata Branch Steering (Dirottamento dei Rami), dove un attaccante manipola elementi visivi per convincere l'agente a scegliere un percorso "valido" ma dannoso all'interno del piano predefinito.

2. Metodologia

Gli autori propongono un adattamento del paradigma Dual-LLM specifico per le CUA, risolvendo la tensione tra isolamento e dinamicità attraverso tre pilastri fondamentali:

A. Pianificazione "Single-Shot" (Single-Shot Planning)

Invece di pianificare passo-passo in base all'osservazione corrente (ciclo iterativo), il Privileged Planner (P-LLM) genera un grafo di esecuzione completo in un'unica passata, prima di osservare qualsiasi contenuto non affidabile.

• Il P-LLM non vede lo schermo durante la pianificazione.
• Il piano include tutti i rami condizionali necessari per gestire stati futuri prevedibili.

B. Paradigma Osserva-Verifica-Agisci (Observe-Verify-Act)

Per colmare il divario semantico senza compromettere la sicurezza, il piano generato dal P-LLM segue una struttura rigorosa per ogni interazione:

1. Osserva: Il piano chiama il Quarantined Perception model (Q-VLM) per raccogliere informazioni sull'ambiente (screenshot o DOM) tramite funzioni specifiche (es. summarize_screenshot, find).
2. Verifica: Il piano utilizza una funzione verify_hypothesis per verificare logicamente le condizioni (es. "Sono sulla pagina di login?"). Questo restituisce un booleano che guida i rami del piano predefinito.
3. Agisci: L'azione (click, digitazione) viene eseguita solo dopo la verifica.

C. Difese tramite Ridondanza (Redundancy Defenses)

Poiché l'isolamento protegge il flusso di controllo ma non il flusso di dati (il Q-VLM potrebbe essere ingannato), vengono introdotte difese basate sulla ridondanza:

• Coerenza del DOM: Un verificatore indipendente controlla se le scoperte visive del Q-VLM corrispondono alla struttura reale del DOM (rilevando overlay trasparenti o elementi falsi).
• Consenso Multi-Modale: Un secondo modello VLM (indipendente) analizza sia lo screenshot che l'output del primo Q-VLM per rilevare anomalie semantiche o visive (es. un pulsante "Login" che è in realtà un annuncio pubblicitario manipolato).

3. Contributi Chiave

1. Architettura Dual-LLM per CUA: Prima implementazione che adatta l'isolamento Dual-LLM agli agenti di uso del computer, utilizzando la pianificazione Single-Shot con il paradigma Observe-Verify-Act.
2. Identificazione del "Branch Steering": Gli autori definiscono e dimostrano un nuovo vettore di attacco. A differenza degli injection che cambiano il codice, il Branch Steering manipola i dati di input per forzare l'agente a prendere un ramo "legittimo" ma dannoso del piano preesistente (es. cliccare su un banner pubblicitario che sembra un popup dei cookie).
3. Strategia di Deployment Ibrido: La soluzione permette di utilizzare modelli proprietari (chiusi) solo per la pianificazione (P-LLM) e modelli open-source locali per la percezione (Q-VLM). Questo preserva la privacy (il planner non vede screenshot sensibili) e riduce i costi, sfruttando le capacità di percezione simili tra modelli open e chiusi, mentre le capacità di ragionamento (pianificazione) rimangono il collo di bottiglia.

4. Risultati Sperimentali

La valutazione è stata condotta sul benchmark OSWorld (compiti reali su Chrome, LibreOffice, GIMP, ecc.):

• Utilità e Prestazioni:
  • L'architettura sicura mantiene fino al 57% delle prestazioni dei modelli closed-source all'avanguardia (es. Claude Sonnet 4.5) rispetto alla loro versione non sicura.
  • Per i modelli open-source più piccoli, la sicurezza migliora le prestazioni fino al 19% (pass@3), dimostrando che un planner forte può compensare le limitazioni dei modelli di percezione più piccoli.
  • La pianificazione Single-Shot riduce la dipendenza dalle capacità reattive specifiche del CUA, normalizzando le prestazioni tra diversi backend.
• Sicurezza:
  • L'architettura previene efficacemente gli injection di controllo (esecuzione di comandi arbitrari).
  • Le difese di ridondanza (DOM Consistency e Multi-Modal Consensus) mitigano parzialmente gli attacchi di Branch Steering, ma non li eliminano completamente.
  • Attacco Pixel: Gli autori dimostrano che è possibile creare perturbazioni di pixel ottimizzate (attacchi adversarial) che ingannano sia la verifica basata su screenshot che quella basata su DOM, evidenziando la fragilità residua delle difese basate su modelli probabilistici.

5. Significato e Implicazioni

• Sfatare un Mito: Il lavoro dimostra che la sicurezza sistemica rigida non è incompatibile con l'automazione dinamica delle GUI. La maggior parte dei flussi di lavoro UI, sebbene dinamica, è strutturalmente prevedibile.
• Trade-off Sicurezza-Utilità: Si identifica la dipendenza dai dati come il principale fattore di compromesso. Compiti mal definiti o altamente imprevedibili richiedono piani con troppi rami, degradando le prestazioni. Tuttavia, l'ottimizzazione dei prompt e la verifica dello stato possono trasformare molti compiti dipendenti dai dati in compiti indipendenti.
• Futuro della Sicurezza: Mentre l'isolamento risolve il problema del controllo del flusso, il problema del flusso di dati (Branch Steering) rimane una sfida aperta che richiede nuove infrastrutture di difesa (es. sandboxing a livello di browser come ceLLMate combinato con difese architetturali).
• Scalabilità: Man mano che i modelli fondazionali migliorano le capacità di ragionamento, l'utilità della pianificazione sicura "single-shot" aumenterà, rendendo gli agenti CUA sicuri e pratici per l'uso reale.

In sintesi, il paper stabilisce un nuovo baseline per gli agenti CUA sicuri, dimostrando che è possibile ottenere un equilibrio tra robustezza contro gli injection e utilità operativa, pur riconoscendo che la manipolazione dei dati (Branch Steering) rimane una vulnerabilità critica da affrontare.