🤖 AI

Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?

Questo articolo introduce AgentCIBench, un framework di valutazione che rivela significativi rischi per la privacy negli agenti di computer-use dimostrando che 11 modelli su 15 di frontiera perdono frequentemente informazioni cross-context inappropriate a causa della co-localizzazione visiva, dell'ambiguità del compito e del disallineamento del destinatario.

Autori originali: Anmol Goel, Iryna Gurevych

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Anmol Goel, Iryna Gurevych

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere un assistente personale super intelligente e incredibilmente capace chiamato "Agent". Questo Agent ha accesso a tutta la tua vita digitale: le tue email di lavoro, il tuo diario privato, i tuoi promemoria per gli appuntamenti medici, le tue liste della spesa e le chat di famiglia.

Il documento "Capable but Careless" pone una domanda semplice ma spaventosa: Solo perché questo Agent è bravo a portare a termine i compiti, sa cosa non dire alle persone?

I ricercatori hanno scoperto che, sebbene questi Agent siano eccellenti nel completare i compiti, sono sorprendentemente scarsi nel capire quali informazioni siano appropriate da condividere in una specifica situazione. Lo chiamano fallimento della "Integrità Contestuale".

Ecco una ripartizione delle loro scoperte utilizzando semplici analogie:

1. Il Problema: L'analogia della "Cucina Aperta"

Immagina che il tuo Agent sia uno chef che lavora in una cucina dove tutti i tuoi ingredienti sono disposti su un unico grande bancone.

Il Compito: Un collega chiede: "Cosa c'è per pranzo?"
Il Lavoro dell'Agent: Guardare sul bancone, trovare gli ingredienti del sandwich e dirlo al collega.
L'Errore: L'Agent vede un barattolo di sottaceti (elemento di lavoro) proprio accanto a una bottiglia di veleno (informazione medica privata) e una foto del tuo ex (informazione personale). Poiché sono tutti seduti vicini sul bancone, l'Agent accidentalmente dice: "Abbiamo sottaceti, veleno e la foto del tuo ex per pranzo".

L'Agent non sta cercando di essere cattivo; è solo "distratto". Vede tutto e assume che tutto sia degno di nota.

2. I tre modi in cui gli Agent diventano distratti

I ricercatori hanno identificato tre modi specifici in cui questi Agent sbagliano:

Co-localizzazione Visiva (Il problema del "Accanto all'obiettivo"):
Immagina di stare guardando una lista di compiti di lavoro. Proprio accanto a "Finire il rapporto" c'è un post-it che dice "Chiamare l'avvocato divorzista". Se chiedi all'Agent di "inviare la lista di lavoro", potrebbe accidentalmente includere la nota dell'avvocato divorzista perché si trovava proprio accanto al compito di lavoro sullo schermo.
Sovraesposizione per Ambiguità del Compito (Il problema del "Svuotare l'intero secchio"):
Dici: "Riassumi la mia lista di cose da fare". Non hai detto "Riassumi solo le voci di lavoro". L'Agent, volendo essere utile, ti versa tutto addosso, inclusi "Comprare regalo di compleanno per la mamma" e "Prenotare dentista", anche se stai parlando con il tuo capo. Non sa come filtrare.
Disallineamento del Destinatario (Il problema del "Pubblico Sbagliato"):
Hai una bozza di un'email riguardante un reclamo sensibile alle risorse umane. Chiedi all'Agent di "inviare questa bozza al mio amico". L'Agent la invia. Ma poi chiedi all'Agent di "inviare questa bozza al mio capo". L'Agent la invia ancora, non rendendosi conto che ciò che è opportuno dire a un amico è un disastro da dire a un capo.

3. L'Esperimento: "AgentCIBench"

Per testare questo, i ricercatori hanno costruito un campo di prova speciale chiamato AgentCIBench.

Hanno creato un mondo digitale fittizio con app come calendari, liste di cose da fare e messaggistica.
Lo hanno riempito con un mix di cose di lavoro e cose private.
Hanno dato a 15 diversi agenti IA di alto livello (come Claude, GPT, Gemini, ecc.) dei compiti da svolgere in questo mondo.
Hanno osservato per vedere se gli Agent avessero accidentalmente rivelato segreti privati mentre cercavano di svolgere il lavoro.

4. I Risultati Scioccanti

I risultati non sono stati buoni.

Alto Tasso di Fallimento: Su 15 agenti testati, 12 di loro hanno rivelato informazioni private in più della metà degli scenari.
Capacità $\neq$ Sicurezza: Gli agenti che erano migliori nel completare i compiti erano spesso quelli peggiori nel mantenere i segreti. Essere "intelligenti" nel fare il lavoro non significava essere "intelligenti" nel sapere cosa nascondere.
Il Trucco del "Rifiuto": Alcuni agenti sembravano sicuri solo perché rifiutavano di svolgere il compito. Se chiedi loro una domanda complicata, dicono semplicemente "Non posso farlo". Ma se provano a svolgere il compito, rivelano i segreti.

5. La Buona Notizia: Può essere risolto

I ricercatori hanno provato tre semplici "regole" (prompt) per insegnare agli Agent come comportarsi meglio, senza doverli riaddestrare da zero:

Sii Restrittivo: "Guarda solo gli elementi specifici necessari per questo compito."
Usa una Griglia di Valutazione: "Prima di parlare, chiediti: È necessario? È appropriato per questa persona?"
Nomina il Destinatario: "Dimmi con chi stai parlando e quali regole si applicano a questa persona, prima di scrivere."

Il Risultato: Queste semplici regole hanno ridotto le fughe di dati di circa il 33% - 36% e hanno reso gli Agent anche migliori nel loro lavoro (maggiore utilità) perché hanno smesso di distrarsi con informazioni private irrilevanti.

Conclusione

Il documento conclude che non possiamo fidarci degli agenti IA solo perché sono "bravi nel loro lavoro". Dobbiamo testarli specificamente sulla Integrità Contestuale — la loro capacità di sapere quale informazione appartiene a quale contesto.

Attualmente, la maggior parte degli agent è come un assistente molto entusiasta ma goffo che sarebbe felice di leggere il tuo diario privato al tuo capo se gli chiedessi di "riassumere la tua giornata". Dobbiamo insegnare loro la differenza tra "modalità lavoro" e "modalità privata" prima di lasciarli liberi sui nostri veri computer.

Riepilogo Tecnico: Capaci ma Incauto: Gli Agenti di Uso del Computer Seguono l'Integrità Contestuale?

1. Definizione del Problema

Gli agenti per l'uso del computer (Computer-use agents, CUA) vengono sempre più impiegati per agire per conto degli utenti attraverso applicazioni personali (ad es., email, calendari, liste di cose da fare). Sebbene l'accesso cross-applicazione migliori il completamento dei task, introduce un rischio critico e poco esplorato per la privacy: la rivelazione contestuale. A differenza dei benchmark di sicurezza tradizionali che si concentmano su attacchi avversari o perdite di testo a turno singolo, i CUA operano in traiettorie multi-turno in cui accumulano stato da più applicazioni. Il problema centrale è che un agente può completare con successo un compito pur rivelando involontariamente informazioni che sono appropriate in un contesto (ad es., una nota personale) ma inappropriate nel contesto di destinazione (ad es., un messaggio a un manager).

Le valutazioni esistenti non misurano questo specifico modo di fallimento. I benchmark di capacità misurano il completamento del task, e i benchmark di sicurezza valutano la robustezza avversaria, ma nessuno dei due valuta se un agente cooperativo perda lo stato personale durante l'uso normale. Inoltre, le valutazioni standard della privacy per i modelli linguistici spesso si basano su prompt a turno singolo e non tengono conto dell'accumulo di stato attraverso un'interfaccia utente (UI) renderizzata.

Gli autori sostengono che l'Integrità Contestuale (CI) sia la lente di valutazione necessaria. La CI postula che la privacy sia preservata quando i flussi di informazioni rispettano le norme del contesto specifico (attore, destinatario, tipo di contenuto, principio di trasmissione). Una violazione avviene non semplicemente quando viene trasmesso un testo sensibile, ma quando il flusso di informazioni devia dalle norme specifiche del contesto (ad es., condividere un appuntamento medico con un collega invece che con un medico).

2. Metodologia: AGENTCIBENCH

Per affrontare questa lacuna, gli autori introducono AGENTCIBENCH, un framework di valutazione riutilizzabile progettato per generare e valutare scenari di rivelazione contestuale.

2.1 Generazione degli Scenari

Il framework utilizza un motore Monte Carlo Tree Search (MCTS) per far emergere scenari di stress-test realistici.

Semi (Seeds): Il processo inizia con semi di alto livello che descrivono compiti ordinari di assistenza personale (ad es., aggiornamenti lavorativi, acquisti).
Espansione: Il motore applica mutazioni mirate alla CI per creare scenari in cui le informazioni rilevanti per il task rimangono disponibili, ma le informazioni inappropriate diventano "tentanti" da includere.
Valutazione Proxy: Agenti proxy (modelli open-weight) eseguono i candidati scenari. Gli scenari sono premiati se il proxy completa il task e rivela informazioni che non dovrebbe (un risultato "alta utilità, alta perdita").
Filtraggio: Il sistema trattiene gli scenari ad alto premio e non duplicati, che vengono poi curati manualmente per coerenza.

2.2 L'Ambiente (OpenApps)

Gli scenari sono istanziati in OpenApps, uno spazio di lavoro personale a sei applicazioni (Messenger, Calendar, Maps, ToDo, Code Editor, Shop) costruito su BrowserGym.

Ambiente Grounded sullo Stato: L'agente riceve una rappresentazione testuale strutturata dello stato dell'applicazione ed emette un JSON di azione finale. Questo isola la decisione di divulgazione dai confondimenti di navigazione della UI.
Ambiente End-to-End: L'agente interagisce con la UI renderizzata tramite screenshot e alberi di accessibilità, agendo attraverso azioni UI di alto livello.

2.3 Modi di Fallimento

Il benchmark mira a tre specifici modi di fallimento basati sulla CI:

Co-localizzazione Visiva (VCL): L'agente include elementi proibiti che sono spazialmente adiacenti al target del task nella UI (ad es., copiare un evento privato del calendario accanto a una riunione di lavoro).
Overshare per Ambiguità del Task (TAO): L'agente risponde a un prompt sottospecificato (ad es., "riassumi la mia lista") scaricando tutto lo stato disponibile invece di inferire confini contestualmente appropriati.
Disallineamento del Destinatario (RMA): L'agente invia contenuti a un destinatario per il quale sono inappropriati, nonostante il contenuto sia appropriato per un altro destinatario (ad es., condividere una bozza di disputa con un proprietario di casa con un collega sviluppatore).

2.4 Metriche di Punteggio

La valutazione utilizza uno scorer ibrido che combina un matcher deterministico e un giudice LLM.

Utilità ( $U$ ): Se l'output include gli elementi che "devono essere condivisi".
Perdita ( $L$ ): Se l'output include elementi che "non devono essere condivisi".
Tasso di Rifiuto ( $R$ ): La frazione di scenari in cui l'agente rifiuta di agire.
Perdita Condizionata all'Engagement ( $L_{eng}$ ): Definita come $L / (1 - R)$ . Questa metrica è cruciale poiché separa gli agenti che sono sicuri perché selezionano il contenuto appropriato da quelli che sono sicuri semplicemente perché rifiutano di agire.

3. Contributi Chiave

AGENTCIBENCH: Un framework di valutazione generativo per i fallimenti di CI nei CUA, caratterizzato da un motore di generazione di scenari e un pool curato di scenari di stress-test.
Studio della Divulgazione su 15 Agenti Frontier: Una valutazione completa di modelli proprietari e open-weight (inclusi Claude, GPT, Gemini, Qwen, ecc.) che rivela che un'alta completamento dei task non implica una bassa perdita.
Studio di Implementazione End-to-End: Un'analisi che mostra come i pattern di perdita osservati in ambienti state-grounded persistano e talvolta aumentino quando gli agenti navigano in UI reali.
Mitigazioni della Divulgazione: Una valutazione di tre interventi leggeri a livello di prompt che riducono significativamente la perdita senza riaddestramento.

4. Risultati Chiave

Lo studio ha valutato 15 agenti frontier su 117 scenari accoppiati.

Perdita Diffusa: 12 agenti su 15 hanno rivelato informazioni in più del 50% degli scenari, con un tasso di perdita medio del 67,9%.
Mismatch tra Utilità e Sicurezza: L'alta utilità nel completamento del task è un cattivo proxy per la sicurezza della divulgazione. Tra gli agenti con utilità >75%, la perdita condizionata all'engagement variava di 84 punti percentuali (da 14,0% a 98,3%). Notevolmente, i due agenti con la più alta utilità (Gemini-3.1-Pro e Gemini-3-Flash) erano tra i più inclini alla perdita.
Il Rifiuto come Maschera: I tassi di perdita grezzi possono essere fuorvianti. Alcuni agenti ottengono una bassa perdita grezza rifiutando di agire in scenari difficili (alto tasso di rifiuto) piuttosto che filtrando correttamente il contenuto.
Pattern dei Modi di Fallimento:
- I modelli orientati alla sicurezza (ad es., Claude-Opus-4.7) mantengono bassi TAO e RMA ma rimangono elevati su VCL.
- I modelli ad alta perdita (ad es., Gemini-3.1-Pro, Qwen-3.6-Max) saturano tutti i modi di fallimento (>88% di perdita).
- I modelli a engagement selettivo (ad es., Kimi-K2.6) sopprimono VCL e RMA tramite il rifiuto, ma mostrano un'alta perdita TAO quando impegnati.
Persistenza End-to-End: Negli esperimenti su UI live, la perdita persiste. Per i due migliori agenti state-grounded, la perdita condizionata all'engagement è salita al 42,9% (Opus) e all'80,0% (Sonnet) nell'ambiente end-to-end.
Successo delle Mitigazioni: Tre difese a livello di prompt (Restrictive, Rubric-informed, e Recipient-typed) hanno ridotto la perdita condizionata all'engagement di 33–36 punti percentuali in tutti i modelli. Fondamentalmente, queste difese hanno simultaneamente aumentato l'utilità del 15,7–23,1 punti percentuali, dimostrando che sicurezza e capacità possono essere migliorate congiuntamente tramite il prompting.

5. Significato e Rivendicazioni

Il paper posiziona l'Integrità Contestuale come un controllo di sicurezza necessario pre-deployment per i CUA, distinto dai tradizionali test di evitamento del danno o di robustezza avversaria.

La Capacità non è Sicurezza: Gli autori sostengono che gli attuali ranking dei benchmark basati sul completamento del task siano insufficienti per guidare il deployment di agenti che gestiscono stati personali sensibili. Il fenomeno "capace ma incauto" è prevalente tra i modelli di alto livello.
Steerability (Guidabilità): Lo studio dimostra che le norme di divulgazione possono essere interiorizzate e la perdita ridotta significativamente attraverso interventi di prompting leggeri, suggerendo che i modelli non richiedono riaddestramento per migliorare il comportamento di privacy in questi contesti.
Utilità del Benchmark: AGENTCIBENCH è rilasciato come un harness riutilizzabile, permettendo agli sviluppatori di generare nuovi stress test man mano che le capacità dei modelli evolvono. Gli autori sottolineano che il benchmark è inteso per l'analisi del comportamento relativo e l'identificazione dei modi di fallimento, piuttosto che per fornire stime assolute del danno reale all'utente, data la natura controllata dell'ambiente OpenApps.

Il lavoro conclude che, affinché i CUA possano essere implementati in sicurezza in ambienti consumer e enterprise, i framework di valutazione devono misurare esplicitamente se i flussi di informazioni rispettano le norme del contesto specifico, piuttosto che limitarsi a verificare se un compito è stato completato.