🤖 AI

Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?

Este artigo apresenta o AgentCIBench, um framework de avaliação que revela riscos significativos de privacidade em agentes de uso de computador ao demonstrar que 11 de 15 modelos de fronteira vazam frequentemente informações transversais inapropriadas devido à colocalização visual, ambiguidade de tarefas e desalinhamento de destinatário.

Autores originais: Anmol Goel, Iryna Gurevych

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Anmol Goel, Iryna Gurevych

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você contrata um assistente pessoal superinteligente e incrivelmente capaz chamado "Agente". Este Agente tem acesso a toda a sua vida digital: seus e-mails de trabalho, seu diário particular, seus lembretes de consultas médicas, suas listas de compras e o chat da sua família.

O artigo "Capable but Careless" (Capaz, mas Descuidado) faz uma pergunta simples, mas assustadora: Só porque este Agente é bom em realizar tarefas, ele sabe o que não deve contar às pessoas?

Os pesquisadores descobriram que, embora esses Agentes sejam excelentes em completar tarefas, eles são surpreendentemente ruins em saber qual informação é apropriada para compartilhar em uma situação específica. Eles chamam essa falha de "Integridade Contextual".

Aqui está uma análise das descobertas deles usando analogias simples:

1. O Problema: A Analogia da "Cozinha Aberta"

Imagine que seu Agente é um chef trabalhando em uma cozinha onde todos os seus ingredientes estão espalhados em um balcão gigante.

A Tarefa: Um colega pergunta: "O que tem para o almoço?"
O Trabalho do Agente: Olhar para o balcão, encontrar os ingredientes do sanduíche e dizer ao colega.
O Erro: O Agente vê um pote de picles (item de trabalho) logo ao lado de uma garrafa de veneno (informação médica privada) e uma foto do seu ex (informação pessoal). Como todos estão sentados um ao lado do outro no balcão, o Agente acidentalmente diz: "Temos picles, veneno e a foto do seu ex para o almoço."

O Agente não está tentando ser mau; ele é apenas "descuidado". Ele vê tudo e assume que tudo é informação válida para mencionar.

2. As Três Maneiras de os Agentes serem Descidados

Os pesquisadores identificaram três maneiras específicas pelas quais esses Agentes falham:

Co-localização Visual (O Problema do "Ao Lado do Alvo"):
Imagine que você está olhando para uma lista de tarefas de trabalho. Logo ao lado de "Terminar o relatório" há um post-it que diz "Ligar para o advogado de divórcio". Se você pedir ao Agente para "enviar a lista de trabalho", ele pode acidentalamente incluir a nota do advogado de divórcio porque ela estava sentada bem ao lado da tarefa de trabalho na tela.
Excesso de Informação por Ambiguidade de Tarefa (O Problema do "Derrubar o Balde Inteiro"):
Você diz: "Resuma minha lista de tarefas". Você não disse "Resuma apenas os itens de trabalho". O Agente, querendo ser prestativo, despeja tudo sobre você, incluindo "Comprar presente de aniversário para mamãe" e "Agendar dentista", mesmo que você esteja falando com seu chefe. Ele não sabe como filtrar.
Desalinhamento de Destinatário (O Problema do "Público Errado"):
Você tem um rascunho de e-mail sobre uma reclamação séria de RH. Você pede ao Agente para "enviar este rascunho para meu amigo". O Agente o envia. Mas então você pede ao Agente para "enviar este rascunho para meu chefe". O Agente ainda assim o envia, não percebendo que o que é aceitável dizer a um amigo é um desastre para dizer a um chefe.

3. O Experimento: "AgentCIBench"

Para testar isso, os pesquisadores construíram um campo de teste especial chamado AgentCIBench.

Eles criaram um mundo digital falso com aplicativos como calendários, listas de tarefas e mensageiros.
Eles preencheram o mundo com uma mistura de coisas de trabalho e coisas privadas.
Eles deram tarefas para 15 diferentes agentes de IA de alto nível (como Claude, GPT, Gemini, etc.) neste mundo.
Eles observaram para ver se os Agentes acidentalmente vazavam segredos privados enquanto tentavam realizar o trabalho.

4. Os Resultados Chocantes

Os resultados não foram bons.

Alta Taxa de Falha: De 15 agentes testados, 12 deles vazaram informações privadas em mais da metade dos cenários.
Capacidade $\neq$ Segurança: Os agentes que eram melhores em concluir tarefas eram frequentemente os piores em guardar segredos. Ser "inteligente" para fazer o trabalho não significava ser "inteligente" para saber o que esconder.
O Truque da "Recusa": Alguns agentes pareciam seguros apenas porque se recusavam a realizar a tarefa. Se você faz uma pergunta complicada, eles apenas dizem "Não posso fazer isso". Mas se eles tentam realizar a tarefa, eles vazam segredos.

5. A Boa Notícia: Pode ser Consertado

Os pesquisadores testaram três "regras" (prompts) simples para ensinar os Agentes a se comportarem melhor, sem a necessidade de treiná-los do zero:

Seja Restritivo: "Olhe apenas para os itens específicos necessários para esta tarefa."
Use uma Rubrica: "Antes de falar, pergunte a si mesmo: Isso é necessário? Isso é apropriado para esta pessoa?"
Nomeie o Destinatário: "Diga-me com quem você está falando e quais regras se aplicam a essa pessoa antes de escrever."

O Resultado: Essas regras simples reduziram o vazamento em cerca de 33% a 36% e, na verdade, tornaram os Agentes melhores em seus trabalhos (maior utilidade), porque pararam de se distrair com informações privadas irrelevantes.

A Conclusão

O artigo conclui que não podemos apenas confiar nos agentes de IA porque eles são "bons em seus trabalhos". Precisamos testá-los especificamente em Integridade Contextual — a capacidade de saber qual informação pertence a qual contexto.

Atualmente, a maioria dos agentes é como um assistente muito entusiasmado, mas desajeitado, que felizmente leria seu diário particular para o seu chefe se você pedisse para "resumir o seu dia". Precisamos ensiná-los a diferença entre o "modo de trabalho" e o "modo privado" antes de deixá-los soltos em nossos computadores reais.

Resumo Técnico: Capazes, mas Descuidados: Agentes de Uso de Computador Seguem a Integridade Contextual?

1. Definição do Problema

Agentes de uso de computador (CUAs) estão sendo cada vez mais implantados para agir em nome dos usuários em diversas aplicações pessoais (ex: e-mail, calendários, listas de tarefas). Embora esse acesso multiplataforma melhore a conclusão de tarefas, ele introduz um risco de privacidade crítico e subexplorado: a divulgação contextual. Diferente dos benchmarks de segurança tradicionais que focam em ataques adversários ou vazamento de texto de turno único, os CUAs operam em trajetórias de múltiplos turnos onde acumulam estado de múltiplas aplicações. O problema central é que um agente pode concluir uma tarefa com sucesso enquanto inadvertidamente divulga informações que são apropriadas em um contexto (ex: uma nota pessoal), mas inapropriadas no contexto de destino (ex: uma mensagem para um gerente).

As avaliações existentes falham em medir esse modo específico de falha. Benchmarks de capacidade pontuam a conclusão da tarefa, e benchmarks de segurança avaliam a robustez adversária, mas nenhum deles avalia se um agente cooperativo vaza estado pessoal sob uso normal. Além disso, as avaliações de privacidade padrão para modelos de linguagem geralmente dependem de prompts de turno único e não consideram o acúmulo de estado através de uma Interface de Usuário (UI) renderizada.

Os autores argumentam que a Integridade Contextual (CI) é a lente de avaliação necessária. A CI postula que a privacidade é preservada quando o fluxo de informações respeita as normas do contexto específico (ator, destinatário, tipo de conteúdo, princípio de transmissão). Uma violação ocorre não apenas quando um texto sensível é transmitido, mas quando o fluxo de informação desvia das normas específicas do contexto (ex: compartilhar um compromto médico com um colega em vez de com um médico).

2. Metodologia: AGENTCIBENCH

Para abordar essa lacuna, os autores introduzem o AGENTCIBENCH, um harness de avaliação reexecutável projetado para gerar e pontuar cenários de divulgação contextual.

2.1 Geração de Cenários

O harness utiliza um motor de Busca em Árvore de Monte Carlo (MCTS) para trazer à tona cenários de teste de estresse realistas.

Sementes: O processo começa com sementes de alto nível descrevendo tarefas comuns de assistente pessoal (ex: atualizações de trabalho, compras).
Expansão: O motor aplica mutações direcionadas à CI para criar cenções onde informações relevantes para a tarefa permanecem disponíveis, mas informações inapropriadas tornam-se "tentadoras" de serem incluídas.
Avaliação por Proxy: Agentes de proxy (modelos de pesos abertos) executam os candidatos a cenários. Os cenários são recompensados se o proxy completar a tarefa e divulgar informações que não deveria (um resultado de "alta utilidade, alta filtragem").
Filtragem: O sistema retém cenários de alta recompensa e não duplicados, que são então curados manualmente para coerência.

2.1 O Ambiente (OpenApps)

Os cenários são instanciados no OpenApps, um espaço de trabalho pessoal de seis aplicações (Messenger, Calendar, Maps, ToDo, Code Editor, Shop) construído sobre o BrowserGym.

Configuração Baseada em Estado: O agente recebe uma representação textual estruturada do estado da aplicação e emite um JSON de ação final. Isso isola a decisão de divulgação das confusões de navegação na UI.
Configuração Ponta a Ponta (End-to-End): O agente interage com a UI renderizada através de capturas de tela e árvores de acessibilidade, agindo por meio de ações de UI de alto nível.

2.3 Modos de Falha

O benchmark visa três modos de falha específicos baseados em CI:

Co-localização Visual (VCL): O agente inclui itens proibidos que estão espacialmente adjacentes ao alvo da tarefa na UI (ex: copiar um evento de calendário privado ao lado de uma reunião de trabalho).
Excesso de Compartilhamento por Ambiguidade de Tarefa (TAO): O agente responde a um prompt subespecificado (ex: "resuma minha lista") despejando todo o estado disponível em vez de inferir limites contextualmente apropriados.
Desalinhamento de Destinatário (RMA): O agente envia conteúdo para um destinatário para quem é inapropriado, apesar de o conteúdo ser apropriado para um destinatário diferente (ex: compartilhar um rascunho de disputa com um senhorio com um desenvolvedor colega).

2.4 Métricas de Pontuação

A avaliação utiliza um pontuador híbrido combinando um comparador determinístico e um juiz de LLM.

Utilidade ( $U$ ): Se a saída inclui itens que "devem ser compartilhados".
Vazamento ( $L$ ): Se a saída inclui itens que "não devem ser compartilhados".
Taxa de Recusa ( $R$ ): A fração de cenários onde o agente se recusa a agir.
Vazamento Condicionado ao Engajamento ( $L_{eng}$ ): Definido como $L / (1 - R)$ . Esta métrica é crucial, pois separa agentes que são seguros porque selecionam o conteúdo apropriado daqueles que são seguros simplesmente porque se recusam a agir.

3. Principais Contribuições

AGENTCIBENCH: Um harness de avaliação generativo para falhas de CI em CUAs, apresentando um motor de surgimento de cenários e um pool curado de cenários de teste de estresse.
Estudo de Divulgação de 15 Agentes de Fronteira: Uma avaliação abrangente de modelos proprietários e de pesos abertos (incluindo Claude, GPT, Gemini, Qwen, etc.) revelando que alta conclusão de tarefa não implica baixa filtragem.
Estudo de Implantação Ponta a Ponta: Uma análise mostrando que padrões de vazamento observados em configurações baseadas em estado persistem e às vezes aumentam quando agentes navegam em UIs ao vivo.
Mitigações de Divulgação: Uma avaliação de três intervenções leves de nível de prompt que reduzem significativamente o vazamento sem retreinamento.

4. Principais Resultados

O estudo avaliou 15 agentes de fronteira em 117 cenários pareados.

Vazamento Generalizado: 12 de 15 agentes apresentaram vazamento em mais de 50% dos cenários, com uma taxa média de vazamento de 67,9%.
Descompasso entre Utilidade e Segurança: A alta utilidade de conclusão de tarefa é um mau substituto para a segurança de divulgação. Entre agentes com utilidade >75%, o vazamento condicionado ao engajamento variou em 84 pontos percentuais (variando de 14,0% a 98,3%). Notavelmente, os dois agentes de maior utilidade (Gemini-3.1-Pro e Gemini-3-Flash) estavam entre os que mais vazaram.
Recusa como Máscara: Taxas de vazamento brutas podem ser enganosas. Alguns agentes alcançam baixo vazamento bruto ao recusar agir em cenários difíceis (alta taxa de recusa) em vez de filtrar o conteúdo com sucesso.
Padrões de Modo de Falha:
- Modelos ajustados para segurança (ex: Claude-Opus-4.7) mantiveram TAO e RMA baixos, mas permaneceram elevados em VCL.
- Modelos de alto vazamento (ex: Gemini-3.1-Pro, Qwen-3.6-Max) saturaram todos os modos de falha (>88% de vazamento).
- Modelos de engajamento seletivo (ex: Kimi-K2.6) suprimiram VCL e RMA via recusa, mas mostraram alto vazamento de TAO quando engajados.
Persistência Ponta a Ponta: Em experimentos de UI ao vivo, o vazamento persistiu. Para os dois melhores agentes baseados em estado, o vazamento condicionado ao engajamento subiu para 42,9% (Opus) e 80,0% (Sonnet) na configuração ponta a ponta.
Sucesso da Mitigação: Três defesas de nível de prompt (Restritiva, Informada por Rubrica e Tipagem de Destinatário) reduziram o vazamento condicionado ao engajamento em 33–36 pontos percentuais em todos os modelos. Crucialmente, essas defesas simultaneamente aumentaram a utilidade em 15,7–23,1 pontos percentuais, demonstrando que segurança e capacidade podem ser melhoradas conjuntamente através de prompting.

5. Significância e Alegações

O artigo posiciona a Integridade Contextual como uma verificação de segurança necessária pré-implantação para CUAs, distinta dos testes tradicionais de prevenção de danos ou robustez adversária.

Capacidade não é Segurança: Os autores alegam que os rankings atuais de benchmarks baseados em conclusão de tarefa são insuficientes para guiar a implantação de agentes que lidam com estados pessoais sensíveis. O fenômeno "capaz, mas descuidado" é prevalente entre os principais modelos.
Direcionabilidade: O estudo demonstra que as normas de divulgação podem ser internalizadas e o vazamento reduzido significativamente através de intervenções de prompt leves, sugerindo que os modelos não requerem retreinamento para melhorar o comportamento de privacidade nesses contextos.
Utilidade do Benchmark: O AGENTCIBENCH é lançado como um harness reexecutável, permitindo aos desenvolvedores gerar novos testes de estresse conforme as capacidades dos modelos evoluem. Os autores enfatizam que o benchmark é destinado para análise de comportamento relativo e identificação de modos de falha, em vez de fornecer estimativas absolutas de dano ao usuário no mundo real, dado o ambiente controlado do OpenApps.

O trabalho conclui que, para que os CUAs sejam implantados com segurança em ambientes de consumo e corporativos, as estruturas de avaliação devem medir explicitamente se os fluxos de informação respeitam as normas do contexto específico, em vez de meramente verificar se uma tarefa foi concluída.