WebPII: Benchmarking Visual PII Detection for Computer-Use Agents

1. Problema e Motivação

O surgimento de agentes de uso de computador (modelos de linguagem que operam interfaces gráficas através de visão e ação) cria novos riscos de privacidade. Diferente da automação web tradicional baseada em HTML estruturado, esses agentes observam páginas renderizadas como imagens. Isso gera dois desafios críticos:

• Treinamento: Dados coletados de sites reais contêm inevitavelmente Informações Pessoalmente Identificáveis (PII), que os modelos podem memorizar e vazar.
• Inferência: A execução em nuvem expõe capturas de tela (screenshots) contendo dados sensíveis do usuário durante operações rotineiras.

Atualmente, não existe nenhum benchmark público para detecção visual de PII em interfaces web. As soluções existentes focam em:

• Texto extraído (perdendo o contexto visual e campos vazios).
• Documentos fixos (como IDs), que não se aplicam a layouts dinâmicos de e-commerce.
• Dados sintéticos que não capturam a complexidade real das interfaces.

O objetivo do trabalho é preencher essa lacuna, permitindo a detecção e ofuscação (redação) de PII diretamente nas imagens da interface, de forma eficiente e em tempo real.

2. Metodologia: O Dataset WEBPII

Os autores introduzem o WEBPII, um benchmark sintético de alta granularidade composto por 44.865 imagens de interfaces de e-commerce, com 993.461 anotações de caixas delimitadoras (bounding boxes).

Propriedades Chave do Dataset:

1. Taxonomia Estendida de PII: Vai além dos dados tradicionais (nome, endereço). Inclui identificadores de nível de transação que permitem reidentificação, como números de pedido, IDs de rastreamento, datas de entrega e históricos de compra.
2. Detecção Antecipatória (Anticipatory Detection): O dataset anota formulários em diferentes estados de preenchimento:
   • Vazio: Campos com texto de placeholder.
   • Parcial: Campos sendo digitados (ex: "New M" em um campo de cidade).
   • Completo: Dados totalmente inseridos.
     Isso permite que os modelos ativem a proteção de privacidade durante a entrada de dados, e não apenas após a conclusão.
3. Geração Escalável via VLM:
   • O pipeline coleta screenshots reais de 10 marcas de e-commerce (19 tipos de página).
   • Utiliza Modelos de Linguagem Visuais (VLMs), especificamente o Claude Opus 4.5, para recriar as interfaces como código React funcional.
   • Durante a geração do código, o modelo injeta variáveis de dados e atributos de anotação (data-pii, data-product, data-order).
   • O código gerado é renderizado e as caixas delimitadoras são extraídas programaticamente via DOM, eliminando a necessidade de anotação manual pixel a pixel.

Controle de Qualidade:

Um pipeline de "humano no loop" valida os layouts gerados. Aproximadamente 39% dos layouts exigiram correções humanas (via instruções em linguagem natural para o modelo corrigir overflow de viewport, atributos faltantes ou campos incompletos), garantindo a fidelidade visual e a precisão das anotações.

3. Contribuições Principais

• Primeiro Benchmark Visual de PII para Web: WEBPII é o primeiro conjunto de dados a combinar localização visual, categorias semânticas de PII, foco em interfaces web, identificadores estendidos e suporte a estados de formulário parciais.
• Pipeline de Geração Sintética Automatizado: Uma abordagem escalável que usa VLMs para reproduzir UIs e injetar dados, permitindo a criação de milhares de variações de dados (PII, produtos, pedidos) sobre o mesmo layout base.
• Modelo WEBREDACT: Um modelo de detecção de objetos treinado no WEBPII, otimizado para inferência em CPU, capaz de identificar PII em tempo real.

4. Resultados Experimentais

Os autores treinaram o modelo WEBREDACT e compararam com métodos baseados em texto (OCR + NER/LLM).

• Desempenho (mAP@50):

  • WEBREDACT: Alcançou 0.753 mAP@50 em testes de generalização entre empresas (TestCross-Company).
  • Baseline de Texto (LayoutLMv3 + GPT-4o-mini): Apenas 0.357 mAP@50.
  • WEBREDACT-LARGE (1280x1280): Alcançou 0.842 mAP@50.
  • Conclusão: A abordagem visual supera a extração de texto em mais de 2x, especialmente porque consegue detectar campos vazios ou parcialmente preenchidos que o OCR ignora.

• Latência e Eficiência:

  • O WEBREDACT opera em ~20ms em CPUs de consumo (Intel i5/AMD Ryzen 5), permitindo detecção em tempo real (30 fps).
  • Métodos baseados em texto (OCR + Classificação LLM) levam de 1.3s a 2.9s, sendo impraticáveis para uso interativo em tempo real.

• Estudos de Ablação:

  • A diversidade de estados de preenchimento (vazio, parcial, cheio) é crucial; treinar apenas com formulários completos reduz o desempenho em campos parciais.
  • A injeção de dados variados (nomes, endereços, produtos) melhora significativamente a generalização além da diversidade de layouts.

5. Significado e Impacto

• Privacidade em Agentes Autônomos: O trabalho fornece a base necessária para integrar proteções de privacidade nativas em agentes de IA que operam navegadores, permitindo que eles ofusquem dados sensíveis antes de enviar capturas de tela para a nuvem ou antes de memorizar dados de treinamento.
• Eficiência Computacional: A ênfase em modelos leves executáveis em CPU (Edge AI) é vital para aplicações de privacidade, onde o processamento local evita a transmissão de dados sensíveis.
• Recursos Abertos: Os autores liberaram o dataset (WEBPII), o modelo treinado (WEBREDACT) e o modelo de alta precisão (WEBREDACT-LARGE) para fomentar pesquisas futuras em computação segura e agentes de uso de computador.

Em resumo, o paper demonstra que a detecção visual direta de PII em interfaces de usuário é não apenas viável, mas superior e mais rápida que os métodos tradicionais baseados em texto, sendo um componente essencial para a próxima geração de assistentes de IA privados e seguros.