WEBPII: 웹 인터페이스를 위한 시각적 PII(개인식별정보) 탐지 벤치마크 기술 요약

이 논문은 컴퓨터 사용 에이전트 (Computer-use Agents) 의 등장으로 인해 발생하는 새로운 프라이버시 위험을 해결하기 위해 제안된 WEBPII라는 새로운 벤치마크와 WEBREDACT라는 탐지 모델을 소개합니다.

1. 문제 정의 (Problem)

• 새로운 프라이버시 위협: Claude Computer Use, Gemini 2.5 와 같은 최신 컴퓨터 사용 에이전트는 DOM 구조 대신 렌더링된 웹 페이지 (이미지) 를 시각적으로 관찰하여 마우스/키보드 동작을 수행합니다. 이 과정에서 모든 스크린샷에 포함된 민감한 개인식별정보 (PII) 가 클라우드 기반 추론을 통해 유출될 수 있으며, 학습 데이터에도 실제 PII 가 포함되어 모델이 이를 기억하고 누출할 위험이 있습니다.
• 기존 솔루션의 한계:
  • 기존 PII 탐지 시스템은 추출된 텍스트에 의존하여, 시각적 맥락에서 민감도가 결정되는 렌더링된 콘텐츠를 놓칩니다.
  • 샌드박스 벤치마크나 크라우드소싱 데이터셋은 실제 인증된 콘텐츠나 실시간 입력 상황을 반영하지 못합니다.
  • 웹 인터페이스에서 시각적 PII 탐지를 위한 공개된 벤치마크가 존재하지 않았습니다.
• 핵심 과제: 웹 UI 의 복잡한 레이아웃, 동적 렌더링, 그리고 사용자가 입력하는 **중간 상태 (partially-filled)**에서의 PII 탐지 (예상적 탐지, anticipatory detection) 가 필요합니다.

2. 방법론 (Methodology)

2.1 WEBPII 데이터셋 구축

WEBPII 는 44,865 개의 주석이 달린 전자상거래 UI 이미지를 포함하는 합성 벤치마크입니다.

• 생성 파이프라인:
  1. 소스 수집: 10 개 브랜드의 19 가지 페이지 유형 (장바구니, 결제, 주문 내역 등) 에서 실제 스크린샷을 수집합니다.
  2. VLM 기반 UI 재현: Vision-Language Model (Claude Opus 4.5 등) 을 사용하여 수집된 스크린샷을 기능적인 React 컴포넌트 코드로 재현합니다. 이 과정에서 PII 와 제품 정보는 하드코딩된 값이 아닌 변수 참조로 대체됩니다.
  3. 주석 주입 및 추출: 코드 생성 시 데이터 속성 (data attributes) 을 포함시켜, 렌더링된 DOM 에서 브라우저 API 를 통해 픽셀 단위의 바운딩 박스를 자동으로 추출합니다.
  4. 데이터 주입 (Injection): Faker, Amazon Berkeley Objects (ABO) 등을 활용하여 다양한 PII, 제품 정보, 주문 ID 등을 주입하여 동일한 레이아웃에서 수천 가지의 다양한 이미지를 생성합니다.
• 주요 특징:
  • 확장된 PII 분류 체계: 이름, 주소 등 전통적 PII 외에도 주문 번호, 배송 날짜, 추적 번호 등 재식별 (re-identification) 이 가능한 거래 수준 식별자를 포함합니다.
  • 예상적 탐지 (Anticipatory Detection): 사용자가 입력을 완료하기 전, **입력 중 (mid-typing)**인 상태와 빈 폼, 채워진 폼 등 다양한 단계의 데이터를 포함하여 프라이버시 개입이 입력 완료 전에 발생할 수 있도록 합니다.
  • 확장성: VLM 기반 자동화 파이프라인을 통해 수동 주석 없이 대규모 데이터를 생성합니다.

2.2 WEBREDACT 모델

• 목적: 실시간 CPU 추론이 가능한 경량 시각적 PII 탐지 모델.
• 아키텍처: WEBPII 데이터셋을 기반으로 학습된 객체 탐지 모델 (Object Detection).
• 클래스 정의: 학습 효율성을 위해 PII 유형을 세분화하지 않고 **텍스트 (PII 필드, 제품 설명 등)**와 이미지 (제품 이미지) 두 가지 클래스로 그룹화하여 학습합니다.
• 구현: OpenVINO 를 사용하여 CPU 환경에서 최적화되었습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 웹 시각적 PII 벤치마크: 웹 인터페이스의 렌더링된 PII 탐지를 위한 첫 번째 공개 데이터셋 (WEBPII) 을 제공합니다.
2. 새로운 탐지 패러다임: 단순한 텍스트 추출이 아닌, 시각적 컨텍스트와 **입력 진행 상태 (fill state)**를 고려한 탐지 방식을 정립했습니다.
3. 확장된 PII 정의: 전통적 PII 를 넘어 재식별이 가능한 거래 관련 식별자 (Order ID, Tracking ID 등) 를 체계적으로 포함했습니다.
4. 실용적 모델 공개: 실시간 (20ms) CPU 추론이 가능하며 기존 텍스트 기반 베이스라인을 압도하는 성능을 보이는 WEBREDACT 모델과 대용량 버전을 공개합니다.

4. 실험 결과 (Results)

4.1 성능 비교

• 정확도: WEBREDACT 는 mAP@50 0.753을 기록하여, 최상의 텍스트 기반 베이스라인 (LayoutLMv3 + GPT-4o-mini, mAP@50 0.357) 보다 2 배 이상 높은 성능을 보였습니다.
• 지연 시간 (Latency):
  • WEBREDACT: 20ms (CPU 기준, 30fps 실시간 처리 가능).
  • 텍스트 기반 방법 (OCR + LLM): 1.3 초 ~ 2.9 초 (실시간 처리 불가능).
  • WEBREDACT-LARGE (고해상도): 312ms (mAP@50 0.842).

4.2 일반화 능력 (Ablation Studies)

• 레이아웃 불변성: 다른 회사의 디자인 시스템 (Amazon 등) 이나 다른 페이지 유형 (영수증 등) 으로 테스트했을 때에도 높은 성능을 유지하며, 레이아웃과 페이지 유형에 구애받지 않는 일반화 능력을 입증했습니다.
• 데이터 다양성의 중요성:
  • 입력 상태 다양성: 빈 폼, 부분 입력, 완전 입력 데이터를 모두 학습했을 때 성능이 가장 높았으며, 특히 부분 입력 (partial-fill) 데이터가 중간 시각적 근거 (grounding) 를 제공하여 성능 향상에 결정적이었습니다.
  • 데이터 주입 밀도: 동일한 레이아웃에 다양한 PII 값을 주입할수록 (1 개 → 25 개) 모델의 일반화 성능이 향상되었습니다.

5. 의의 및 결론 (Significance)

• 프라이버시 보호 인프라: 컴퓨터 사용 에이전트가 상용화됨에 따라, 클라우드 서버로 스크린샷을 전송하기 전에 **온디바이스 (On-device)**에서 실시간으로 PII 를 탐지하고 마스킹할 수 있는 기술적 기반을 마련했습니다.
• 에이전트 시스템의 진화: PII 탐지 기능은 에이전트가 민감한 정보를 처리할 때 행동을 제어하거나 (예: 입력 중단, 마스킹), 프라이버시 보호 RL 환경 구축을 위한 시뮬레이션 도구로도 활용 가능합니다.
• 연구 지원: 데이터셋과 모델 (WEBPII, WEBREDACT) 을 오픈소스로 공개하여 프라이버시 보호 컴퓨터 사용 연구 커뮤니티의 발전을 촉진합니다.

이 논문은 시각적 에이전트 시대의 프라이버시 문제를 해결하기 위해, 단순한 텍스트 분석을 넘어 시각적 렌더링과 입력 상태를 종합적으로 이해하는 새로운 접근법을 제시했다는 점에서 의의가 큽니다.