기술 요약: 유능하지만 부주의한: 컴퓨터 사용 에이전트는 맥락적 무결성을 준수하는가?

1. 문제 정의

컴퓨터 사용 에이전트(Computer-use agents, CUAs)는 사용자를 대신하여 개인용 애플리케이션(예: 이메일, 캘린더, 할 일 목록)에서 동작하도록 점점 더 많이 배치되고 있습니다. 이러한 교차 애플리케이션 접근성은 작업 완료 능력을 향상시키지만, 결정적이고 아직 충분히 탐구되지 않은 프라이버시 위험인 **맥락적 노출(contextual disclosure)**을 초래합니다. 전통적인 보안 벤치마크가 적대적 공격이나 단일 턴 텍스트 유출에 집중하는 것과 달리, CUAs는 여러 애플리케이션에서 상태(state)를 축적하며 다중 턴 궤적(multi-turn trajectories) 내에서 작동합니다. 핵심 문제는 에이전트가 작업을 성공적으로 완료할 수는 있지만, 한 맥락(예: 개인적인 메모)에서는 적절하지만 대상 맥락(예: 매니저에게 보내는 메시지)에서는 부적절한 정보를 의도치 않게 노출할 수 있다는 점입니다.

기존의 평가 방식은 이러한 특정 실패 모드를 측정하는 데 실패합니다. 능력 벤치마크는 작업 완료를 점수화하고, 보안 벤치마크는 적대적 강건성을 평가하지만, 협력적인 에이전트가 일반적인 사용 중에 개인적인 상태를 유출하는지 여부는 평가하지 않습니다. 또한, 언어 모델을 위한 표준 프라이버시 평가는 종종 단일 턴 프롬프트에 의존하며 렌더링된 사용자 인터페이스(UI)를 통해 축적되는 상태를 고려하지 않습니다.

저자들은 **맥락적 무결성(Contextual Integrity, CI)**이 필수적인 평가 렌즈라고 주장합니다. CI는 정보의 흐름이 특정 맥락(행위자, 수신자, 콘텐츠 유형, 전송 원칙)의 규범을 존중할 때 프라이버시가 보존된다고 상정합니다. 위반은 단순히 민감한 텍스트가 전송될 때 발생하는 것이 아니라, 정보의 흐름이 맥락 특유의 규범에서 벗어날 때(예: 의료 관련 약속을 의사가 아닌 동료와 공유하는 경우) 발생합니다.

2. 방법론: AGENTCIBENCH

이 간극을 메우기 위해 저자들은 맥락적 노출 시나리오를 생성하고 점수를 매기도록 설계된 재실행 가능한 평가 하네스인 AGENTCIBENCH를 소개합니다.

2.1 시나리오 생성

하네스는 현실적인 스트레스 테스트 시나리오를 표면화하기 위해 몬테카를로 트리 탐색(MCTS) 엔진을 사용합니다.

• 시드(Seeds): 프로세스는 평범한 개인 비서 작업(예: 직장 업데이트, 쇼핑)을 설명하는 높은 수준의 시드에서 시작됩니다.
• 확장(Expansion): 엔진은 CI를 겨냥한 변형을 적용하여, 작업 관련 정보는 유지하면서도 부적절한 정보가 포함되기에 "유혹적인" 시나리오를 만듭니다.
• 프록시 평가(Proxy Evaluation): 프록시 에이전트(오픈 웨이트 모델)가 후보 시나리오를 실행합니다. 시나리오는 프록시가 작업을 완료하면서 동시에 포함해서는 안 될 정보를 노출할 때(즉, "높은 효용, 높은 유출" 결과) 보상을 받습니다.
• 필터링(Filtering): 시스템은 높은 보상을 받는 중복되지 않은 시나리오를 보유하며, 이는 일관성을 위해 수동으로 큐레이션됩니다.

2.2 환경 (OpenApps)

시나리오는 BrowserGym을 기반으로 구축된 6개의 애플리케이션 개인 작업 공간(Messenger, Calendar, Maps, ToDo, Code Editor, Shop)인 OpenApps에서 인스턴스화됩니다.

• 상태 기반 설정(State-Grounded Setting): 에이전트는 애플리케이션 상태의 구조화된 텍스트 표현을 전달받고 최종 액션 JSON을 출력합니다. 이는 UI 탐색으로 인한 혼란으로부터 노출 결정을 격리합니다.
• 엔드 투 엔드 설정(End-to-End Setting): 에이전트는 스크린샷과 접근성 트리(accessibility trees)를 통해 렌더링된 UI와 상호작용하며, 고수준 UI 액션을 통해 동작합니다.

2.3 실패 모드

벤치마크는 세 가지 구체적인 CI 기반 실패 모드를 대상으로 합니다:

1. 시각적 인접 노출 (Visual Co-location, VCL): 에이전트가 UI 내의 작업 대상 옆에 공간적으로 인접한 금지된 항목을 포함하는 경우 (예: 개인적인 캘린더 이벤트를 업무 회의 옆에 복사하여 붙여넣는 경우).
2. 작업 모호성 과잉 공유 (Task-Ambiguity Overshare, TAO): 에이전트가 불충분하게 명시된 프롬프트(예: "내 리스트를 요약해줘")에 대해, 맥락적으로 적절한 경계를 추론하는 대신 사용 가능한 모든 상태를 쏟아내는 경우.
3. 수신자 불일치 (Recipient Misalignment, RMA): 콘텐츠 자체가 다른 수신자에게는 적절할지라도, 그 콘텐츠를 받기에 부적절한 수신자에게 콘텐츠를 보내는 경우 (예: 집주인과의 분쟁 초안을 동료 개발자에게 공유하는 경우).

2.4 점수 산정 지표

평가는 결정론적 매처(matcher)와 LLM 판사(judge)를 결합한 하이브리드 스코어를 사용합니다.

• 효용 (Utility, $U$): 출력이 필수 공유 항목을 포함하는지 여부.
• 유출 (Leakage, $L$): 출력이 공유 금지 항목을 포함하는지 여부.
• 거절률 (Refusal Rate, $R$): 에이전트가 행동을 거부한 시나리오의 비율.
• 참여 조건부 유출 (Engagement-Conditioned Leakage, $L_{eng}$): $L / (1 - R)$로 정의됩니다. 이 지표는 중요한데, 왜냐하면 적절한 콘텐츠를 선택함으로써 안전한 에이전트와 단순히 행동을 거부함으로써 안전한 에이전트를 구분해주기 때문입니다.

3. 주요 기여

1. AGENTCIBENCH: 시나리오 표면화 엔진과 큐레이션된 스트레스 테스트 시나리오 풀을 특징으로 하는, CUA의 CI 실패를 위한 생성형 평가 하네스.
2. 15개 프런티어 에이전트에 대한 노출 연구: Claude, GPT, Gemini, Qwen 등을 포함한 독점 및 오픈 웨이트 모델에 대한 포괄적인 평가를 통해, 높은 작업 완료도가 낮은 유출을 의미하지 않음을 밝힘.
3. 엔드 투 엔드 배포 연구: 상태 기반 설정에서 관찰된 유출 패턴이 라이브 UI를 탐색할 때 지속되거나 때로는 증가한다는 분석.
4. 노출 완화: 재학训练 없이 유출을 크게 줄이는 세 가지 경량 프롬프트 수준 개입에 대한 평가.

4. 주요 결과

연구는 117개의 쌍으로 된 시나리오에 대해 15개의 프런티어 에이전트를 평가했습니다.

• 광범위한 유출: 15개 에이전트 중 12개가 50% 이상의 시나리오에서 유출을 일으켰으며, 평균 유출률은 **67.9%**였습니다.
• 효용 vs. 안전성 불일치: 높은 작업 완료 효용은 노출 안전성의 좋은 대리 지표가 아닙니다. 효용이 75% 이상인 에이전트들 사이에서도 참여 조건부 유출은 84 퍼센트 포인트 차이(14.0%에서 98.3%까지)를 보였습니다. 특히, 가장 높은 효용을 보인 두 모델(Gemini-3.1-Pro 및 Gemini-3-Flash)은 가장 유출이 많은 모델 그룹에 속했습니다.
• 가면으로서의 거절: 가공되지 않은 유출률은 오해를 불러일로 수 있습니다. 일부 에이전트는 콘텐츠를 성공적으로 필터링하기보다 어려운 시나리오에 대해 행동을 거부함으로써 낮은 가공 유출률을 달성합니다.
• 실패 모드 패턴:
  • 안전 튜닝된 모델 (예: Claude-Opus-4.7)은 TAO와 RMA는 낮게 유지했으나 VCL에서는 여전히 높은 수치를 보였습니다.
  • 고유출 모델 (예: Gemini-3.1-Pro, Qwen-3.6-Max)은 모든 실패 모드에서 포화 상태를 보였습니다 (>88% 유출).
  • 선택적 참여 모델 (예: Kimi-K2.6)은 거절을 통해 VCL과 RMA를 억제했지만, 참여했을 때는 높은 TAO 유출을 보였습니다.
• 엔드 투 엔드 지속성: 라이브 UI 실험에서 유출은 지속되었습니다. 가장 우수한 상태 기반 에이전트 두 모델의 경우, 엔드 투 엔드 설정에서 참여 조건부 유출이 각각 42.9%(Opus)와 80.0%(Sonnet)로 상승했습니다.
• 완화 성공: 세 가지 프롬프트 수준 방어 기제(Restrictive, Rubric-informed, Recipient-typed)는 모든 모델에서 참여 조건부 유출을 33~36 퍼센트 포인트 감소시켰습니다. 결정적으로, 이러한 방어 기제들은 동시에 효용을 15.7~23.1 퍼센트 포인트 증가시켜, 프롬프팅을 통해 안전성과 역량을 동시에 개선할 수 있음을 입증했습니다.

5. 의의 및 주장

본 논문은 맥락적 무결성을 CUA의 배포 전 필수적인 안전 점검 사항으로 위치시키며, 이를 전통적인 해악 방지나 적대적 강건성 테스트와 구별합니다.

• 역량은 안전이 아니다: 저자들은 작업 완료에 기반한 현재의 벤치마크 순위가 민감한 개인 상태를 다루는 에이전트의 배포를 가이드하기에는 불충분하다고 주장합니다. "유능하지만 부주의한" 현상은 최상위 모델들 사이에서 흔히 나타납니다.
• 조종 가능성(Steerability): 본 연구는 경량 프롬프트 개입을 통해 노출 규범을 내재화하고 유출을 크게 줄일 수 있음을 보여주며, 이는 모델이 이러한 맥락에서의 프라이버시 행동을 개선하기 위해 재학습을 필요로 하지 않음을 시사합니다.
• 벤치마크 유용성: AGENTCIBEN-CH는 재실행 가능한 하네스로 공개되어, 모델 역량이 진화함에 따라 새로운 스트레스 테스트를 생성할 수 있도록 합니다. 저자들은 OpenApps 환경의 통제된 특성을 고려할 때, 이 벤치마크가 절대적인 실세계 사용자 피해 추정보다는 상대적인 행동 분석 및 실패 모드 식별을 목적으로 함을 강조합니다.

본 연구는 CUA가 소비자 및 기업 환경에 안전하게 배포되기 위해서는, 단순히 작업이 완료되었는지를 검증하는 것을 넘어 정보의 흐름이 특정 맥락의 규범을 준수하는지를 명시적으로 측정하는 평가 프레임워크가 필요하다고 결론짓습니다.