기술 요약: 컴퓨터 사용 에이전트 보안

문제 정의

컴퓨터 사용 에이전트 (CUA) 는 제한된 벤치마크 환경에서 브라우저, 데스크톱, 모바일 애플리케이션, 파일 시스템, 도구 백엔드와 상호작용하는 실제 소프트웨어 환경으로 전환되고 있습니다. 이러한 실시간 환경에서 신뢰성은 단순히 작업 성공률로 정의되지 않습니다. 대신 이는 지각 오류, 계획 편차, 메모리 관리, 도구 중재, 권한 범위, 그리고 런타임 감독 간의 상호작용에 의해 결정되는 시스템 수준의 속성입니다.

기존 문헌은 주로 방법론 계열, 플랫폼 커버리지, 벤치마크 인벤토리, 또는 특정 보안 위협에 따라 CUA 지형을 조직화합니다. 그러나 능력 형성, 권한 노출, 오류 발현, 그리고 통제 배치를 명시적으로 연결하는 통합된 좌표계가 부족합니다. 구체적으로, 현재 조사 연구들은 오류가 언제 가시화되는지 (예: 런타임 시) 와 그 오류를 가능하게 하는 조건이 언제 도입되었는지 (예: 훈련 데이터 선별 또는 권한 바인딩 중) 를 충분히 구분하지 못합니다. 이 격차는 현장 기반 신뢰성 개발과 효과적인 거버넌스 구축을 방해합니다.

방법론: 아키텍처 - 수명주기 프레임워크

이 격차를 해소하기 위해 본 논문은 현장 기반 신뢰성 프레임워크를 제안하며, 이는 아키텍처 관점과 수명주기 관점이라는 두 가지 분석적 시각을 결합합니다. 이 프레임워크는 공식적인 인과 모델이 아닌 휴리스틱 진단 렌즈로 기능합니다.

1. 아키텍처 관점 (3 계층)

이 프레임워크는 CUA 의 행동을 소프트웨어 관찰을 권한을 가진 행동으로 변환하는 세 가지 결합된 계층으로 분해합니다:

• 지각 (Perception): 원시 소프트웨어 관찰 (스크린샷, DOM 트리, 접근성 메타데이터, OCR) 로부터 실행 가능한 상태를 재구성합니다. 설계상의 과제는 상태가 실행을 위해 충분히 신뢰할 수 있도록 보장하기 위해 정밀도 (구조화된 상태) 와 이식성 (시각적 그라운딩) 사이의 균형을 맞추는 것입니다.
• 의사결정 (Decision): 불확실성과 장기적 압박 하에서 작업 조건부 의도를 유지합니다. 이 계층은 메모리 강화 추론, 제약 조건 유지, 검증, 그리고 도구 또는 하위 에이전트 간 작업 분해 등을 처리합니다.
• 실행 (Execution): 특정 인터페이스 (원자적 입력, 프로그래밍 API, 또는 번들된 매크로) 를 통해 결정을 작업으로 변환합니다. 이 계층은 행동의 "폭발 반경", 감사 가능성, 그리고 복구 가능성을 결정합니다.

2. 수명주기 관점 (4 단계)

이 프레임워크는 능력이 형성되고, 바인딩되며, 스트레스를 받고, 수정되는 시기를 구분하며 에이전트의 진화를 네 가지 명확한 단계를 통해 분석합니다:

• 생성 (Creation): 사전 지식, 그라운딩 습관, 목표, 그리고 행동 추상화가 학습되는 단계입니다. 여기서의 위험에는 훈련 데이터 편향, 약한 감독, 그리고 권한이 부여될 때까지 잠재적으로 남아있을 수 있는 안전하지 않은 행동 어휘가 포함됩니다.
• 배포 (Deployment): 학습된 능력이 실시간 채널, 도구, 세션, 그리고 권한에 바인딩되는 단계입니다. 여기서 추상적 능력은 운영적 권한으로 변환됩니다. 위험 요소에는 과도한 권한, 약한 격리, 그리고 중재되지 않은 도구 노출이 포함됩니다.
• 운영 (Operation): 활성 궤적이 혼합 신뢰 입력, 부분적 관찰 가능성, 그리고 비동기적 환경 변화에 의해 스트레스를 받는 단계입니다. 여기서의 오류는 종종 장기적 편차, TOCTOU(확인 시점 - 사용 시점) 오류, 또는 의도 희석으로 나타납니다.
• 유지보수 (Maintenance): 모델 - 환경 - 생태계 스택의 유효성이 편차에 대해 보존되는 단계입니다. 위험 요소에는 이전 안전 보장을 구식화시키는 UI 변경, 도구 업데이트, 그리고 생태계 진화가 포함됩니다.

3. 보안 및 개인정보 분석

본 논문은 이 프레임워크를 보안에 적용하여 구조적 위협 분류 체계와 귀속 렌즈를 도입합니다:

• 위협 범주: 입력 측 손상 (예: 프롬프트 인젝션), 의사결정 측 손상 (예: 메모리 중독), 그리고 실행 측 남용 (예: 행동 재바인딩).
• 귀속 렌즈:
  • 범위 과잉 (SO): 에이전트가 사용자의 의도된 작업 경계를 넘어 확장합니다.
  • 목표 오염 (OC): 공격자가 통제하는 콘텐츠가 지배적인 계획 목표가 됩니다.
  • 환경적 오바인딩 (EM): 목표는 온전하게 유지되지만, 관찰/실행 계층이 결과를 안전하지 않게 재지시합니다.

주요 기여

본 논문은 컴퓨터 사용 에이전트 분야에 네 가지 주요 기여를 합니다:

1. 현장 기반 신뢰성 범위: CUA 신뢰성을 벤치마크 작업 성공이 아닌, 소프트웨어 관찰, 작업 조건부 의사결정, 권한을 가진 실행, 메모리, 도구 사용, 그리고 감독의 공동 속성으로 재정의합니다.
2. 아키텍처 - 수명주기 프레임워크: 3 계층 아키텍처 (지각, 의사결정, 실행) 와 4 단계 수명주기 (생성, 배포, 운영, 유지보수) 를 통해 문헌을 조직화하여, 능력이 권한과 어떻게 상호작용하는지 분석하기 위한 좌표계를 제공합니다.
3. 오류 기원 분석: 오류가 가시화되는 위치와 그 오류를 가능하게 하는 조건이 도입되는 위치를 구분합니다. 이를 통해 데이터 선별, 권한 범위 설정, 런타임 검증과 같은 반복적 개입 표면을 특정 아키텍처 계층과 수명주기 단계에 매핑할 수 있습니다.
4. 통제 및 거버넌스 지도: 통제, 감독, 그리고 보증을 위한 반복적 개입 표면을 식별합니다.
   • 생성: 데이터 선별, 보상 설계, 그리고 안전한 행동 추상화.
   • 배포: 권한 범위 설정, 출처 인식 도구 중재, 그리고 샌드박싱.
   • 운영: 런타임 검증, 계획 미리보기, 그리고 보정된 인간 에스컬레이션.
   • 유지보수: 지속적인 재평가, 버전 고정, 그리고 확장 거버넌스.

결과 및 발견

본 논문은 대표 시스템, 벤치마크, 그리고 보안 연구를 종합하여 다음을 입증합니다:

• 능력은 수명주기에 의존함: "에이전트 능력"은 기본 모델의 고유 속성이 아니라, 표현 선택, 배포 중재, 그리고 복구 메커니즘에 의해 공동으로 형성됩니다.
• 오류 기원 대 발현: 운영 중 가시적인 취약한 복구 경로는 생성 단계의 약한 그라운딩 감독이나 배포 단계의 과도한 광범위한 권한에서 기원할 수 있습니다. 모든 런타임 오류를 추론 결함으로 취급하는 것은 실제 통제 표면을 흐리게 만듭니다.
• 통제 배치는 단계별임: 보안과 거버넌스는 에이전트가 구축된 후 추가될 수 없습니다. 시스템의 구조와 진화에 상대적으로 부착되어야 합니다. 예를 들어, 범위 과잉은 작업 범위 설정과 메모리 경계로 가장 잘 해결되는 반면, 환경적 오바인딩은 실행 중재와 TOCTOU 인식 검증을 요구합니다.
• 오픈 배포 패턴: 검증된 내부 사례 연구가 아닌 오픈 배포 패턴의 동기 부여 예시로 OpenClaw 를 사용하여, 지속적인 진입, 도구 연결성, 그리고 더 긴 수명의 컨텍스트를 결합하는 것이 배포 선택이 결과적 위험의 상당 부분을 차지하는 위험 프로파일을 어떻게 생성하는지 보여줍니다.

중요성 및 주장

본 논문은 컴퓨터 사용의 핵심 문제가 단순히 화면에 무엇이 있는지 인식하는 것이 아니라, 실행 가능한 상태로 간주되는 것을 결정하고 해당 상태를 실제 권한을 지닌 행동 인터페이스에 바인딩하는 것이라고 주장합니다.

제안된 프레임워크의 중요성은 다음과 같은 능력에 있습니다:

• 가시적 오류와 상류 원인 분리: 런타임 사건이 훈련 또는 배포 구성 중 도입된 오류의 발현일 수 있음을 명확히 합니다.
• 위험을 개입에 매핑: 일반적인 "인간 - 루프" 슬로건을 넘어 계획 미리보기, 단계 확인, 롤백과 같은 구체적이고 단계 정렬된 메커니즘으로 의미 있는 통제가 적용될 수 있는 위치를 진단하는 도구를 제공합니다.
• 보안 재정의: 보안이 아키텍처의 부수적 요소가 아니라, 능력, 권한, 그리고 감독이 어떻게 결합되는지에 내재적임을 주장합니다.

본 논문은 신뢰할 수 있는 컴퓨터 사용이 더 강력한 모델 단독으로는 달성되기 어렵다고 결론지으며, 대신 제어 가능한 시각적 그라운딩, 배포 인식 평가(권한 바인딩 및 오용 저항성 측정), 그리고 배포 후 모델, 도구, 생태계가 통제 가능하도록 보장하는 유지보수 인식 거버넌스에 달려 있다고 명시합니다. 이 프레임워크는 벤치마크 성능뿐만 아니라 이러한 현장 기반 현실을 중심으로 분야를 조직화하기 위한 기초적인 단계로 기능합니다.