CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents

이 논문은 컴퓨터 사용 에이전트 (CUA) 의 보안 취약점을 해결하기 위해, 신뢰할 수 있는 플래너가 악성 콘텐츠 관찰 전에 전체 실행 그래프를 생성하는 'Single-Shot Planning' 아키텍처를 제안하여 프롬프트 주입 및 브랜치 조종 공격을 방어하면서도 성능을 유지하거나 향상시킬 수 있음을 보여줍니다.

핵심

🎩 1. 문제 상황: "눈이 먼 지휘관과 눈이 먼 수행원"

상상해 보세요. AI 비서가 컴퓨터 작업을 할 때, 보통은 자기가 보는 화면 (화면 캡처) 을 보고 바로바로 결정합니다.

• 문제: 만약 해커가 웹사이트에 "이 버튼을 누르면 내 계좌로 돈을 이체해"라고 숨겨진 악성 명령을 적어두면, AI 비서는 그걸 보고 "아, 사용자가 시킨 일이구나!"라고 착각하고 실행해 버립니다. 이를 '프롬프트 인젝션 (명령어 주입)' 공격이라고 합니다.

🛡️ 2. 해결책: "두 명의 AI 팀" (Dual-LLM)

이 논문은 두 명의 AI 가 협력하는 시스템을 제안합니다.

1. 지휘관 (Privileged Planner, P-LLM):
   • 역할: 전체 작전 계획을 세웁니다. 하지만 실제 컴퓨터 화면은 절대 볼 수 없습니다. (눈이 가려져 있거나, 보안 구역에 있습니다.)
   • 특징: 해커가 화면에 쓴 악성 글자를 볼 수 없으므로, "돈 이체해" 같은 명령에 속아 넘어갈 일이 없습니다.
2. 수행원 (Quarantined Perception, Q-VLM):
   • 역할: 지휘관의 지시대로만 화면을 보고, "여기에 버튼이 있네요"라고 보고합니다.
   • 특징: 스스로 판단하거나 새로운 명령을 내릴 수 없습니다. 오직 지휘관이 미리 짜둔 계획만 따릅니다.

비유:

마치 지휘관이 "먼저 문을 열고, 문이 열리면 안으로 들어가서 의자를 찾아라"라고 미리 계획을 세우고, 수행원은 그 계획대로만 문을 열고 의자를 찾는 상황입니다. 수행원이 문 앞에 "이 문은 지뢰가 있으니 뛰어라"라고 써있어도, 수행원은 지휘관의 계획 (문 열기) 만 따르므로 지뢰를 밟지 않습니다.

🧠 3. 핵심 기술: "한 번에 끝내는 작전 (Single-Shot Planning)"

기존에는 AI 가 화면을 보고, 생각하고, 행동하고, 다시 보고... 하는 과정을 반복했습니다. 하지만 보안상 화면을 볼 때마다 계획이 바뀌면 해커가 그 틈을 타서 명령을 바꿀 수 있습니다.

이 논문은 **"작전을 한 번에 다 짜서, 그걸 그대로 실행하라"**는 방식을 썼습니다.

• Observe-Verify-Act (관찰 - 검증 - 행동): 지휘관이 계획을 세울 때, "화면을 보고 (Observe), 이것이 맞는지 확인하고 (Verify), 행동하라 (Act)"는 조건문을 미리 다 포함시킵니다.
• 결과: 해커가 화면을 조작해도 AI 는 미리 짜둔 계획의 범위 안에서만 움직이므로, 완전히 엉뚱한 짓 (예: 내 계좌 털기) 은 못 합니다.

⚠️ 4. 새로운 위협: "분기 조종 (Branch Steering)" 공격

하지만 완벽한 것은 없습니다. 지휘관이 "문 열기"와 "창문 열기" 중 하나를 선택할 수 있는 계획 (분기) 을 세웠다고 칩시다.

• 공격: 해커는 "문"을 가리고 "창문"을 진짜 문처럼 보이게 조작합니다.
• 결과: 수행원이 "저기 문이 있어요!"라고 보고하면, 지휘관은 "아, 창문 열기 단계로 넘어가야겠다"라고 생각하며 미리 짜둔 계획의 다른 경로로 가게 됩니다.
• 비유: 해커가 "문"이라고 적힌 간판을 "창문"으로 바꿔놓으면, 수행원은 그걸 보고 지휘관에게 "창문을 여세요"라고 보고합니다. 지휘관은 "아, 창문 여는 건 계획에 있었지"라고 생각하며 실행합니다. 계획 자체는 안전하지만, 해커가 AI 를 속여 위험한 경로로 유도하는 것입니다.

🛡️ 5. 추가 방어: "여러 눈으로 확인하기 (Redundancy)"

이 '분기 조종' 공격을 막기 위해, 수행원의 보고를 다른 AI 가 다시 한번 확인하는 시스템을 도입했습니다.

• DOM 일치성 확인: 화면의 이미지뿐만 아니라, 웹페이지의 뼈대 (코드) 도 함께 확인합니다. "이건 진짜 문인가, 아니면 가짜 간판인가?"를 코드와 이미지로 대조합니다.
• 멀티모달 합의: 서로 다른 AI 모델 두 개가 동시에 보고를 하게 합니다. 둘의 의견이 다르면 "의심스러우니 멈춰라"라고 합니다.

📊 6. 결론: 보안과 성능은 양립할 수 있다

• 성능: 이 시스템을 적용했을 때, 작은 AI 모델은 오히려 19% 더 잘 작동했고, 큰 AI 모델도 원래 성능의 57% 정도는 유지했습니다.
• 의미: "보안을 지키려면 성능이 떨어질 수밖에 없다"는 고정관념을 깨뜨렸습니다.
• 미래: 이 방식은 AI 가 더 똑똑해질수록, 보안과 실용성을 모두 잡을 수 있는 길을 열어줍니다.

💡 한 줄 요약

"AI 비서에게 '눈을 가린 지휘관'과 '눈이 있는 수행원'을 붙여서, 해커가 화면을 조작해도 미리 짜둔 안전한 계획만 따르게 만들었으며, 혹시 모를 속임수에는 여러 AI 가 서로 확인하게 했다."

이 연구는 AI 가 우리 컴퓨터를 안전하게 다룰 수 있는 첫 번째 확실한 보안 체계로 평가받고 있습니다.

기술 요약

1. 문제 정의 (Problem)

**컴퓨터 사용 에이전트 (CUA, Computer Use Agents)**는 스크린샷이나 구조화된 데이터 (DOM) 를 통해 사용자 인터페이스 (UI) 를 인식하고 작업을 자동화하는 비전 - 언어 모델 (VLM) 기반 시스템입니다. 그러나 이러한 에이전트는 프롬프트 인젝션 (Prompt Injection) 공격에 매우 취약합니다.

• 취약점: 악성 콘텐츠가 UI(예: 광고 배너, 팝업, 텍스트) 에 주입되면 에이전트의 행동을 조작하여 자격 증명을 탈취하거나 금전적 손실을 초래할 수 있습니다.
• 기존 방어법의 한계: 최근 제안된 Dual-LLM 아키텍처 (신뢰할 수 있는 계획자 P-LLM 과 격리된 지각 모델 Q-LLM 분리) 는 텍스트 기반 에이전트에는 효과적이지만, CUA 에 적용하기에는 근본적인 모순이 존재합니다.
  • CUA 는 동적인 환경에서 다음 행동을 결정하기 위해 지속적인 UI 상태 관찰이 필요합니다.
  • 반면, 보안 격리는 계획자가 환경을 볼 수 없게 하므로, 악성 콘텐츠가 주입된 UI 를 관찰하지 못하게 되어 보안은 강화되지만 에이전트의 기능성 (Utility) 이 파괴될 수 있습니다.

2. 방법론 (Methodology)

저자들은 이 긴장 관계를 해결하기 위해 **Single-Shot Planning (단회 계획)**과 Observe-Verify-Act (관찰 - 검증 - 행동) 패러다임을 도입한 새로운 Dual-LLM 아키텍처를 제안합니다.

A. Single-Shot Planning (단회 계획)

• 핵심 아이디어: UI 워크플로가 동적이지만 구조적으로 예측 가능하다는 점에 착안합니다.
• 작동 방식: 신뢰할 수 있는 **Privileged Planner (P-LLM)**가 악성 콘텐츠를 관찰하기 전에, 모든 가능한 분기 (conditional branches) 를 포함한 완전한 실행 그래프를 한 번에 생성합니다.
• 보장: P-LLM 은 환경 데이터를 보지 않으므로, 악성 프롬프트 인젝션이 계획 자체를 변경하는 것을 원천적으로 차단합니다 (Control Flow Integrity, CFI).

B. Observe-Verify-Act 패러다임

계획된 실행 그래프 내에서 Q-VLM(격리된 지각 모델) 은 다음 3 단계 프로세스를 따릅니다:

1. Observe (관찰): 스크린샷 요약, DOM 요소 추출 등을 통해 상태 정보를 수집합니다.
2. Verify (검증): verify_hypothesis 함수를 사용하여 논리적 조건 (예: "로그인 페이지인가?") 을 확인합니다. 이는 부울 값이나 상태 코드를 반환하여 미리 작성된 계획이 적절한 하위 루틴으로 분기하도록 합니다.
3. Act (행동): 검증이 완료된 후에만 클릭이나 입력과 같은 상호작용을 수행합니다.

C. 중복 방어 (Redundancy Defenses)

Dual-LLM 은 제어 흐름 (Control Flow) 은 보호하지만, 데이터 흐름 (Data Flow) 공격에는 취약할 수 있습니다. 이를 보완하기 위해 중복성을 도입했습니다:

• DOM 일관성 (DOM Consistency): 독립적인 VLM 이 Q-VLM 의 시각적 발견 결과가 실제 DOM 구조와 일치하는지 확인합니다 (예: 투명 오버레이 감지).
• 멀티모달 합의 (Multi-Modal Consensus): 독립적인 VLM 이 스크린샷과 Q-VLM 의 출력을 모두 받아 시각적 이상이나 의미 불일치를 탐지합니다.

3. 주요 기여 (Key Contributions)

1. CUA 를 위한 Dual-LLM 아키텍처 설계

• 컴퓨터 사용 에이전트에 맞춰 조정된 최초의 Dual-LLM 아키텍처를 제안했습니다.
• 성능 향상: OSWorld 벤치마크에서 소형 오픈소스 모델의 성능을 최대 19% 향상시켰으며, 대형 폐쇄형 모델의 성능을 원래 수준 대비 **57%**까지 유지했습니다. 이는 보안과 유용성이 공존할 수 있음을 증명합니다.

2. Branch Steering (분기 조종) 공격의 발견 및 방어

• 새로운 위협 모델: 기존 제어 흐름 공격과 달리, 공격자가 UI 요소 (가짜 버튼, 숨겨진 DOM 등) 를 조작하여 에이전트가 미리 작성된 계획 내의 유효하지만 악의적인 경로를 선택하도록 유도하는 Branch Steering 공격을 정의했습니다.
• 공격 시나리오:
  • 쿠키 팝업 공격: 광고 배너에 가짜 쿠키 동의 팝업을 심어 에이전트가 악성 사이트로 리디렉션되도록 유도.
  • 픽셀 공격 (Pixel Attack): 그라디언트 기반의 픽셀 교란을 통해 스크린샷과 DOM 기반 검증 모두를 우회하는 공격.
• 방어 평가: 중복 방어 메커니즘이 일부 공격을 막지만, 픽셀 공격과 같은 정교한 데이터 흐름 조작에는 여전히 한계가 있음을 밝혔습니다.

3. 하이브리드 배포 전략

• 비용 및 프라이버시 최적화: 계획 (Reasoning) 은 강력한 폐쇄형 모델이, 지각 (Perception) 은 오픈소스 모델을 로컬에서 실행하는 전략을 제안합니다.
• 이점: 민감한 스크린샷 데이터가 외부 API 로 전송되지 않아 프라이버시가 보호되며, 계산 비용이 절감됩니다.

4. 실험 결과 (Results)

• 벤치마크: OSWorld (실제 데스크톱 애플리케이션 환경) 에서 평가 수행.
• 성능:
  • 작은 모델 (Open-source): CaMeL(제안된 아키텍처) 적용 시 성능이 19% 향상됨 (작은 모델의 추론 능력을 강화하여 큰 모델과 경쟁 가능하게 만듦).
  • 큰 모델 (Closed-source): GPT-5 등 최상위 모델의 경우 원래 성공률의 **57%**를 유지 (안전성을 위해 일부 유연성을 희생했으나 여전히 실용적임).
• 공격 방어:
  • DOM 일관성 방어는 정적 Google 광고 배너 기반 쿠키 공격을 차단했으나, HTML5 광고 (DOM 구조 변조) 에는 우회됨.
  • 멀티모달 합의 방어는 성능 저하 없이 공격을 탐지하는 데 어려움을 겪었으며, 최적화된 픽셀 공격에는 완전히 무력화됨.

5. 의의 및 결론 (Significance)

• 안전한 에이전트 배포의 가능성: 기존의 "보안과 기능성은 상충된다"는 가설을 깨고, 엄격한 시스템 수준의 격리와 단일 회차 계획을 통해 CUA 의 실용적 배포를 가능하게 함.
• 새로운 보안 패러다임: 제어 흐름 (Control Flow) 과 데이터 흐름 (Data Flow) 보안을 명확히 구분하고, Branch Steering 과 같은 새로운 공격 벡터를 정의하여 향후 CUA 보안 연구의 방향을 제시함.
• 미래 전망: 기초 모델의 추론 능력이 향상될수록 Single-Shot Planning 의 유용성은 더욱 커질 것이며, 이는 비용 효율적이고 프라이버시를 보호하는 안전한 에이전트 생태계 구축의 토대가 될 것입니다.

이 논문은 컴퓨터 사용 에이전트가 실제 환경에서 안전하게 작동하기 위해서는 단순한 모델 튜닝을 넘어, **아키텍처 수준의 격리 (Architectural Isolation)**와 데이터 흐름에 대한 새로운 위협 이해가 필수적임을 강조합니다.