논문 요약: Systems Security Foundations for Agentic Computing (에이전트 컴퓨팅을 위한 시스템 보안 기초)

이 논문은 최근 급부상하고 있는 **에이전트형 AI 시스템 (Agentic AI Systems)**의 보안 문제를 기존 컴퓨터 보안 (System Security) 의 관점에서 체계적으로 분석하고, 이를 해결하기 위한 연구 방향을 제시합니다. 저자들은 AI 모델 자체의 안전성 (Safety) 에 초점을 맞춘 기존 연구들과 달리, 에이전트가 외부 도구 및 서버와 상호작용하는 시스템 전체의 엔드 - 투 - 엔드 보안 속성을 강조하며, 고전적인 사이버 보안 원칙을 에이전트 컴퓨팅에 적용할 때 발생하는 근본적인 도전 과제들을 규명합니다.

1. 문제 정의 (Problem)

에이전트형 AI (특히 LLM 기반) 는 웹 브라우저, 컴파일러 등 다양한 외부 도구를 호출하여 사용자를 대신해 작업을 수행합니다. 이러한 기능은 강력한 생산성을 제공하지만, 제 3 자 서버 및 외부 데이터와의 지속적인 상호작용으로 인해 다음과 같은 심각한 보안 위협을 초래합니다.

• 프롬프트 인젝션 (Prompt Injection): 악성 입력을 통해 에이전트의 행동을 조작하거나 데이터 유출을 유도.
• 권한 남용: 에이전트가 불필요하거나 과도한 권한을 사용하여 민감한 데이터에 접근하거나 악성 코드를 실행.
• 기존 보안 원칙의 부재: 대부분의 기존 연구가 AI 모델의 '안전성 (Safety)'에 집중하여, 시스템 보안 관점에서의 엄격한 보장 (Guarantees) 이 부족함.

2. 방법론 (Methodology)

저자들은 지식 체계화 (Systematization of Knowledge, SoK) 접근법을 사용하여 다음과 같은 방법론을 적용했습니다.

1. 고전적 보안 원칙과의 비교 분석: 컴퓨터 보안의 핵심 원칙 (최소 권한, 완전한 중재, 신뢰 컴퓨팅 기반 (TCB) 등) 을 에이전트 시스템에 적용했을 때 발생하는 **4 가지 주요 모순 (Frictions)**을 식별했습니다.
2. 실제 공격 사례 분석 (Case Studies): 11 가지 실제 에이전트 시스템 공격 사례 (Microsoft Copilot, Devin AI, ChatGPT 등) 를 수집하여 분석했습니다. 각 사례에서 위반된 보안 원칙과 필요한 방어 메커니즘을 매핑했습니다.
3. 현행 방어 기법 평가: 현재 존재하는 다양한 보안 솔루션 (감시 에이전트, 샌드박싱, 정책 언어 등) 을 표 (Table 2) 를 통해 비교 분석하고 그 한계를 지적했습니다.
4. 연구 과제 도출: 식별된 기술적 난제들을 바탕으로 단기 및 장기 연구 과제를 제시했습니다.

3. 주요 기여 및 핵심 발견 (Key Contributions & Findings)

A. 에이전트 시스템에 적용 시 발생하는 4 가지 근본적 도전 과제

1. 확률적 TCB (Probabilistic TCB): 전통적인 시스템 보안은 결정론적 (Deterministic) 인 TCB(신뢰 컴퓨팅 기반) 에 의존합니다. 하지만 에이전트 시스템의 핵심인 LLM 은 확률적이며 불투명하여, "절대 X 를 하지 않는다"는 보장을 제공하기 어렵습니다.
2. 동적 보안 정책 (Dynamic Security Policies): 전통적인 보안 정책은 개발자가 정의하지만, 에이전트는 사용자의 자연어 요청에 따라 실시간으로 생성되므로, 작업 설명에서 보안 정책을 유추하거나 동적으로 조정하는 것이 어렵습니다.
3. 모호한 보안 경계 (Fuzzy Security Boundary): 에이전트는 '의사결정'과 '행동'이 명확히 분리되지 않은 경우가 많습니다. (예: UI 클릭 vs HTTP 요청). 이로 인해 적절한 추상화 계층에서 정책을 적용하기 어렵습니다.
4. 동적 지시 따르기 (Dynamic Instruction Following): 프롬프트 인젝션은 악성일 수도 있지만, 에이전트가 새로운 컨텍스트를 학습하여 작업을 수행하는 데 필수적일 수도 있습니다. 악성 인젝션과 유용한 컨텍스트 업데이트를 구분하는 것이 핵심 난제입니다.

B. 11 가지 실제 공격 사례 분석 (Case Studies)

논문은 다음과 같은 공격 유형을 분석하며, 각 공격이 위반한 보안 원칙을 명시했습니다.

• 데이터 유출 (Exfiltration): Microsoft Copilot, Claude Code, Devin AI 등에서의 데이터 탈취 (ASCII 스머글링, DNS 요청 활용 등).
• 권한 상승 및 실행: Amp AI 의 설정 파일 조작, AI ClickFix 를 통한 임의 명령 실행.
• 계정 탈취: DeepSeek AI 의 XSS 와 프롬프트 인젝션 연쇄 공격.
• 위반된 원칙: 최소 권한 (Least Privilege), 완전한 중재 (Complete Mediation), 안전한 정보 흐름 (Secure Information Flow), TCB 무결성 위반 등.

C. 현재 방어 기법의 한계

• 모델 레벨: 파인튜닝이나 감지 모델은 적응형 공격에 취약하며 확률적 보장에 그칩니다.
• 시스템 레벨: 샌드박싱이나 격리 기법은 유용하지만, 에이전트의 유연성과 충돌하거나 동적 정책 적용이 어렵습니다.
• 사용자 레벨: 인간 확인 (Human-in-the-loop) 은 보안성을 높이지만 사용자 경험을 저하시키고 '인간 취약점'을 남깁니다.

4. 연구 과제 및 제안 (Results & Open Research Problems)

저자들은 에이전트 보안을 강화하기 위해 다음과 같은 구체적인 연구 방향을 제안합니다.

단기 과제 (Specific Mechanisms)

1. 지시와 데이터의 분리 (Separating Instructions and Data): 메모리 보호 (W⊕X) 와 유사하게, LLM 이 '데이터'를 '지시'로 오해하지 않도록 명확히 분리하는 메커니즘이 필요합니다. (단, 다중 모달 환경과 유연성 확보가 과제입니다.)
2. 접근 제어 및 최소 권한 (Access Control & Least Privilege): 에이전트가 현재 작업에 필요한 최소한의 도구만 사용할 수 있도록 동적으로 권한을 부여하는 정책 언어 및 시스템이 필요합니다.
3. 정보 흐름 제어 (Information-Flow Control, IFC): 민감한 데이터 (API 키 등) 가 에이전트를 통해 외부로 유출되지 않도록 데이터 흐름을 추적하고 제어하는 메커니즘이 필요합니다. (LLM 내에서의 '플로우 산술' 구현이 난제입니다.)

장기 과제 (Long-Term Foundations)

1. 확률적 TCB 에서의 보안 보장: LLM 이 TCB 의 일부일 때, 어떻게 결정론적인 보안 보장을 얻을 수 있을지에 대한 근본적인 연구.
2. 보안 인식 ML 아키텍처: 모델 내부의 회로를 해석 (Mechanistic Interpretability) 하여 보안 정책 위반 시 출력을 차단하는 등, 모델 아키텍처 자체에 보안을 내재화하는 연구.
3. LLM 에 적합한 새로운 보안 원칙 설계: LLM 을 '컴퓨터 프로그램'으로 볼 것인가, '실수할 수 있는 인간'으로 볼 것인가에 따라 다른 보안 원칙을 적용해야 하는지에 대한 철학적/기술적 정의.

5. 의의 (Significance)

이 논문은 AI 보안 연구에 시스템 보안 관점의 엄격함을 도입했다는 점에서 의의가 큽니다.

• 학문적 기여: AI 모델의 안전성 (Safety) 과 시스템 보안 (Security) 을 통합하여, 에이전트 시스템의 엔드 - 투 - 엔드 보안을 위한 이론적 기초를 마련했습니다.
• 실용적 기여: 11 가지 실제 공격 사례를 통해 현재 시스템의 취약점을 구체적으로 보여주었고, 단순한 모델 튜닝을 넘어선 계층적 방어 (Defense-in-Depth) 전략의 필요성을 강조했습니다.
• 미래 지향성: 에이전트 컴퓨팅이 보편화됨에 따라, 이를 안전하게 배포하기 위해 해결해야 할 핵심 기술적 난제들을 명확히 제시하여 향후 연구 방향을 설정했습니다.

결론적으로, 이 논문은 에이전트 AI 의 보안을 확보하기 위해서는 모델의 강건성 (Robustness) 만으로는 부족하며, 결정론적 격리, 동적 권한 제어, 정보 흐름 추적 등 고전적인 시스템 보안 원칙을 새로운 방식으로 재해석하고 적용해야 함을 강력히 주장합니다.