AgenticCyOps: Securing Multi-Agentic AI Integration in Enterprise Cyber Operations

이 논문은 LLM 기반 다중 에이전트 시스템의 기업용 사이버 보안 통합을 위해 공격 표면을 체계적으로 분석하고, 도구 오케스트레이션과 메모리 관리를 핵심 신뢰 경계로 삼아 5 가지 방어 원칙을 정립하고 SOC 워크플로우에 적용하여 신뢰 경계를 72% 이상 축소하는 'AgenticCyOps' 프레임워크를 제안합니다.

핵심

1. 배경: 왜 이런 연구가 필요할까요?

비유: "무제한 권한을 가진 새로운 직원들"
과거에는 컴퓨터 프로그램이 정해진 규칙만 따르는 단순한 기계였습니다. 하지만 최근의 AI(대규모 언어 모델) 는 스스로 생각하고, 도구를 사용하고, 다른 AI 와 대화하며 일을 해결합니다. 이를 **'에이전트 (Agent)'**라고 부릅니다.

기업에서는 이제 이 AI 비서들을 여러 명 고용해서 복잡한 사이버 보안 업무를 시키려고 합니다. 하지만 문제는 이 AI 비서들에게 너무 많은 권한을 주면 위험하다는 점입니다.

• 기존의 문제: 해커가 AI 의 말을 속여 (프롬프트 주입) 엉뚱한 일을 시키거나, AI 들끼리 서로의 기억을 훔쳐서 비밀을 유출하는 일이 생길 수 있습니다.
• 현재의 한계: 기존 보안은 "AI 한 명을 어떻게 보호할까?"에 집중했지만, "AI 여러 명이 서로 협력할 때 생기는 구조적인 구멍"은 제대로 막지 못했습니다.

2. 핵심 발견: 해킹의 두 가지 주요 문

연구진들은 수많은 해킹 사례를 분석한 결과, 복잡한 공격들이 결국 **두 가지 핵심 문 (Integration Surfaces)**을 통해 들어온다는 것을 발견했습니다.

1. 도구 문 (Tool Orchestration): AI 가 외부 프로그램 (방화벽, 데이터베이스 등) 을 조작하는 문입니다.
   • 비유: AI 비서가 회사 열쇠를 가지고 있는데, 해커가 그 비서를 속여 "문서함 열어줘" 대신 "금고 열어줘"라고 시킨 경우입니다.
2. 기억 문 (Memory Management): AI 가 정보를 저장하고 공유하는 공간입니다.
   • 비유: AI 비서들이 공유하는 '공유 메모장'에 해커가 가짜 정보를 적어두면, 다른 AI 비서들이 그 가짜 정보를 사실로 믿고 엉뚱한 행동을 하는 경우입니다.

3. 해결책: AgenticCyOps (5 가지 방어 원칙)

이 두 가지 문을 안전하게 지키기 위해 연구진은 5 가지 방어 원칙을 세웠습니다. 이를 **'안전한 AI 사무실'**로 비유해 볼까요?

1. 허가된 출입구 (Authorized Interface):
   • AI 가 어떤 도구를 쓸지 미리 정해진 '명단'만 허용합니다. 해커가 가짜 도구를 속여 넣는 것을 막습니다.
   • 비유: 직원이 회사에 들어오려면 사전에 등록된 신분증만 인정하고, 낯선 사람은 절대 들어오지 못하게 합니다.
2. 역할에 맞는 권한 (Capability Scoping):
   • AI 는 자신의 일에만 필요한 최소한의 권한만 가집니다. (예: 자료 조사 AI 는 방화벽을 끄는 권한이 없음)
   • 비유: 청소부에게 금고 열쇠를 주지 않는 것처럼, AI 에게는 필요한 권한만 줍니다.
3. 검증된 실행 (Verified Execution):
   • AI 가 중요한 행동 (예: 데이터 삭제) 을 하려고 하면, 다른 AI 나 시스템이 "정말 이게 맞나요?"라고 한 번 더 확인합니다.
   • 비유: 중요한 결재 서류를 날릴 때, 한 명이 서명하는 게 아니라 두 명이 확인한 뒤에야 발송됩니다.
4. 기억의 무결성 (Memory Integrity):
   • AI 가 메모장에 정보를 적을 때, 그 정보가 진짜인지 검증합니다.
   • 비유: 공유 메모장에 적힌 글이 위조된 글인지 확인하는 '검수 과정'을 거칩니다.
5. 차단된 데이터 격리 (Access-Controlled Data Isolation):
   • AI 들이 서로의 기억을 함부로 읽지 못하게 합니다. 필요한 경우에만 제한적으로 공유합니다.
   • 비유: 각 부서별 금고는 잠겨 있고, 오직 필요한 사람만 열쇠를 받아 열 수 있게 합니다.

4. 실제 적용: 사이버 보안 센터 (SOC) 에 도입

이 이론을 실제 **사이버 보안 센터 (SOC)**에 적용해 보았습니다. SOC 는 해커를 막는 곳인데, 오히려 AI 가 해커가 될 수도 있는 위험한 곳입니다.

• 구현 방식: AI 비서들을 '모니터링', '분석', '대응', '보고'라는 4 단계 팀으로 나누고, 각 팀은 오직 자신에게 주어진 도구와 기억만 접근하게 했습니다.
• 결과:
  • 해커가 공격할 수 있는 경로 (Trust Boundaries) 가 72% 이상 줄어들었습니다.
  • 해커가 공격을 시도할 때, 대부분 1~2 단계에서 막아낼 수 있었습니다.
  • 예전에는 해커가 AI 를 속여 전체 시스템을 장악할 수 있었지만, 이제는 한 팀이 망가져도 다른 팀은 안전하도록 설계되었습니다.

5. 결론: 왜 중요한가요?

이 논문은 **"AI 가 혼자 일할 때는 괜찮지만, 여러 AI 가 함께 일할 때는 구조적으로 매우 위험하다"**는 점을 지적하고, 이를 해결할 구체적인 **건축 설계도 (프레임워크)**를 제시했습니다.

한 줄 요약:

"AI 비서들이 함께 일할 때, 서로의 권한을 제한하고 (역할 분담), 중요한 결정은 두 번 확인하며 (검증), 비밀 정보는 격리하는 (격리) 새로운 보안 규칙을 만들어, 기업이 AI 를 안전하게 쓸 수 있게 돕는 방법입니다."

이 연구는 AI 기술이 기업에 본격적으로 도입되기 전에, 반드시 갖춰야 할 **'안전장비'**를 제시했다는 점에서 매우 중요합니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반의 다중 에이전트 시스템 (MAS) 은 기업 워크플로우의 적응성과 추론 능력을 혁신할 잠재력을 가지고 있습니다. 그러나 에이전트에게 도구 (Tools), 메모리 (Memory), 통신에 대한 자율적 제어 권한을 부여하는 것은 기존 결정론적 파이프라인에는 존재하지 않았던 새로운 공격 표면 (Attack Surfaces) 을 노출시킵니다.

• 기존 연구의 한계: 현재의 보안 연구는 주로 프롬프트 인젝션 (Prompt Injection) 과 같은 개별 벡터에 집중되어 있으며, 에이전트와 도구/공유 상태를 연결하는 통합 아키텍처 (Integration Architecture) 전체를 포괄하는 체계적인 위협 모델이 부족합니다.
• 주요 위협: 에이전트가 악성 엔드포인트로 리디렉션되거나, 공유 메모리를 통한 프라이버시 유출, 명시적 적대적 프롬프트 없이 발생하는 에이전트 간 은밀한 결탁 (Emergent Collusion) 등이 발생할 수 있습니다.
• 핵심 질문: MAS 의 공격 벡터가 어떻게 아키텍처적 표면으로 매핑되는지, 이를 해결할 수 있는 체계적인 방어 원칙은 무엇이며, 이를 고위험 분야 (CyberOps) 에 적용하여 측정 가능한 커버리지를 달성할 수 있는지.

2. 방법론 (Methodology)

저자들은 MAS 의 공격 벡터를 세 가지 추상화 계층 (Component, Coordination, Protocol) 으로 체계적으로 분해하여 분석했습니다.

• 공격 표면 분해:
  • 컴포넌트 계층: 에이전트의 지각 (Perception), 계획 (Planning), 메모리 (Memory), 실행 (Action) 등 개별 구성 요소의 취약점.
  • 조정 계층: 에이전트 간 상호작용에서 발생하는 좌우 이동 (Lateral Compromise), 합의 조작 (Consensus Manipulation), 은밀한 결탁 등.
  • 프로토콜 계층: MCP(Model Context Protocol) 와 같은 통신 프로토콜에서의 인증 우회, 메시지 조작, Confused Deputy 공격 등.
• 핵심 발견: 다양한 공격 벡터가 비록 다른 계층에서 시작되지만, 최종적으로는 두 가지 주요 통합 표면 (Integration Surfaces) 으로 수렴함을 발견했습니다.
  1. 도구 오케스트레이션 (Tool Orchestration): 에이전트가 외부 도구를 호출하고 실행하는 과정.
  2. 메모리 관리 (Memory Management): 에이전트가 컨텍스트를 저장하고 공유하는 과정.
• 방어 프레임워크 설계: 위 두 표면을 '주요 신뢰 경계 (Trust Boundaries)'로 간주하고, 이를 보호하기 위해 5 가지 방어 원칙을 도출했습니다.
  • 도구 오케스트레이션 보호:
    1. 승인된 인터페이스 (Authorized Interfaces): 서명된 매니페스트와 관리 승인 카탈로그를 통한 도구 출처 검증.
    2. 역할 범위 제한 (Capability Scoping): 작업 컨텍스트에 따라 최소 권한 (Least Privilege) 을 동적으로 할당.
    3. 검증된 실행 (Verified Execution): 실행 전 독립적인 검증자 (Validator) 를 통한 합의 기반 승인.
  • 메모리 관리 보호:
    4. 무결성 및 동기화 (Integrity & Synchronization): 쓰기 경계 필터링과 합의 기반 검증을 통한 데이터 오염 방지.
    5. 접근 제어 및 데이터 격리 (Access Control with Data Isolation): 위계적 격리 아키텍처를 통한 에이전트 간 데이터 접근 제한.

3. 주요 기여 (Key Contributions)

1. 공격 표면 분해 (Attack Surface Decomposition): MAS 위협을 3 계층으로 분석하고, 모든 공격 벡터가 '도구'와 '메모리' 통합 표면으로 수렴함을 규명했습니다.
2. 방어 설계 프레임워크 (Defensive Design Framework): 5 가지 보안 원칙을 제시하여, 각 공격 벡터가 최소 2 가지의 상호 보완적 원칙으로 대응되도록 설계했습니다. 이 원칙들은 NIST, ISO 27001, GDPR, EU AI Act 등 기존 규정과 정렬됩니다.
3. CyberOps 적용 및 평가 (CyberOps Application & Evaluation): 보안 운영 센터 (SOC) 워크플로우에 적용된 AgenticCyOps 아키텍처를 제안했습니다.
   • 아키텍처: Model Context Protocol (MCP) 을 기반으로 하며, Monitor, Analyze, Admin, Report 의 4 단계에 특화된 에이전트 (Phase-scoped Agents) 와 중앙 오케스트레이터 (Host) 를 도입했습니다.
   • 평가: 커버리지 분석, 공격 경로 추적, 신뢰 경계 감소를 통해 프레임워크의 유효성을 입증했습니다.

4. 결과 (Results)

AgenticCyOps 프레임워크를 적용한 SOC 아키텍처에 대한 평가 결과는 다음과 같습니다.

• 공격 경로 차단: 대표적으로 4 가지 공격 시나리오 중 3 가지 (AP-1, AP-2, AP-3) 에서 공격 체인이 첫 2 단계 내에서 차단되었습니다.
  • 예: 도구 리디렉션 공격은 '역할 범위 제한' 원칙에 의해 차단되고, 메모리 중독 공격은 '쓰기 경계 필터링'에 의해 차단됨.
• 신뢰 경계 감소: 평판형 (Flat) MAS 환경과 비교하여 공격 가능한 신뢰 경계를 최소 72% 감소시켰습니다.
  • 평판형 환경: 200 개의 신뢰 경계 (모든 에이전트가 모든 도구/메모리에 접근).
  • AgenticCyOps: 56 개의 신뢰 경계 (단계별 접근 제한, 호스트 중개, 검증 메커니즘 적용).
  • 남은 56 개의 경계는 모두 서명된 매니페스트, 합의 검증, 쓰기 필터링 등 능동적인 검증 메커니즘을 거치도록 설계됨.
• 커버리지: 모든 공격 벡터가 최소 2 가지 이상의 방어 원칙으로 중복 보호받으며, 단일 원칙이 3 개 이상의 벡터만 담당하도록 설계되어 방어 심층화 (Defense-in-Depth) 가 달성되었습니다.

5. 의의 및 중요성 (Significance)

• 실무 적용 가능성: 이 연구는 추상적인 보안 이론을 넘어, 실제 사이버 보안 운영 (SOC) 과 같은 고위험 분야에서 에이전트 AI 를 안전하게 통합할 수 있는 구체적인 아키텍처를 제시합니다.
• 규정 준수 정렬: 제안된 프레임워크는 NIST, ISO, GDPR, EU AI Act 등 주요 규정과 정렬되어 있어, 기업 환경에서의 도입 장벽을 낮춥니다.
• 신뢰 기반 아키텍처의 전환: "Zero Trust" 개념을 에이전트 운영에 적용하여, 개별 에이전트의 추론이 손상되더라도 전체 운영 무결성이 유지되도록 설계했습니다.
• 미래 연구 방향: 단일 실패 지점 (중앙 오케스트레이터) 의 복원력, 합의 루프 자체의 보안, 실시간 검증 지연 시간 최적화 등을 향후 과제로 제시하며, MAS 보안 연구의 새로운 기준을 마련했습니다.

결론적으로, AgenticCyOps 는 다중 에이전트 시스템의 자율성으로 인한 보안 위험을 체계적으로 분해하고, 도구와 메모리라는 두 가지 핵심 통합 표면을 보호하는 원칙을 통해 기업급 사이버 보안 통합의 안전성을 확보하는 획기적인 프레임워크입니다.