Security Considerations for Multi-agent Systems

이 논문은 다중 에이전트 시스템 (MAS) 의 고유한 보안 위협을 체계적으로 분석하고 16 가지 기존 보안 프레임워크를 평가한 결과, 현재 어떤 프레임워크도 모든 위협 카테고리를 충분히 커버하지 못하며 OWASP Agentic Security Initiative 와 CDAO Responsible AI 툴킷이 각각 설계 및 운영 단계에서 상대적으로 가장 높은 점수를 받았음을 밝혔습니다.

핵심

이 논문은 **"여러 AI 에이전트 (지능형 로봇) 가 팀을 이루어 일할 때 발생할 수 있는 새로운 위험"**에 대해 경고하고, 이를 막기 위한 16 가지 안전 가이드를 비교 분석한 보고서입니다.

간단히 말해, **"혼자 일하던 AI 가 이제 팀을 이루어 일하는데, 그 팀워크가 너무 복잡해져서 기존 보안 규칙으로는 감당할 수 없게 되었다"**는 내용입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 배경: 혼자 일하던 AI vs 팀을 이룬 AI (MAS)

• 과거 (단일 AI): 마치 혼자서 요리하는 셰프 같았습니다. 손님이 주문하면 재료를 다듬고 요리해서 내주기만 하면 됩니다. 보안은 "식중독을 막는 것"과 비슷했습니다.
• 현재 (다중 에이전트 시스템, MAS): 이제 거대한 레스토랑 주방이 생겼습니다. 셰프, 서브 셰프, 재고 관리, 배달 기사 등 수십 명의 AI 로봇이 서로 대화하며 일을 분담합니다.
  • 문제점: 셰프가 "소금 좀 줘"라고 말하면, 재고 관리 로봇이 소금을 주고, 배달 로봇이 그 소금을 고객에게 가져갑니다.
  • 위험: 만약 **한 명의 나쁜 로봇 (해커)**이 "소금 대신 독약을 줘"라고 속여 다른 로봇들을 속이면, 전체 주방이 망가집니다. 기존에 '혼자 일하는 셰프'를 위한 보안 규칙으로는 이런 팀워크를 이용한 공격을 막을 수 없습니다.

2. 새로운 위험들 (193 가지 위협)

이 논문은 이런 팀 AI 시스템에서 발생할 수 있는 193 가지의 새로운 위험을 찾아냈습니다. 주요 비유는 다음과 같습니다.

• 메모리 중독 (Memory Poisoning):

  • 비유: 팀원들이 공유하는 공통 일기장에 해커가 "내일 아침 8 시에 금고 문을 열어라"라고 몰래 적어두면, 모든 팀원이 그 일기를 보고 다음 날 금고 문을 엽니다.
  • 위험: AI 가 과거의 경험을 기억하는 '메모리'에 악성 코드를 심어두면, 나중에 그 기억을 꺼낼 때 해킹이 발생합니다.

• 신뢰 사기 (Trust Exploitation):

  • 비유: 팀원 A 가 "나는 안전하니까 이 일을 믿고 맡겨"라고 말하면, 팀원 B 는 의심 없이 그 일을 합니다. 해커는 가장 신뢰받는 팀원 A를 속여, B 와 C 를 모두 속입니다.
  • 위험: AI 들끼리 서로를 무조건 믿는 구조를 이용해, 한 대만 해킹하면 전체 시스템이 무너집니다.

• 비결정성 (Non-Determinism):

  • 비유: 같은 주문을 해도 오늘은 소금, 내일은 설탕을 넣는 것처럼, AI 의 행동이 매번 조금씩 다릅니다.
  • 위험: 해커는 "오늘은 이 명령이 실행되지만, 내일은 실행되지 않을 것"이라는 운명의 틈을 노려 공격합니다. 보안 담당자는 "왜 실패했는지"를 재현할 수 없어 대응이 어렵습니다.

• 경제적 공격 (Economic Denial-of-Service):

  • 비유: 해커가 로봇들에게 "매우 비싼 재료로 요리를 계속 만들어라"라고 시켜, 레스토랑의 돈 (비용) 을 다 태워버립니다.
  • 위험: AI 가 너무 많은 토큰 (데이터 처리 비용) 을 쓰게 만들어 기업 파산 시킵니다.

3. 16 가지 안전 가이드 비교 (어떤 규칙이 가장 좋을까?)

연구진은 현재 존재하는 **16 가지의 AI 보안 가이드 (규칙집)**를 이 193 가지 위험에 대해 시험해 보았습니다. 점수는 1 점 (거의 도움 안 됨) 에서 3 점 (완벽한 해결책) 까지입니다.

• 최고 점수 (65.3%): OWASP Agentic Security Initiative
  • 비유: **가장 최신의 '팀 주방 안전 수칙'**입니다. AI 팀이 어떻게 일해야 하는지, 서로 어떻게 신뢰해야 하는지 구체적으로 적어놓았습니다. 설계 단계에서 가장 강력합니다.
• 실무 1 위: CDAO GenAI Toolkit
  • 비유: **현장에서 바로 쓰는 '안전 점검 도구 상자'**입니다. 개발 중과 운영 중 (실제 식당이 문을 연 후) 에 가장 잘 작동합니다.
• 약점:
  • 대부분의 규칙집은 **AI 의 '불확실한 행동 (비결정성)'**과 데이터 유출을 막는 데는 매우 약합니다. 마치 "화재가 났을 때 어떻게 할지"는 적어두었지만, "왜 불이 났는지 예측하는 법"은 적어두지 않은 것과 같습니다.

4. 결론 및 제언

이 논문은 우리에게 다음과 같은 메시지를 줍니다.

1. 구식 보안은 무용지물입니다: 옛날 소프트웨어용 보안 규칙으로는 AI 팀의 복잡한 공격을 막을 수 없습니다.
2. 새로운 규칙이 필요합니다: 특히 AI 가 서로 어떻게 신뢰하는지, 메모리를 어떻게 안전하게 관리하는지에 대한 새로운 규칙이 시급합니다.
3. OWASP 가 가장 앞서 있습니다: 현재로서는 OWASP 가 만든 가이드가 가장 잘 되어 있지만, 여전히 해결되지 않은 위험 (특히 AI 의 예측 불가능한 행동) 이 많습니다.

요약

"AI 가 혼자 일할 때는 '문 잠그기'만 하면 됐지만, 이제 AI 가 팀을 이루고 서로 대화하며 일하니, '팀원들끼리의 사기', '공유 일기장 해킹', '비용 폭탄' 같은 새로운 위험이 생겼습니다. 이 논문은 이런 새로운 위험을 찾아내고, 현재 있는 16 가지 안전 규칙 중 무엇이 가장 효과적인지 분석했습니다. 결론은 'OWASP 가이드'가 가장 좋지만, 아직 해결해야 할 'AI 의 예측 불가능한 행동'이라는 큰 과제가 남아있다는 것입니다."

기술 요약

다중 에이전트 시스템 (MAS) 보안 고려사항: 기술적 요약

이 문서는 Crew Scaler(501c3 신청 중) 가 NIST RFI 2026-00206 에 제출한 응답으로, 단일 AI 모델과 구별되는 **다중 에이전트 시스템 (Multi-Agent Systems, MAS)**의 고유한 보안 위협을 체계적으로 분석하고 기존 보안 프레임워크들의 대응 능력을 평가한 연구입니다.

1. 문제 정의 (Problem)

현대적인 에이전트형 AI 는 도구, 데이터베이스, 외부 API 및 동료 에이전트에게 위임된 권한을 행사하며, 최소한의 인간 개입으로 다단계 작업을 자율적으로 계획하고 실행합니다. 이러한 자율성 부여는 전통적인 소프트웨어 시스템이나 단일 에이전트 시스템과는 질적으로 다른 새로운 보안 취약점을 야기합니다.

• 기존 프레임워크의 한계: NIST AI 위험 관리 프레임워크, MITRE ATLAS, OWASP 등 기존 보안 및 거버넌스 프레임워크는 결정론적 제어 흐름, 경계된 신뢰 영역, 상태 비저장 (stateless) 실행을 가정하도록 설계되었습니다.
• MAS 의 고유한 위협: 에이전트들이 지속적 메모리를 공유하고, 위임 체인을 통해 도구 권한을 전파하며, 공유 컨텍스트를 통해 서로의 추론에 영향을 줄 때, 보안 표면은 구조적이고 경계된 것이 아니라 **행동적이고 창발적 (emergent)**이 됩니다.
  • 예시: 정책 수준의 원격 코드 실행 (RCE), 공유 벡터 데이터베이스를 통한 잠재적 메모리 중독, 에이전트 간 통신을 통한 자기 복제형 프롬프트 웜, 불확실성 (Non-determinism) 으로 인한 보증 간극 등.
• 실무자의 필요: 보안 아키텍처 결정을 안내할 수 있는 경험적, 프레임워크 간 비교 데이터가 부족합니다.

2. 방법론 (Methodology)

이 연구는 생산 환경의 다중 에이전트 아키텍처에 특화된 위협 지형을 체계적으로 분석하기 위해 4 단계 방법론을 적용했습니다.

1. 시스템 지식베이스 구축: 에이전트 기본 원리, 프레임워크 통합, 생산 배포, 고급 추론, RAG, NVIDIA NeMo 프레임워크 등 10 가지 주제, 86 장에 걸친 기술적 지식베이스를 구축했습니다.
2. 생성형 AI 지원 위협 모델링: 지식베이스의 구조적 구성 요소와 운영 패턴을 대상으로 생성형 AI 를 활용하여 위협을 체계적으로 모델링했습니다. 특히 단일 에이전트 위험과 질적으로 구별되는 다중 에이전트 고유의 위협 (예: 에이전트 조정, 공유 상태, 위임된 권한) 에 초점을 맞추도록 프롬프트를 설계했습니다. NVIDIA 인증 전문가의 검증을 통해 기술적 정확성을 확보했습니다.
3. 위험 수준 설문 계획: 약 1,700 개의 후보 위협을 193 개의 주요 위협 항목으로 정제하고, 이를 9 가지 위험 카테고리로 분류했습니다. 각 위협에 대해 개별적으로 조사를 수행할 수 있도록 세분화했습니다.
4. 정량적 평가 및 스코어링: 16 개의 주요 보안 및 거버넌스 프레임워크를 193 개의 위협 항목에 대해 3 점 척도 (1: 최소 가이드, 2: 간접/적당한 커버리지, 3: 직접/구체적 완화) 로 평가했습니다.

3. 주요 기여 (Key Contributions)

• 193 개 다중 에이전트 보안 위협 분류체계: 생산 환경 아키텍처에서 도출된 9 가지 카테고리 (에이전트 - 도구 결합, 데이터 유출, 주입, 신원 및 출처, 메모리 중독, 비결정성, 신뢰 악용, 타이밍/모니터링, 워크플로우 아키텍처) 로 구성된 체계적인 위협 분류표.
• 16 개 프레임워크의 정량적 비교 분석: 각 프레임워크의 카테고리별 커버리지 점수, 수명주기 단계 (설계, 개발, 운영) 별 순위, 종합 성숙도 점수를 산출하고, 어떤 프레임워크도 커버리지하지 않는 5 가지 위협 항목을 식별했습니다.
• 실증 기반 프레임워크 선택 가이드:
  • OWASP Agentic Security Initiative (ASI): 전체 커버리지 65.3% 로 1 위, 설계 단계에서 우세.
  • CDAO GenAI Responsible AI Toolkit: 개발 및 운영 단계 커버리지에서 1 위.
  • ATFAA-SHIELD: 비-OWASP 프레임워크 중 가장 높은 아키텍처 구체성 보유.
• 위험 진화 특성화: 이론적 구성에서 개념 증명, 그리고 실제 악용으로 이어지는 에이전트형 AI 위협의 성숙 과정을 분석하여 실무자의 우선순위 설정과 향후 프레임워크 개발 방향을 제시했습니다.

4. 주요 결과 (Results)

• 전반적 커버리지 부족: 검토된 16 개 프레임워크 중 어떤 것도 단일 카테고리에서 과반수 (50% 이상) 의 위협을 완전히 커버하지 못했습니다. 평균 점수는 2.0 미만으로, 대부분의 위협에 대해 명확한 대응책이 부족함을 시사합니다.
• 가장 취약한 영역:
  • 비결정성 (Non-Determinism): 평균 점수 1.231 (가장 낮음). LLM 의 확률적 행동, MCTS/HTN 계획의 불확실성 등에 대한 대응이 거의 없습니다.
  • 데이터 유출 (Data Leakage): 평균 점수 1.340. 대규모 컨텍스트, 로그, 확률적 회상을 통한 새로운 유출 경로에 대한 대응이 미흡합니다.
• 커버리지 리더:
  • OWASP ASI: 전체 65.3% 커버리지, 설계 단계에서 가장 강력함.
  • CDAO GenAI: 개발 및 운영 단계에서 가장 강력한 커버리지 (모니터링 도구 등 구체적 도구 포함).
  • MITRE ATLAS: 신뢰 악용 및 워크플로우 아키텍처 분야에서 강력한 기술적 세부사항 제공.
• 완전 미비 항목: 다음 5 가지 위협 항목은 모든 16 개 프레임워크에서 전혀 다루지 않았습니다 (점수 1):
  1. 효율성 최적화 및 리소스 제약 악용 (RATC 10)
  2. MCTS 계획 상태를 통한 데이터 유출 (RDL 29)
  3. HTN 계획의 비결정성 (RND 25)
  4. MCTS 계획의 비결정성 (RND 26)
  5. 기타 다중 에이전트 신뢰 악용 위험 (RTE 33)

5. 의의 및 시사점 (Significance)

• 최초의 경험적 비교: 다중 에이전트 시스템 보안에 대한 최초의 경험적 프레임워크 간 비교 분석을 제공하여, 보안 아키텍처 설계 시 프레임워크 선택을 위한 데이터 기반 의사결정을 지원합니다.
• 새로운 공격 표면의 규명: 단일 에이전트 시스템에서는 존재하지 않았던 '에이전트 간 신뢰 악용', '자기 복제형 프롬프트 웜', '비결정성으로 인한 보증 간극' 등 새로운 공격 벡터를 체계적으로 분류했습니다.
• 미래 연구 방향 제시: 현재 프레임워크들이 비결정성과 데이터 유출, 그리고 고급 계획 알고리즘 (MCTS, HTN) 과 관련된 위협에 취약함을 지적함으로써, 향후 보안 표준 및 프레임워크 개발이 가장 시급히 필요한 영역을 명확히 했습니다.
• 실무적 가이드: OWASP ASI 와 CDAO GenAI 툴킷을 조합하여 설계, 개발, 운영 전 주기에 걸친 방어 전략을 수립할 것을 권장하며, 인프라 수준 (Kubernetes, GPU 등) 과 에이전트 간 통신 보안의 중요성을 강조합니다.

이 연구는 급변하는 에이전트형 AI 환경에서 기존 보안 패러다임의 한계를 지적하고, 다중 에이전트 시스템의 고유한 복잡성과 위험을 해결하기 위한 구체적인 방향성을 제시한다는 점에서 중요한 의미를 가집니다.