An Agentic Multi-Agent Architecture for Cybersecurity Risk Management

1. 문제 정의 (Problem Statement)

• 비용 및 접근성 장벽: 중소규모 기업 (SMB) 에게 NIST CSF(사이버보안 프레임워크) 를 준수하는 전문적인 사이버보안 위험 평가는 비용이 매우 비싸고 (최소 15,000 달러), 시간이 오래 걸리며, 숙련된 전문가가 부족하여 실제로는 대부분 평가를 생략합니다.
• 단일 모델의 한계: 기존에 시도된 단일 LLM(대형 언어 모델) 을 이용한 평가 방식은 전체 문맥을 유지하지 못했습니다. 모델이 초기 입력 데이터를 기억하지 못해, 후속 단계에서 초기 조건과 모순되는 결론을 도출하거나 예산 제약을 무시하는 비현실적인 권고안을 생성하는 '일관성 결여 (Coherence Failure)' 문제가 발생했습니다.
• 프레임워크의 한계: NIST CSF 나 ISO/IEC 27005 와 같은 기존 프레임워크는 '무엇을' 평가해야 하는지는 정의하지만, 특정 조직에 맞는 구체적인 위협을 판단하고 통제 수단의 유효성을 평가하는 '실질적인 분석 작업'을 수행하는 도구를 제공하지는 못합니다.

2. 방법론 (Methodology)

저자들은 6 개의 에이전트로 구성된 다중 에이전트 시스템을 설계하여 위 문제를 해결했습니다. 핵심은 각 에이전트가 독립적인 분석 단계를 수행하되, **공유된 지속적 컨텍스트 (Shared Persistent Context)**를 통해 서로의 결과를 실시간으로 참조하고 축적하는 방식입니다.

2.1 6 개 에이전트 역할 (Agent Roles)

1. Risk Intake Agent: 조직의 산업, 규모, 규제 범위, 시스템 현황 등을 설문조사에서 추출하고, 모호한 점은 추측하지 않고 인간이 확인하도록 플래그를 남깁니다.
2. Threat Modeling Agent: 조직 프로필과 자산 목록을 기반으로 해당 조직에 실제로 타당한 3~4 가지 위협 시나리오를 식별합니다 (포괄적인 목록 나열이 아닌 현실성 중시).
3. Control Assessment Agent: 기존 통제 수단이 식별된 위협에 대해 실제로 유효한지 분석합니다 (예: 방화벽이 존재하는지 여부가 아니라, 트래픽 패턴을 차단하는지 여부).
4. Risk Scoring Agent: 위협 모델링과 통제 평가 결과를 통합하여 각 위험의 발생 가능성과 영향도를 산정하고 논리적 근거를 첨부합니다.
5. Mitigation Recommendation Agent: 조직의 규모와 예산 (Risk Intake 단계에서 수집된 정보) 을 재참조하여, 소규모 기업이 실행 가능한 구체적인 개선 로드맵을 작성합니다.
6. Report Synthesis Agent: 모든 에이전트의 출력을 통합하여 일관된 어조로 요약하고, 모순점을 검출하여 최종 보고서를 생성합니다.

2.2 핵심 기술적 특징

• 공유 지속적 컨텍스트 (Shared Persistent Context): 기존 순차적 파이프라인과 달리, 모든 에이전트가 컨텍스트를 읽기/쓰기 가능합니다. 이로 인해 마지막 단계의 에이전트도 초기 단계의 조직 프로필을 직접 참조할 수 있어 일관성이 보장됩니다.
• 로컬 배포 및 데이터 프라이버시: 민감한 인프라 정보가 외부 API 로 유출되는 것을 방지하기 위해 로컬 환경 (Ollama, Chroma DB, Supabase) 에서 실행됩니다.
• 도메인 파인튜닝 (Domain Fine-Tuning): 일반 모델 (Mistral-7B) 과 사이버보안 도메인 특화 파인튜닝 모델 (saki007ster/CybersecurityRiskAnalyst) 을 비교 평가했습니다.
• 할루시네이션 방지: 프레임워크 (NIST CSF 등) 인용 시, 지식 베이스에서 검색된 실제 텍스트만 참조하도록 강제하고, 출력된 인용문이 실제 존재하는지 검증하는 메커니즘을 도입했습니다.

3. 주요 기여 (Key Contributions)

1. NIST CSF 워크플로우의 6 에이전트 분해: 일관성 실패를 방지하기 위해 공유 컨텍스트를 통한 조율 메커니즘을 도입한 새로운 아키텍처 제안.
2. 로컬 배포 가능한 실용적 구현: 민감한 데이터를 외부로 보내지 않고 로컬 머신에서 실행 가능한 시스템 구축.
3. 실제 사례 검증: 15 명 규모의 HIPAA 적용 의료 기업을 대상으로 3 명의 CISSP 전문가 평가 결과와 비교 검증.
4. 다 sector 일반화 연구: 의료, 핀테크, 제조, 유통, SaaS 등 5 개 산업군의 30 회 반복 실험을 통해 도메인 파인튜닝의 효과를 입증.

4. 실험 결과 (Results)

4.1 주요 사례 연구 (15 명 의료 기업)

• 일치율: 3 명의 CISSP 전문가와 위험 심각도 분류에서 85% 일치 (18/21).
• 커버리지: 전문가가 식별한 위험 중 **92% (12/13)**를 시스템이 포착. (나머지 8% 는 물리적 접근 통제 등 설문지로 파악 불가능한 영역).
• 성능: 평가 완료 시간 약 15 분 (인간 평가는 16 시간 소요).
• 품질: 전문가들이 생성된 보고서의 명확성과 실행 가능성에 대해 평균 4.0/5.0 이상의 점수를 부여.

4.2 교차 산업 연구 (Cross-Sector Study)

• 도메인 특화성: 일반 모델 (Mistral-7B) 은 모든 산업에 대해 "무단 접근", "데이터 유출" 등 동일한 일반화된 위협만 식별한 반면, 파인튜닝 모델은 의료 (PHI 노출, FHIR 통합 취약점), 제조 (OT/IIoT 센서 취약점), 유통 (Shopify/ AWS 특정 취약점) 등 산업별 구체적인 위협을 식별했습니다.
• 안정성: 단일 에이전트 실행 시 구조적 오류 없이 100% 성공.
• 변동성: 파인튜닝 모델은 동일한 입력에 대해 실행마다 다른 위협 제목을 생성하는 경향이 있었으나, 이는 문맥을 더 깊이 반영한 결과로 해석됨.

4.3 하드웨어 제약 및 한계

• 컨텍스트 창 한계: Tesla T4 GPU(기본 4,096 토큰 컨텍스트) 환경에서 6 에이전트 파이프라인 실행 시 30 회 중 0 회 성공 (컨텍스트 오버플로 발생). 반면, RTX 4090(128K 컨텍스트) 에서는 성공.
• 결론: 다중 에이전트 아키텍처는 모델의 성능보다 컨텍스트 창 크기와 VRAM 용량이 병목 현상의 주요 원인임을 발견.

5. 의의 및 결론 (Significance & Conclusion)

• 실질적 가치: 중소 기업이 전문 보안 인력이 없어도 15 분 내에 산업별 맞춤형 위험 평가의 '시작점 (Starting Point)'을 얻을 수 있게 함. 이는 '전문가 수준의 평가'는 아니지만, '아무것도 없는 상태'보다 훨씬 우월함.
• 기술적 통찰:
  • 단일 모델의 일관성 문제를 해결하기 위해 공유 지속적 컨텍스트를 가진 다중 에이전트 아키텍처가 필수적임.
  • 도메인 파인튜닝은 일반 모델이 놓치는 산업별 구체적 위협을 식별하는 데 결정적임.
  • 다중 에이전트 시스템 배포 시 컨텍스트 창 크기를 인프라 제약 조건으로 고려해야 함.
• 한계 및 향후 과제: 입력 데이터의 부정확성 (과소/과대 평가) 에 대한 취약성, 물리적/기술적 테스트가 필요한 영역의 부재, 그리고 생성 결과의 변동성으로 인한 다중 실행 필요성 등을 지적하며, 향후 실제 기업 환경에서의 검증과 보안 강화가 필요함을 강조했습니다.

이 논문은 사이버보안 위험 평가의 민주화를 위해 AI 에이전트 아키텍처를 어떻게 설계해야 하는지에 대한 구체적인 기술적 로드맵과 실증 데이터를 제공한다는 점에서 의의가 큽니다.