논문 개요: TrinityGuard

이 논문은 대규모 언어 모델 (LLM) 기반의 다중 에이전트 시스템 (MAS) 의 급속한 발전에 따라 등장한 새로운 안전성 및 보안 위협을 해결하기 위해 제안된 통합 안전 평가 및 모니터링 프레임워크인 TrinityGuard를 소개합니다. 기존 연구들이 단일 에이전트나 LLM 에 초점을 맞춘 반면, TrinityGuard 는 MAS 고유의 계층적 위험 (단일 에이전트, 에이전트 간 상호작용, 시스템 전체적 위험) 을 포괄적으로 평가하고 실시간으로 감시할 수 있는 체계를 제공합니다.

1. 문제 정의 (Problem)

• 새로운 위협의 등장: LLM 기반 MAS 는 소프트웨어 공학, 과학적 발견, 금융 분석 등 다양한 분야에서 협업 워크플로우를 가능하게 하지만, 단일 에이전트의 위험을 넘어선 새로운 보안 위협을 야기합니다.
• 기존 연구의 한계:
  • 기존 보안 도구들은 주로 단일 LLM 의 프롬프트 인젝션이나 할루시네이션 등 개별 에이전트의 취약점에 집중했습니다.
  • MAS 환경에서는 에이전트 간 메시지 전파, 집단적 할루시네이션, 에이전트 간 공모 (Collusion) 등 단일 에이전트만으로는 발생하지 않는 계층적 (Hierarchical) 위험이 존재합니다.
  • 이질적인 MAS 배포 환경 전반에 걸쳐 이러한 위험을 체계적으로 평가하고 모니터링할 수 있는 표준화된 도구가 부재했습니다.

2. 방법론 (Methodology)

TrinityGuard 는 OWASP 표준을 기반으로 하며, 3 계층 아키텍처와 3 단계 위험 분류 체계를 핵심으로 합니다.

A. 3 계층 아키텍처 (Three-Layer Architecture)

1. MAS 추상화 계층 (Level 1: MAS Abstraction Layer):
   • AutoGen, LangGraph, CrewAI 등 다양한 MAS 오케스트레이션 프레임워크에 종속되지 않는 통합 인터페이스 (BaseMAS) 를 정의합니다.
   • 메시지 훅 (Message-hook) 메커니즘을 통해 상부 계층이 전송 중인 메시지를 가로채고 검사할 수 있도록 하여, 프레임워크 독립적인 안전 로직 구현을 가능하게 합니다.
2. 중간 계층 (Level 2: Intermediary Layer):
   • 테스트 시간 개입 (Test-time Intervention): 공격 시나리오를 실행하기 위해 메시지를 주입하거나, 에이전트 메모리를 오염시키고, 악성 도구를 등록하는 등의 원시 기능 (Primitives) 을 제공합니다.
   • 런타임 관찰 (Runtime Observation): 모든 메시지 교환, 도구 호출, 에이전트 상태 전이를 구조화된 이벤트로 기록하여 실시간 모니터링이 가능하도록 합니다.
3. 안전 평가 계층 (Level 3: Safety Evaluation Layer):
   • 위험 테스트 모듈: 각 위험 유형에 맞춰 정적 페이로드와 LLM 이 생성한 적응형 프로브 (Adaptive Probes) 를 실행합니다.
   • 모니터 에이전트: 실시간 이벤트 스트림을 분석하여 위험을 탐지합니다.
   • LLM Judge Factory: 모든 판단을 중앙 집중화된 LLM 기반 판사 (Judge) 에게 위임하여, 위험별 정책 프롬프트에 따라 안전 위반 여부를 결정합니다.

B. 3 단계 위험 분류 체계 (Three-Tier Risk Taxonomy)

OWASP 표준을 기반으로 20 가지 위험 유형을 3 단계로 분류합니다.

• Tier 1 (단일 에이전트 원자적 위험, 8 가지): 프롬프트 인젝션, 탈옥 (Jailbreak), 민감 정보 유출, 과도한 권한, 무단 코드 실행, 할루시네이션, 메모리 오염, 도구 오용 등.
• Tier 2 (에이전트 간 통신 위험, 6 가지): 악성 전파, 오정보 증폭, 불안전한 출력 처리, 목표 이탈 (Goal Drift), 메시지 변조, 신원 도용 (Spoofing) 등.
• Tier 3 (시스템 수준 발생적 위험, 6 가지): 연쇄 실패 (Cascading Failure), 샌드박스 탈출, 모니터링 부족, 집단 할루시네이션, 악성 발생 (Malicious Emergence), 불량 에이전트 (Rogue Agent) 등.

C. 이중 모드 운영 (Dual-Mode Safeguarding)

• 배포 전 평가 (Pre-deployment Evaluation): 정적 페이로드와 적응형 프로브를 사용하여 취약점 보고서를 생성하고 패스율 (Pass Rate) 을 산출합니다.
• 런타임 모니터링 (Runtime Monitoring): 실제 운영 환경에서 구조화된 이벤트 스트림을 실시간으로 분석하여 위험 발생 시 즉시 경고를 발령합니다.

3. 주요 기여 (Key Contributions)

1. 오픈 소스 확장성 프레임워크: MAS 추상화, 평가 인프라, 위험별 안전 로직을 명확히 분리하여, 새로운 MAS 플랫폼이나 위험 유형을 최소한의 통합 노력으로 추가할 수 있는 플러그인 구조를 제공합니다.
2. 정량화된 3 단계 위험 분류 체계: 단일 에이전트, 상호작용, 시스템 전체 차원의 20 가지 위험 유형을 OWASP 표준에 기반하여 체계화하고, 개체 및 위험별 정량적 안전 지표를 정의했습니다.
3. 통합 평가 파이프라인: 정적 페이로드와 LLM 기반 적응형 프로브를 결합하여 각 위험 유형을 타겟팅하며, 구조화된 취약점 보고서와 패스율, 심각도 프로파일을 생성합니다.

4. 실험 결과 (Results)

저자들은 300 개의 합성된 MAS 워크플로우와 4 가지 대표적인 AG2 (AutoGen) 사례 연구를 통해 TrinityGuard 를 평가했습니다.

• 전반적인 취약성: 300 개의 합성 MAS 워크플로우에서 전체 평균 패스율은 **7.1%**에 불과했습니다. 이는 현재 MAS 배포가 심각한 취약점을 안고 있음을 시사합니다.
• 계층별 분석:
  • Tier 3 (시스템 위험): 평균 패스율 **1.3%**로 가장 취약했습니다. 특히 데이터베이스 및 연구 분야 MAS 는 시스템 수준 위험에 대해 0% 의 패스율을 기록했습니다.
  • Tier 1 (단일 에이전트 위험): 평균 패스율 **6.8%**로, 기본 에이전트도 쉽게 침해당할 수 있음을 보여줍니다.
  • Tier 2 (통신 위험): 평균 패스율 **13.2%**로 상대적으로 높았으나 여전히 위험 수준입니다.
• 사례 연구 (Case Studies):
  • 금융 분석, 게임 디자인, 여행 계획, 심층 연구 에이전트 등 4 가지 사례에서 **프롬프트 인젝션과 탈옥 공격에 대한 패스율이 0%**로 나타났습니다.
  • 계층적 구조를 가진 'Deep Research Agent'는 할루시네이션 (75%) 과 연쇄 실패 (25%) 방지에 있어 다른 에이전트보다 우수한 성능을 보였으나, 여전히 신원 도용 (0-12%) 등 인증 부재로 인한 위협에는 취약했습니다.

5. 의의 및 결론 (Significance)

• MAS 안전성 연구의 새로운 기반: TrinityGuard 는 MAS 의 고유한 계층적 위험을 체계적으로 평가할 수 있는 첫 번째 통합 프레임워크로서, MAS 의 안전한 배포를 위한 필수적인 도구를 제공합니다.
• 실용적 가치: 단순한 취약점 발견을 넘어, 구체적인 위험 유형, 영향을 받는 개체, 발생 계층을 식별하여 우선순위별 완화 전략을 수립할 수 있도록 돕습니다.
• 지속 가능한 보안: 배포 전 테스트와 런타임 모니터링을 결합하여 MAS 수명 주기 전반에 걸쳐 지속적인 보안 커버리지를 제공합니다.

이 논문은 LLM 기반 다중 에이전트 시스템이 실제 환경에 적용되기 전에 반드시 거쳐야 할 안전성 검증의 표준을 제시하며, 향후 MAS 보안 연구 및 개발의 방향성을 제시합니다.