기술 요약: 신뢰할 수 있는 LLM-MAS 를 위한 포괄적 취약점 분석의 필요성

1. 문제 제기

대형 언어 모델 기반 다중 에이전트 시스템 (LLM-MAS) 은 핀테크, 의료 분류, 소프트웨어 공학 등 고위험 분야에서 복잡한 작업을 해결하기 위해 여러 전문 에이전트를 배치함으로써 AI 협업의 중요한 진보를 나타냅니다. 단일 에이전트의 취약점 (예: 프롬프트 인젝션, 유해한 출력 생성) 은 잘 연구되어 왔지만, LLM-MAS 는 에이전트 간 통신, 신뢰 관계, 도구 통합에 의해 생성된 새로운 공격 표면을 고려하지 못해 여전히 크게 탐구되지 않은 근본적으로 새롭고 독특한 보안 과제를 도입합니다.

식별된 핵심 문제는 현재 보안 연구가 LLM-MAS 위협에 대한 전체적인 평가를欠하고 있다는 점입니다. 기존 연구들은 종종 개별 에이전트 프로필과 같은 고립된 구성 요소나 오류 주입과 같은 특정 시나리오에 좁게 초점을 맞추어, 에이전트 간 통신, 신뢰 관계, 도구 통합에 의해 생성된 새로운 공격 표면을 고려하지 못합니다. 광범위한 분류 체계, 타당성이 입증된 위협 모델, 공격 목표에 대한 공식적 정의의 부재는 의미 있는 평가 벤치마크 설계와 진정으로 신뢰할 수 있는 시스템 구축을 방해합니다.

2. 방법론

본 논문은 공식적인 수학적 형식을 기반으로 한 취약점 분석을 위한 체계적인 프레임워크를 제안합니다.

2.1 시스템 분해

저자들은 LLM-MAS($S_{MA}$) 를 여섯 가지 핵심 구성 요소로 분해합니다:

1. 개별 에이전트 ($A$): LLM 코어 ($f_i$), 에이전트 프로필 ($P_i$), 그리고 도구 집합 ($T_i$) 으로 구성됨.
2. 에이전트 간 통신 ($C$): 통신 구조 ($S$), 교환된 메시지 ($M$), 그리고 신뢰 관리 ($T$) 로 정의됨.
3. 환경 ($E$): 에이전트가 작동하는 물리적 또는 시뮬레이션된 설정.
4. 메모리 ($Mem$): 메시지와 경험을 저장하는 공유 저장소.
5. 초기 쿼리 ($Q$): 시스템을 트리거하는 입력.

2.2 공식적 위협 모델

저자들은 특정 시스템 구성 요소 ($S$) 를 조작하여 악의적인 목표 ($G$) 를 달성하려는 공격자에 대한 일반적 형식을 정의합니다:
$$\arg \max_{S \in \Theta_S} \text{Evaluator}(S_{MA}, Q, G)$$
여기서:

• $\Theta_S$ 는 공격자의 능력 (블랙박스, 그레이박스, 화이트박스) 에 의해 결정되는 악의적 공간을 나타냅니다.
• 평가자 (Evaluator) 함수는 특정 목표 (예: 유해한 행동, 자원 고갈) 에 기반하여 공격의 성공을 정량화합니다.

2.3 취약점 분류 체계

본 프레임워크는 악의적 목표를 분류하고 각 구성 요소에 걸쳐 취약점을 분석합니다:

• 악의적 목표:
  • 유해한 행동: 유해한 텍스트에서 도구 기능을 통해 파괴적인 프로그램 실행이나 무단 거래 수행으로의 에스컬레이션.
  • 자원 고갈: 메시지 팽창이나 도구 남용을 통해 계산 자원 (CPU, 메모리, 대역폭) 을 과부하시킴.
  • 성능 저하: 오염된 입력을 통해 작업 정확도나 효율성을 저하시킴.
  • 개인정보 유출: 에이전트 간 통신을 통해 다른 에이전트나 공유 메모리에서 민감한 데이터를 추출함.
• 구성 요소별 취약점:
  • 입력 ($Q$): 프롬프트 인젝션 및 컨텍스트 조작.
  • 에이전트 ($A_i$): 손상된 LLM 코어, 에이전트 간 프로토콜 하에서 특히 하이재킹된 프로필, 그리고 악성 도구 (모델 컨텍스트 프로토콜/MCP 오염 포함).
  • 통신 ($C$): 에이전트 인 더 미들 공격, 메시지 가로채기, 그리고 신뢰 관리에서의 회의론 부족 (검증되지 않은 메시지를 맹목적으로 수용).
  • 환경 ($E$): 에이전트 인식에 영향을 미치는 물리적 또는 시뮬레이션된 환경 공격.

3. 주요 기여

• 체계적 프레임워크: 고립된 에이전트 중심 평가를 넘어 모든 LLM-MAS 구성 요소의 구조적 분석을 가능하게 하는 악의적 목표를 공식적으로 정의하는 통합 프레임워크.
• 포괄적 분류 체계: 단일 에이전트 시스템에는 존재하지 않는 통신 구조와 신뢰 관리, 특히 다중 에이전트 아키텍처에 고유한 새로운 공격 표면을 식별.
• 공식적 정의: 실용적인 공격자 능력에 기반한 공격 목표와 위협 모델의 엄격한 형식화, 재현 가능한 평가를 위한 기초 제공.
• 예비 실증 연구: 은행 도메인에서 플래너 - 실행자 아키텍처를 사용하여 프레임워크를 구체화하고 비자명한 취약점의 존재를 입증.

4. 결과

저자들은 AgentDojo 은행 데이터셋에서 플래너 - 실행자 파이프라인 (플래너: GPT-5-mini; 실행자: GPT-5-mini 또는 GPT-5-nano) 을 사용하여 예비 연구를 수행했습니다. 그들은 플래너 시작, 실행자 시작, 실행자 종료의 세 단계에서 프롬프트 인젝션 공격을 수행했습니다.

주요 발견:

• 높은 취약성: 시스템은 다양한 공격 단계와 모델 용량 전반에 걸쳐 상당한 취약성을 보였습니다.
• 치명적인 주입 지점: 플래너 시작 및 실행자 종료 단계에서의 주입은 개인정보 유출과 유해한 행동 목표 모두에 대해 약 **90%**의 높은 공격 성공률 (ASR) 을 일관되게 달성했습니다.
• 구조적 성격: 다양한 모델과 목표에 걸쳐 이러한 취약성이 지속된다는 사실은 위험이 개별 에이전트의 결함이 아니라 시스템 수준의 상호작용에서 비롯된 구조적 문제임을 시사합니다.
• 유틸리티 대 보안: 상대적으로 높은 작업 유틸리티 (예: 80-90% 작업 완료) 를 유지하면서도 높은 공격 성공률이 관찰되어, 공격이 시스템을 즉시 마비시키지 않고도 성공할 수 있음을 나타냅니다.

5. 중요성 및 행동 촉구

본 논문은 포괄적인 취약점 분석이 신뢰할 수 있는 LLM-MAS 구축을 위한 전제 조건이라고 주장합니다. 저자들은 현재 해당 분야가 다음을欠하고 있음을 강조합니다:

1. LLM-MAS 취약점 평가에 특화된 벤치마크.
2. 구조 추론, 시스템 안정성 공격 등 다중 에이전트 아키텍처에 고유한 새로운 잠재적 공격에 대한 고려.
3. 적대적 조건에서 보안을 강제할 수 있는 신뢰 관리 시스템의 구현.

이 연구는 악의적 목표, 공격자 능력, 에이전트 상호작용을 명시적으로 모델링하는 시스템 수준의 보안 분석을 채택하도록 커뮤니티를 촉구하며 미래 연구에 필수적인 기초를 제공합니다. 개별 구성 요소의 임의적 테스트에 의존하기보다 실제 세계 에이전트 시스템의 구조적 복잡성을 반영하는 원칙 있는 형식화와 재현 가능한 분석의 개발을 요구합니다.

식별된 개방적 과제:

• 다중 에이전트 시스템에 적합한 세분성을 갖춘 벤치마크 개발.
• 기울기 계산이 불가능한 복잡하고 다중 구성 요소 시스템을 위한 실용적 공격 생성.
• 실시간 감독을 위한 신뢰할 수 있고 저지연 모니터링 에이전트 설계.
• 에이전트 수명 주기에 최소 권한, 방어 심층화 (defense-in-depth) 와 같은 전통적 보안 원칙 통합.