기술 요약: MESA – 다중 에이전트 시스템 보안을 위한 취약한 통신 채널 우선순위 지정

1. 문제 정의

대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)은 의료 상담, 소프트웨어 개발, 고객 서비스와 같은 고위험 도메인에서 복잡하고 분산된 워크플로우를 자동화하기 위해 점점 더 많이 배치되고 있습니다. 이러한 시스템은 에이전트 간 협업을 가능하게 하는 에이전트 간 통신 채널을 활용하지만, 이러한 채널은 새롭고 이해가 부족한 공격 표면을 도입합니다. 기존의 방어 체계는 모든 통신 채널을 동일하게 취급하거나, 공격이 관찰된 후의 사후 대응적 조치에 의존하는 경우가 많습니다.

본 논문이 다루는 핵심 문제는 취약성의 비균일한 분포입니다. 저자들은 특정 통신 채널(에지, edge)의 침해 영향이 매우 집중되어 있음을 관찰했습니다. 단 하나의 침해된 에지가 전체 공격 성공의 최대 75%를 차지할 수 있습니다. 그러나 방어자들은 공격이 발생하기 전에 어떤 에지가 가장 중요한지를 예측할 수 있는 일반적인 모델이 없습니다. 이러한 모델이 없다면, 보안 자원(예: 모니터링, 레드팀 수행, 하드닝)을 효율적으로 할당할 수 없게 되어, 중복된 영역에는 과잉 보호를 하고 중요한 영역에는 보호가 미흡한 상태로 남게 됩니다.

2. 방법론: MESA 프레임워크

본 논문은 보안 임계치에 따라 통신 에지의 순위를 선제적으로 매기기 위해 설계된 레이블이 필요 없는(label-free) 프레임워크인 **MESA(MAS Edge Saliency Analysis)**를 소개합니다. MESA는 시스템의 통신 그래프와 깨끗한 실행 트레이스(execution traces)만 있으면 작동하며, 오프라인으로 수행되므로 과거의 공격 데이터가 필요하지 않습니다.

2.1. 모델링

MAS는 노드가 LLM 에이전트를 나타내고 유향 에지가 통신 채널을 나타내는 유향 그래프 $G = (V, E)$로 모델링됩니다. 목표는 에지의 예상 보안 영향을 정량화하는 에지 점수 함수를 구축하는 것입니다.

2.2. 특징 추출

MESA는 그래프 이론과 돌출도 분석(saliency analysis)에서 유도된 8가지 특징을 집계합니다:

• 6가지 정적 특징 (그래프 구조적): 이는 특정 작업과 무관한 토폴로지의 내재적 속성을 포착합니다.
  • 흐름 집중도 (양의 부호): 에지 사이성(Edge Betweenness, $Betw$), 정보 병목(Information Bottleneck, $IB$), 브리지 지표(Bridge Indicator, $Br$). 이들은 에지가 얼마나 많은 트래픽을 운반하는지 또는 해당 에지의 제거가 그래프를 단절시키는지 측정합니다.
  • 엔드포인트 중복성 (음의 부호): 엔드포인트 중심성(Endpoint Centrality, $EC$), 소스 외차수(Source Out-Degree, $SrcD$), 타겟 내차수(Target In-Degree, $TgtD$). 이들은 송신자와 수신자의 중복성을 측정하며, 연결성이 높을수록 에지당 취약성은 낮아집니다.
• 2가지 동적 특징 (작업 의존적 프로브): 이는 실행 중 시스템이 특정 채널에 얼마나 의존하는지를 측정합니다.
  • 채널 절제(Channel Ablation, $\Delta_{abl}$): 에지를 완전히 제거했을 때 작업 정확도가 떨어지는 정도를 측정합니다.
  • 메시지 마스킹(Message Masking, $\Delta_{mask}$): 에지는 유지하되 그 내용을 역할에 일관되지만 정보가 없는 필러(filler)로 대체했을 때 정확도가 떨어지는 정도를 측정합니다. 이는 구조적 의존성과 콘텐츠 의존성을 구분합니다.

2.3. 점수 계산

에지 $e$에 대한 MESA 점수는 각 특징을 정규화하고 각자의 기대 부호(취약성 지표는 양수, 중복성 지표는 음수)와 함께 집계하여 계산됩니다:
$$MESA(e) = \sum_{i=1}^{8} s_i \cdot \tilde{r}_i(e)$$
이 점수를 통해 방어자는 오프라인에서 에지의 순위를 매기고 상위 순위의 부분 집합을 방어 대상으로 우선순위 지정할 수 있습니다.

3. 실험적 평가

저자들은 다음과 같은 종합적인 테스트베드에서 MESA를 평가했습니다:

• 시나리오: 고객 서비스(이질적-비대칭), 소프트웨어 공학(이질적-대칭), 동질적 토론(Homogeneous Debate).
• 토폴로지: 6가지 정형 토폴로지(Hub, Chain, Hierarchy, Ring, Mesh, Hybrid)와 2가지 랜덤 그래프 패밀리(Erdős–Rényi, Barabási–Albert).
• 모델: 8B에서 27B 파라미터에 이르는 5가지 오픈 소스 LLM (Qwen-3.5, Gemma-4, Llama-3.1).
• 공격 모델: 공격자가 침해된 에지에서 메시지를 가로채고 재작성하여 시스템의 출력(예: 허위 환불 승인)을 뒤바꾸는 동적 오정보 주입 파이프라인.

주요 지표

• 순위 충실도(Rank Fidelity): MESA 점수와 경험적 에지별 공격 성공률(ASR) 사이의 스피어먼 상관계수($\rho$).
• 방어 커버리지(Defense Coverage): 상위 $k$개의 에지를 방어할 때 차단되는 성공적인 공격의 비율.

4. 주요 결과

4.1. 취약성 집중도

사전 분석 결과 취약성이 매우 비균일함이 확인되었습니다. 고객 서비스 시나리오에서 ASR에 의해 순위가 매겨진 상위 20%의 에지를 공격했을 때 전체 공격 성공의 **59%**를 달인 반면, 균등 분포를 가정하면 20%만을 예측할 수 있었습니다. 희소하고 병목 현상이 심한 토폴로지(예: Chain, Ring)가 밀집된 토폴로지(예: Mesh)보다 훨씬 더 취약한 것으로 나타났습니다.

4.2. 예측 효능

• 상관관계: MESA 점수는 경험적 ASR과 강한 상관관계를 보였습니다. 특정 구성(예: 고객 서비스에서의 Gemma-4-E4B)에서 최고 +0.73에 달하는 평균 스피어먼 $\rho$를 기록했습니다.
• 특징 기여도: 정적 특징과 동적 특징 모두 고유한 신호를 제공했습니다. PCA 분석 결과, 정적 특징은 주로 첫 번째 주성분에 로드되었으나(분산의 52%), 동적 특징은 두 번째 주성분에 로드되어(분산의 21%) 서로 보완적인 성격을 가짐을 확인했습니다.
• 일반화: MESA는 LangGraph 워크플로우로 성공적으로 전이되었으며, 경험적 ASR과 강한 상관관계($\rho \approx +0.71$ ~ $+0.86$)를 유지하여 저자들의 커스텀 프레임워크를 넘어선 이식성을 입증했습니다.

4.3. 방어 할당

• 효율성: MESA에 의해 순위가 매겨진 상위 10%의 에지를 방어하는 것은 동일한 예산으로 무작위 에지를 선택했을 때보다 약 3배 더 많은 성공적인 공격을 차단했습니다.
• 비용 효율성: "20%-가이드" 전략(정적 순위 상위 20% 에지에 대해서만 동적 프로브를 실행)은 전체 프로빙의 이점을 대부분 유지하면서도 동적 분석 비용을 5배 줄였습니다.
• 적응형 공격: 토폴로지는 알지만 방어 정책은 모르는 "그레이 박스(gray-box)" 공격자에 대해 MESA 가이드 방어는 매우 효과적이었습니다. 그러나 방어 정책까지 아는 "화이트 박스(white-box)" 적응형 공격자에게는 결정론적인 상위-$k$ 방어가 취약해졌습니다. 저자들은 상위 M-scored 에지 풀에서 보호할 에지를 무작위화하는 것이 최선의 트레이드오프를 제공하며, 이를 통해 그레이 박스 공격에 대한 손실은 약 3.6%만 발생시키면서 적응형 공격 성공률을 약 10.5% 감소시켰음을 발견했습니다.

4.4. 한계점

• 동질적 설정: 모든 에이전트가 동일한 역할과 입력을 공유하는 동질적 토론 시나리오에서는 에지 수준의 취약성이 더 균일하고 노이즈가 많아져 MESA의 예측력이 떨어졌습니다.
• 노출 인지(Exposure Awareness): "도달 가능한" 에지(예: 내부 MITM이 아닌 사용자 입력에 의해 접근 가능한 에지)로 제한했을 때, 절대적인 이득은 완만했으나 여전히 존재했으며, 이는 현실적인 위협 모델에서 MESA의 유용성을 확인시켜 줍니다.

5. 의의 및 기여

본 논문은 MESA를 다중 에이전트 시스템의 선제적, 에지 수준 방어를 향한 기초적인 단계로 자리매김합니다. 주요 기여는 다음과 같습니다:

1. 새로운 메트릭: MESA는 그래프 이론적 특징과 돌절도(saliency) 특징을 결합하여 통신 에지를 보안 임계치에 따라 순위를 매기는 최초의 오프라인, 레이블 프리 방식입니다.
2. 경험적 검증: 공격 영향이 소수의 에지에 집중되어 있음을 입증함으로써, 모든 채널이 동일하게 중요하지 않다는 가설을 검증했습니다.
3. 실행 가능한 방어 전략: 시스템 운영자가 한정된 보안 예산(예: 모니터링, 레드팀 수행)을 가장 영향력 있는 채널에 할당하여 무작위 할당보다 훨씬 높은 방어 커버리지를 달 수 있는 실질적인 메커니즘을 제공합니다.
4. 이식성: MESA는 다양한 LLM, 토폴로지, 그리고 LangGraph와 같은 프로덕션 준비가 된 프레임워크 전반에 걸쳐 일반화됩니다.

저자들은 MAS를 보호하기 위해서는 에이전트 수준의 하드닝이나 균등한 보호를 넘어선 접근이 필요하다고 결론짓습니다. 대신, 방어자는 시스템의 의사결정을 변경할 가능성이 가장 높은 특정 통신 채널을 식 иденти하고 우선순위를 지정해야 합니다. MESA는 공격이 발생하기 전 오프라인에서 이러한 우선순위 결정 작업을 수행할 수 있는 분석 도구를 제공합니다.