🤖 AI

SAIGuard: Communication-State Simulation for Proactive Defense of LLM Multi-Agent Systems

SAIGuard는 위험한 메시지가 전파되기 전에 이를 탐지하고 정화하기 위해 통신 상태를 시뮬레이션함으로써, 협업 유용성을 유지하면서도 시스템 전체의 실패를 방지하는 LLM 기반 멀티 에이전트 시스템을 위한 선제적 방어 프레임워크입니다.

원저자: Ruxue Shi, Yili Wang, Mengnan Du, Qinggang Zhang, Rui Miao, Yixin Liu, Xin Wang

게시일 2026-06-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruxue Shi, Yili Wang, Mengnan Du, Qinggang Zhang, Rui Miao, Yixin Liu, Xin Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 퍼즐을 풀기 위해 협력하는 전문가 로봇 팀을 상상해 보세요. 그들은 서로 대화하고, 단서를 공유하며, 업무를 완수하기 위해 지능을 결합합니다. 이것이 바로 이 논문에서 말하는 **LLM 멀티 에이전트 시스템(MAS)**입니다.

하지만 친구 모임과 마찬가지로, 만약 한 사람이 속거나 해킹을 당한다면, 그들은 다른 사람들에게 잘못된 정보를 퍼뜨리기 시작할 수 있습니다. 로봇 팀에서는 이것이 전체 그룹의 실패, 비밀 유출, 또는 위험한 실수로 이어질 수 있습니다.

이 논문은 SAIGuard라는 새로운 보안 시스템을 소개합니다. 그 작동 방식은 다음과 같이 쉽게 설명할 수 있습니다.

문제점: "소방관" 방식

현재 대부분의 보안 시스템은 소방관처럼 행동합니다. 불(공격)이 이미 시작되고 건물에 연기가 나기 전(로봇들이 이미 실수를 저지른 후)까지 기다렸다가 달려와서 불을 끕니다.

함정: 그들이 조치를 취할 때쯤이면 이미 피해는 발생한 후입니다. 만약 로봇이 실수로 비밀번호를 유출했다면, 불은 이미 꺼졌을지 몰라도 비밀번호는 이미 도난당한 상태입니다.
부작용: 불을 끄기 위해 소방관들은 종로 종종 건물 전체를 폐쇄하거나 "의심스러운" 로봇을 팀에서 쫓아내야 합니다. 이는 불을 끄기는 하지만, 팀이 업무를 완수하는 것을 방해합니다.

해결책: "수정구슬" 방식 (SAIGuard)

SAIGuard는 다릅니다. 불이 나기를 기다리는 대신, 매우 똑똑한 수정구슬이나 비행 시뮬레이터처럼 행동합니다.

시뮬레이션 (수정구슬):
메시지가 로봇 팀에 실제로 전달되기 전에, SAIGuard는 "만약"의 시나리오를 만듭니다. 그리고 이렇게 묻습니다: "만약 이 메시지가 지금 팀에 들어간다면, 이 대화 속에 어떤 파장을 일으킬 것인가?"

SAIGuard는 수학적 모델(그래프 신경망이라고 불림)을 사용하여 가상의 샌드박스 안에서 대화를 시뮬레이션합니다.
하나의 로봇이 보내는 작고 이상한 메시지가 몇 차례의 대화를 거치며 어떻게 팀 전체의 분위기를 변화시키고 확산될지 예측합니다.

비교 (정상적인 패턴):
SAIGuard는 모든 것이 잘 진행되었던 수천 개의 "정상적인" 대화들을 학습했습니다. 그것은 건강하고 즐거운 팀 대화가 정확히 어떤 모습인지 알고 있습니다.

새로운 메시지를 시뮬레이션할 때, SAIG-uard는 그 결과를 건강한 패턴과 비교합니다.
만약 시뮬레이션 결과가 팀의 행동을 "궤도에서 벗어나게" 만든다면(예: 대화 중 갑작스럽고 이상한 급변), 이를 위험한 메시지로 분류합니다.

해결 (경비원이 아닌 외과의사):
이것이 가장 중요한 부분입니다. SAIGuard는 위험한 메시지를 발견했을 때, 로봇을 팀에서 쫓아내지 않습니다.

기존 방식: "너 행동이 이상해! 나가!" (이는 팀의 작업 능력을 저해합니다).
SAIGuard 방식: "잠깐, 네가 보내려는 그 메시지는 위험해 보여. 안전하게 다시 쓰거나, 그 특정 문장만 차단하자."
SAIGuard는 실제 대화에 들어가기 전에 나쁜 메시지를 정화하여, 팀이 중단 없이 계속 업무를 수행할 수 있게 합니다.

이것이 왜 중요한가

이 논문은 다양한 유형의 공격(데이터를 훔치도록 로봇을 속이거나 사실에 대해 거짓말을 하는 등)과 다양한 팀 구조(계층 구조, 별 모양, 또는 무작위 그룹 등)를 대상으로 SAIGuard를 테스트했습니다.

결과: SAIGuard는 기존의 "소방관" 방식보다 공격을 훨씬 더 잘 막아냈습니다.
보너스: SAIGuard는 로봇을 팀에서 쫓아내지 않았기 때문에, 로봇들은 여전히 성공적으로 과업을 완수할 수 있었습니다. 기존 방식들은 공격은 막았을지언다 해도 업무 자체를 중단시키는 경우가 많았습니다. 반면 SAIGuard는 공격을 막으면서도 업무를 계속할 수 있게 했습니다.

요약하자면: SAIGuard는 미래를 시뮬레이션하여 나쁜 생각이 퍼지기 전에 잡아내는 선제적인 보디가드이며, 문제를 조용히 해결하여 팀이 위험이 있었다는 사실조차 모르게 만듭니다.

기술 요약: SAIGuard

문제 정의

LLM 기반 멀티 에이전트 시스템(MAS)은 구조화된 에이전트 간 협업을 통해 복잡한 과업을 해결합니다. 그러나 이러한 통신 중심의 특성은 보안 위험이 시스템 내부로 유입되고 확산될 수 있는 광범위한 공격 표면을 생성합니다. 기존의 방어 기제는 주로 **사후 대응적 패러다임(reactive paradigm)**을 따르며, 해로운 에이전트가 실행을 완료하고 관찰 가능한 출력을 생성한 후에야 이를 탐지하고 격리합니다. 이러한 접근 방식은 두 가지 결정적인 한계를 가집니다:

탐지 지연으로 인한 돌이킬 수 없는 피해: 해로운 에이전트가 식별되는 시점(예: 도구 호출을 통해 민감한 데이터를 유출한 후)에는 이미 피해를 되돌릴 수 없는 경우가 많습니다.
에이전트 격리로 인한 유틸리티 저하: 사후 대응적 방어는 오염된 에이전트를 격리하거나 이들의 통신 링크를 차단합니다. MAS는 에이전트 간의 협업에 의존하기 때문에, 이러한 격리는 필수적인 정보 흐름을 방해하여, 특히 의심되는 에이전트가 중심적인 역할을 수행할 경우 시스템의 전반적인 협업 유틸리티를 저하시킵니다.

본 연구가 다루는 핵심 연구 질문은 다음과 같습니다: 어떻게 하면 협업 성능을 보존하면서 보안 위험이 전파되기 전에 이를 차단할 수 있는가?

방법론: SAIGuard

저자들은 SAIGuard(Simulation-Aware Interception Guard)를 제안합니다. 이는 실행 중인 MAS로 위험한 메시지가 전파되기 전에 이를 가로채는 선제적 방어 프레임워크입니다. SAIGuard는 에이전트를 사후에 격리하는 대신, 의심스러운 메시지를 정화(sanitize)하거나 재생성합니다. 이 프레임워크는 두 가지 주요 단계로 구성됩니다:

1. 통신 상태 시뮬레이션 (Communication-State Simulation)

SAIGuard는 MAS를 유향 상호작용 그래프 $G = (V, E)$ 로 모델링합니다. 새로운 메시지가 도착하면 이를 즉시 실행하지 않고, 그 잠재적 영향을 추정하기 위해 시뮬레이션된 상호작용 그래프에 주입합니다.

상태 표현: 에이전트는 역할, 메모리, 도구 및 이력을 바탕으로 노드 표현(node representation)으로 인코딩됩니다. 들어오는 메시지는 수신 에이전트의 상태와 결합됩니다.
전파 근사: 다층 그래프 신경망(GNN)이 위상 인식 대리 시뮬레이터(topology-aware surrogate simulator) 역할을 합니다. 각 GNN 레이어는 에이전트 간의 1회 통신 단계를 근사하며, 이를 통해 전체 LLM 추론 과정을 재현하지 않고도 들어오는 메시지가 로컬 에이전트 상태와 글로벌 시스템 상태 모두에 미치는 $L$ -홉(L-hop) 영향력을 추정할 수 있습니다.
글로벌 집계: 시뮬레이션된 로컬 상태들은 글로벌 MAS 표현으로 집계되어 시스템 수준의 효과를 포착합니다.

2. 시스템 편차 개입 (System Deviation Intervention)

이 단계에서는 시뮬레이션된 메시지를 학습된 양호한 패턴과 비교하여 안전 여부를 결정합니다.

정상 패턴 학습: SAIGuard는 양호한 실행 궤적(trace)을 통해 에이전트 상태와 글로벌 시스템 상태를 재구성하도록 에이전트 디코더를 학습시킵니다. 이때 시스템 수준과 에이전트 수준의 목적 함수를 모두 포함하는 결합 재구성 손실( $L_{rec}$ )을 최소화합니다.
강건한 임계값 추정: 양호한 궤적으로부터 얻은 재구성 오차를 사용하여, 가우시안 가정이 아닌 중앙값 절대 편차(MAD)를 기반으로 강건한 임계값( $\tau_{agent}$ 및 $\tau_{sys}$ )을 계산함으로써 노이즈가 많은 멀티 에이전트 상호작용에 대한 회복력을 확보합니다.
로컬-글로벌 편차 탐지: 추론 과정에서 시스템은 들어오는 메시지의 시뮬레이션된 상태에 대한 재구성 오차를 계산합니다. 만약 오차가 시스템 수준 또는 에이전트 수준 중 어느 한 곳에서라도 설정된 임계값을 초 exceed하면, 해당 메시지는 이상치로 분류됩니다.
개입 전략:
- 에이전트 타겟 공격 (Agent-Target Attacks): 악의적인 외부 메시지가 탐지되면, SAIGuard는 시스템 경계에서 이를 차단합니다.
- 통신 타겟 공격 (Communication-Target Attacks): 양호한 에이전트 사이의 메시지가 하이재킹된 경우, SAIGuard는 오염된 메시지를 제거하고 선량한 송신자가 내용을 재생성하도록 트리거하여 불필요한 에이전트 격리를 방지합니다.

주요 기여

선제적 방어 공식화: 본 논문은 사후 실행 격리의 한계를 식별하고, 실행 중인 MAS에 영향을 미치기 전에 위험을 차단하는 선제적 방어 설정을 공식화합니다.
SAIGuard 프레임워크: 저자들은 MAS 상호작용 그래프 상에서 통신 상태 시뮬레이션을 수행하는 새로운 프레임워크를 제격합니다. 이는 양호한 통신 패턴으로부터의 로컬-글로벌 재구성 편차를 측정하여 위험한 정보를 탐지합니다.
실증적 검증: 다양한 토폴로지(Chain, Tree, Star, Random)와 공격 시나리오(Prompt Injection, Tool Attacks, Memory Poisoning, Communication Hijacking)에 걸친 광범한 실험을 통해, SAIGuard가 MAS의 유틸리티를 유지하면서 공격 성공률을 낮춘다는 것을 입증했습니다.

실험 결과

평가는 네 가지 데이터셋(MMLU, GSM8K, InjecAgent, PoisonRAG)과 다양한 백본 LLM(GPT-4o-mini, DeepSeek-V3, Qwen-30B-A3B)을 대상으로 수행되었습니다.

방어 효과: SAIGuard는 네 가지 공격 유형 모두에서 최상의 종합 성능을 달-성했습니다. 가장 강력한 베이스라인인 XG-Guard와 비교했을 때, 평균 작업 정확도(ACC)를 11.96% 향상시켰고 평균 공격 성공률(ASR)을 67.47% 감소시켰습니다.
특정 공격 성능:
- 통신 하이재킹 (Communication Hijacking): 모든 토폴로지에서 ASR을 **0.00%**로 낮추었습니다.
- 메모리 포이즈닝 (Memory Poisoning): ACC를 92.50% 이상으로 유지하면서 ASR을 1.88% ~ 5.00% 사이로 유지했습니다.
- 도구 공격 (Tool Attacks): 베이스라인보다 현저히 낮은 ASR과 높은 ACC를 달성했습니다.
강건성 및 확장성: SAIGuard는 다양한 상호작용 토폴로지에서 강건함을 보여주었으며, 서로 다른 백본 LLM에 대해서도 잘 일반화되었습니다. 또한, 대화 턴이 증가함에 따라 베이스라인이 성능 저하나 불안정성을 겪는 것과 달리, 최대 80개의 에이전트가 있는 시스템에서도 낮은 ASR을 유지하며 강력한 확장성을 보여주었습니다.
절제 연구 (Ablation Study): 통신 상태 시뮬레이션 모듈을 제거했을 때 가장 큰 성능 저하(F1-score 2.73% 감소)가 발생했으며, 이는 사전 실행 통신을 모델링하고 잠재적인 적대적 연쇄 반응을 드러내는 데 있어 해당 모듈의 결정적인 역할을 확인시켜 줍니다.

의의 및 주장

본 논문은 SAIGuard가 MAS의 보안과 유틸리티 사이의 결정적인 트레이드오프 문제를 해결한다고 주장합니다. 실행 전 통신 상태를 시뮬레이션함으로써, 사후 대응적 탐지와 관련된 "돌이킬 수 없는 피해"와 에이전트 격리로 인한 "유틸리티 저하"를 방지합니다. 저자들은 이 접근 방식이 시스템적 보안 위험을 효과적으로 완화하는 동시에 MAS의 협업 성능을 보존할 수 있게 한다고 강조합니다.

인정된 한계점: 저자들은 현재 SAIGuard가 텍스트 통신에 집중하고 있음을 언급했습니다. 이는 시각적 프롬프트 인젝션과 같은 비텍스트 모달리티(이미지, 오디오, 비디오)에 숨겨진 위험을 완전히 포착하지 못할 수 있습니다. 향-후 연구에서는 멀티모달 인코더를 통합하여 멀티모달 MAS로 프레임워크를 확장할 것을 제안합니다.