BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks

"BlindGuard: Safeguarding LLM-based Multi-Agent Systems under Unknown Attacks" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

대형 언어 모델 (LLM) 기반 다중 에이전트 시스템 (MAS) 은 전파 취약점에 점점 더 취약해지고 있으며, 소수의 악성 에이전트가 에이전트 간 상호작용을 통해 집단적 의사결정을 왜곡할 수 있습니다. 일반적인 공격 벡터는 다음과 같습니다.

• 프롬프트 인젝션 (PI): 시스템 프롬프트 또는 사용자 입력을 조작합니다.
• 메모리 중독 (MA): 역사적 상호작용 데이터 또는 지식 베이스를 손상시킵니다.
• 도구 악용 (TA): 외부 플러그인의 취약점을 악용합니다.

기존 솔루션의 한계:
G-Safeguard와 같은 현재 방어 메커니즘은 **지도식 그래프 이상 탐지 (GAD)**에 의존합니다. 이러한 방법은 탐지 모델을 훈련시키기 위해 악성 에이전트의 레이블이 지정된 데이터를 필요로 합니다. 이는 두 가지 중요한 병목 현상을 초래합니다.

1. 데이터 부족: 실제 세계의 적대적 공격은 희소하고 위장되어 있어 잘 주석된 악성 샘플을 얻기 어렵습니다.
2. 일반화 부족: 특정 공격 유형으로 훈련된 지도식 모델은 종종 새로운, 보지 못한, 또는 진화하는 공격 패턴을 탐지하지 못합니다.

핵심 연구 질문은 다음과 같습니다: 레이블이 지정된 공격 데이터나 공격 패턴에 대한 사전 지식 없이 MAS 를 위한 방어 프레임워크를 설계할 수 있는가?

2. 방법론: BlindGuard

BlindGuard 는 정상 상호작용 데이터만을 사용하여 악성 에이전트를 탐지하고 완화하도록 설계된 비지도식 방어 프레임워크입니다. 이는 세 가지 핵심 구성 요소로 이루어져 있습니다.

A. 계층적 에이전트 인코더

"다중 수준 문맥 인식"의 격차를 해소하기 위해 BlindGuard 는 세 가지 서로 다른 수준에서 정보를 융합하여 포괄적인 에이전트 표현을 구축합니다.

1. 에이전트 수준 (Ego): 에이전트의 텍스트 응답에서 파생된 개별 의미론적 특징을 포착합니다 (SentenceBERT 를 통해 인코딩됨).
2. 이웃 수준: 직접 연결된 에이전트로부터 문맥 정보를 집계하여 지역적 상호작용을 모델링합니다.
3. 시스템 수준: 전체 MAS 그래프에 걸친 글로벌 정보를 통합하여 장거리 의존성과 집단적 행동 패턴을 포착합니다.

인코더는 이러한 특징 ($h^s_i, h^n_i, h^g_i$) 을 통합된 표현 $z_i$로 결합하기 위해 "요약 - 변환" 아키텍처를 사용하여, 모델이 이웃 편차를 통해 고립된 공격자를 탐지하고 글로벌 행동 편차를 통해 조정된 공격 그룹을 탐지할 수 있도록 합니다.

B. 손상 유도 공격 탐지기

훈련을 위한 레이블이 지정된 악성 데이터가 없으므로 BlindGuard 는 공격을 시뮬레이션하기 위해 손상 기반 전략을 사용합니다.

1. 의미론적 손상: 복잡한 원시 텍스트를 조작하는 대신, 모델은 정상 에이전트 특징의 임베딩 공간에 방향성 노이즈를 주입합니다. 이는 적대적 공격으로 인한 의미론적 편차를 시뮬레이션합니다.
   • 공식: $\tilde{x}_i = x_i + \alpha \|x_i\|_2 \cdot \frac{\epsilon_i}{\|\epsilon_i\|_2}$, 여기서 $\epsilon_i$는 무작위 노이즈이고 $\alpha$는 강도를 제어합니다.
2. 지도식 대비 학습: 모델은 이러한 합성 "손상된" 에이전트를 음성 샘플로, 정상 에이전트를 양성 샘플로 사용하여 훈련됩니다. 목표는 정상 에이전트 간의 유사성을 최대화하면서 정상 에이전트와 손상된 에이전트 간의 유사성을 최소화하는 것입니다. 이는 실제 공격 레이블이 필요 없이 임베딩 공간에 견고한 결정 경계를 생성합니다.

C. 가지치기 기반 복구

추론 동안 시스템은 글로벌 표현에 대한 문맥적 유사성을 기반으로 각 에이전트에 대해 이상 점수를 계산합니다.

• 탐지: 높은 이상 점수 (정상 군집과의 낮은 유사성) 를 가진 에이전트는 플래그가 지정됩니다.
• 복구: 시스템은 양방향 엣지 가지치기를 수행하여 탐지된 악성 에이전트와의 모든 통신 링크를 끊습니다. 이는 위협을 격리하고 적대적 전파를 방지하면서 정상 에이전트 간의 정당한 상호작용을 보존합니다.

3. 주요 기여

1. 시나리오 혁신: 레이블이 지정된 공격 데이터나 특정 공격 패턴에 대한 사전 지식 없이 작동하는 MAS 를 위한 실용적인 방어 패러다임을 제안하여, 실제 세계 배포에서의 중요한 격차를 해소합니다.
2. 방법론적 발전: LLM 기반 MAS 에 특화된 최초의 비지도식 GAD 방법인 BlindGuard를 도입합니다. 이는 전통적인 구조적 GAD 방법이 놓치는 의미론적 이상을 처리하기 위해 계층적 인코딩 (지역 + 글로벌 문맥) 과 손상 유도 대비 학습을 독창적으로 결합합니다.
3. 종합적 평가: 4 가지 다른 MAS 토폴로지 (체인, 트리, 스타, 랜덤), 3 가지 공격 유형 (PI, MA, TA), 그리고 여러 LLM 백본 (GPT-4o-mini, DeepSeek-V3, Qwen3) 을 통해 방법을 광범위하게 검증했습니다.

4. 실험 결과

BlindGuard 는 지도식 방법 (G-Safeguard) 과 비지도식 GAD 방법 (DOMINANT, PREM, TAM) 을 포함한 최첨단 베이스라인에 대해 평가되었습니다.

• 비지도식 베이스라인 대비 성능: BlindGuard 는 다른 비지도식 방법보다 현저히 우수한 성능을 발휘하여 대부분의 시나리오에서 80% 이상의 AUC 점수를 달성했습니다. "방어 없음" 및 기타 비지도식 접근법과 비교하여 공격 성공률 (ASR) 을 일관되게 크게 감소시켰습니다.
• 지도식 상한선 대비 성능: 레이블이 지정된 훈련 데이터가 없음에도 불구하고, BlindGuard 는 실제 공격 레이블에 접근할 수 있는 지도식 G-Safeguard 와 비교 가능한 성능을 달성합니다.
• 일반화:
  • 보지 못한 공격: BlindGuard 는 보지 못한 공격 유형에 대해 우수한 일반화를 보여줍니다 (예: 프롬프트 인젝션으로 훈련, 메모리 중독으로 테스트), 반면 지도식 모델은 성능이 크게 저하됩니다.
  • 토폴로지 및 LLM 무관성: 이 방법은 다양한 통신 토폴로지 및 다양한 LLM 백본에서 견고한 성능을 유지하며, 이는 특정 구조나 모델에 과적합되는 것이 아니라 보편적인 적대적 패턴을 학습했음을 나타냅니다.
• 확장성: 이 방법은 성능 저하 없이 최대 50 개 에이전트까지 더 큰 MAS 로 효과적으로 확장됩니다.

5. 의미 및 영향

• 실용성: 레이블이 지정된 악성 데이터에 대한 의존성을 제거함으로써, 공격 데이터가 없거나 기밀로 분류된 실제 세계 MAS 배포에 견고한 보안을 실현 가능하게 합니다.
• 공격 무관성: "알려지지 않은" 공격을 탐지할 수 있는 능력은 동적 환경에서 발생하는 새로운 위협에 대항하는 데 중요한 도구가 됩니다.
• 이론적 기여: 이 논문은 MAS 보안에서 글로벌 시스템 문맥의 필요성을 강조합니다. 이는 지역적 이웃 특징에만 의존하는 것이 조정되거나 미묘한 의미론적 공격을 탐지하는 데 불충분함을 보여주며, 언어 중심 시스템의 그래프 기반 이상 탐지를 위한 새로운 기준을 수립합니다.

결론적으로, BlindGuard 는 LLM 기반 다중 에이전트 시스템을 보호하는 데 있어 중요한 진전을 나타내며, 증가하는 적대적 전파 위협에 대한 확장 가능하고 일반화되며 실용적인 해결책을 제공합니다.