Don't Trust Stubborn Neighbors: A Security Framework for Agentic Networks

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반의 다중 에이전트 시스템 (MAS) 은 웹 자동화, 여행 계획, 협업 문제 해결 등 다양한 분야에서 활발히 도입되고 있습니다. 그러나 이러한 에이전트들이 상호작용하며 정보를 공유하고 의사결정을 내리는 과정에서 새로운 보안 위협이 발생합니다.

• 주요 위협: 악의적이거나 손상된 에이전트가 통신 채널을 악용하여 허위 정보를 전파하고, 집단적 의견 (Collective Opinion) 을 조작할 수 있습니다.
• 핵심 취약점: 개별 에이전트가 유능하더라도, 네트워크 토폴로지와 상호작용 구조에 따라 시스템 전체가 하나의 악성 에이전트에 의해 지배당할 수 있습니다. 특히, 고집스러운 (Stubborn) 악성 에이전트가 다른 에이전트들의 신념을 빠르게 전파하여 전체 시스템의 결론을 왜곡하는 '설득 캐스케이드 (Persuasion Cascade)' 현상이 발생합니다.
• 연구 목적: 이러한 조작이 어떻게 발생하고 확산되는지 이론적으로 규명하고, 이를 방어할 수 있는 프레임워크를 제안하는 것입니다.

2. 방법론 (Methodology)

이 논문은 사회과학의 프리드킨 - 존슨 (Friedkin-Johnsen, FJ) 의견 형성 모델을 차용하여 LLM 기반 다중 에이전트 시스템의 행동을 모델링하고 분석합니다.

• 이론적 프레임워크 (FJ 모델 적용):

  • 각 에이전트의 신념 업데이트를 선형 동역학으로 모델링합니다.
  • 핵심 변수:
    • $\gamma_i$ (Stubbornness): 에이전트가 초기 신념 (사전 지식/시스템 프롬프트) 에 얼마나 집착하는지.
    • $\alpha_i$ (Agreeableness/Peer-resistance): 외부 의견 (동료 에이전트) 에 얼마나 수용적인지.
    • $w_{ij}$ (Trust/Influence): 에이전트 $j$가 $i$에게 미치는 영향력.
  • 수식: $b_i(t+1) = \gamma_i s_i + (1-\gamma_i)\alpha_i b_i(t) + (1-\gamma_i)(1-\alpha_i)\sum w_{ij}b_j(t)$
  • 이 모델은 LLM 에이전트들의 실제 대화 및 의견 업데이트 과정을 매우 정확하게 설명하고 예측할 수 있음을 실험을 통해 검증했습니다.

• 실험 설계:

  • 네트워크 토폴로지: 스타 (Star, 허브/리프 공격자), 완전 연결 (Fully-connected) 구조를 사용.
  • 모델 및 데이터: Gemini-3-Flash, GPT-5 mini, Qwen3-235B 등 6 가지 LLM 패밀리와 CommonsenseQA, ToolBench 데이터셋을 활용.
  • 시나리오: 단일 악성 에이전트가 고집스러운 태도로 잘못된 정보를 전파하는 시나리오와, 이를 방어하는 전략 (신뢰 메커니즘, 에이전트 특성 조절, 네트워크 확장) 을 평가.

3. 주요 기여 (Key Contributions)

1. LLM-MAS 를 위한 이론적 프레임워크 제안:

   • FJ 의견 형성 모델을 LLM 다중 에이전트 시스템의 보안 분석에 적용하여, 악성 영향력과 설득 캐스케이드를 정량적으로 분석할 수 있는 이론적 기반을 마련했습니다.
   • LLM 의 실제 행동이 FJ 모델과 높은 일치도 (높은 $R^2$) 를 보임을 실험적으로 증명했습니다.

2. 악성 영향력의 이론적 및 실증적 분석:

   • 단일 고집스러운 에이전트의 지배력: 네트워크 내 한 명의 고집스럽고 설득력 있는 악성 에이전트만으로도 전체 네트워크의 합의 (Consensus) 를 장악할 수 있음을 수학적으로 증명했습니다.
   • 토폴로지의 영향: 스타 토폴로지에서 **허브 (Hub)**에 위치한 공격자가 가장 높은 공격 성공률 (ASR) 을 보이며, 완전 연결 네트워크나 리프 (Leaf) 위치보다 훨씬 위험함을 규명했습니다.

3. 신뢰 적응형 방어 메커니즘 (Trust-Adaptive Defense) 제안:

   • 단순히 에이전트의 고집을 높이는 것 (시스템 성능 저하 유발) 이나 네트워크 크기를 늘리는 것의 한계를 극복하기 위해, 동적 신뢰 (Dynamic Trust) 메커니즘을 제안했습니다.
   • 이 메커니즘은 에이전트의 과거 수행도 (Ground Truth 기반) 를 기반으로 신뢰 점수를 동적으로 조정하여, 악성 에이전트의 영향력 ($w_{ij}$) 을 실시간으로 감소시킵니다.

4. 실험 결과 (Results)

• 모델 적합성: FJ 모델은 다양한 LLM 패밀리와 토폴로지에서 에이전트의 의견 변화 궤적을 매우 정확하게 설명 (Descriptive $R^2 \approx 0.85 \sim 0.98$) 하고, 미래 라운드의 의견을 예측 (Predictive $R^2 \approx 0.76 \sim 0.96$) 하는 데 성공했습니다.
• 공격 성공률 (ASR) 분석:
  • 스타 - 허브 (Star-Hub): 공격자가 허브일 때 ASR 이 약 0.65 로 가장 높았습니다.
  • 완전 연결 (Fully-connected): ASR 이 약 0.33 으로 상대적으로 낮았습니다.
  • 스타 - 리프 (Star-Leaf): ASR 이 약 0.24 로 가장 낮았습니다.
  • 이는 중앙 집중형 구조가 악성 전파에 매우 취약함을 보여줍니다.
• 방어 메커니즘 효과:
  • 에이전트 특성 조절: 방어 에이전트의 '고집 (Stubbornness)'과 '설득력 (Persuasiveness)'을 높이면 ASR 이 감소합니다.
  • 네트워크 확장: 에이전트 수를 늘리면 (4 개 $\to$ 8 개) 공격자의 영향력이 희석되어 ASR 이 감소합니다.
  • 신뢰 적응형 방어 (Trust Mechanism):
    • T-W (Warmup): 초기 신뢰를 설정하는 방식은 적응형 공격자 (Warmup 기간에만 정답을 맞추고 이후 공격) 에게 취약했습니다.
    • T-S (Sparse): 무작위 업데이트를 통해 신뢰를 조정하는 방식은 적응형 공격에 강건했습니다.
    • T-WS (Warmup + Sparse): 초기 설정과 동적 업데이트를 결합한 방식이 가장 효과적이었으며, 적응형 공격자에도 ASR 을 크게 낮추었습니다 (예: Qwen3-235B 에서 0.61 $\to$ 0.08).

5. 의의 및 결론 (Significance)

• 시스템적 취약성 규명: LLM 기반 다중 에이전트 시스템이 개별 에이전트의 능력뿐만 아니라 **상호작용 구조 (토폴로지)**와 **행동 특성 (고집, 수용성)**에 의해 결정된다는 점을 밝혔습니다.
• 트레이드오프 해결: 높은 고집 (Stubbornness) 은 보안을 강화하지만 시스템의 합의 능력을 저하시킨다는 딜레마를, 동적 신뢰 메커니즘을 통해 해결했습니다. 이는 협력 성능을 유지하면서 악성 영향을 차단할 수 있음을 의미합니다.
• 실용적 가이드: 네트워크 설계 시 중앙 집중형 (Hub) 구조의 위험성을 인지하고, 에이전트의 신뢰도를 동적으로 관리하는 것이 시스템 보안에 필수적임을 강조합니다.
• 향후 연구 방향: 탈중앙화 환경에서의 신뢰 메커니즘 확장, 적응형 공격자 및 방어 전략에 대한 심층 분석, 이질적인 에이전트 군집에 대한 연구로 이어질 수 있습니다.

이 논문은 LLM 다중 에이전트 시스템의 보안 위협을 사회과학적 이론으로 설명하고, 이를 해결하기 위한 정량적이고 실용적인 방어 전략을 제시했다는 점에서 중요한 의의를 가집니다.