WebWeaver: Breaking Topology Confidentiality in LLM Multi-Agent Systems with Stealthy Context-Based Inference

이 논문은 LLM 다중 에이전트 시스템의 토폴로지 기밀성을 침해하는 새로운 공격 프레임워크인 'WebWeaver'를 제안하며, 단일 에이전트의 컨텍스트만 활용하여 기존 방법보다 훨씬 은밀하고 정확하게 전체 토폴로지를 추론하는 방식을 제시합니다.

핵심

🕵️‍♂️ 이야기: 비밀 작전팀의 조직도를 훔치는 방법

1. 배경: 왜 조직도가 중요할까요?

가상의 'AI 팀'이 있다고 상상해 보세요. 이 팀은 여러 명의 AI 에이전트 (가상 인물) 로 구성되어 있고, 서로 대화하며 복잡한 문제를 해결합니다.

• 조직도 (토폴로지): 누가 누구와 대화하는지, 누가 지시를 내리고 누가 실행하는지 정해진 비밀 지도입니다.
• 가치: 이 지도는 그 팀이 얼마나 효율적이고 안전한지 결정하는 **핵심 비밀 (지식재산권)**입니다. 만약 해커가 이 지도를 알면, 팀의 약점을 찾아 더 강력한 공격을 할 수 있습니다.

2. 기존 방법의 문제점: "지휘관 잡기"와 "직접 물어보기"

기존의 해킹 연구들은 두 가지 비현실적인 가정을 했습니다.

1. 지휘관 잡기: 해커가 팀을 총괄하는 '지휘관 (관리자)'을 먼저 잡아야 한다고 가정했습니다. (현실에서는 지휘관을 잡기 매우 어렵습니다.)
2. 직접 물어보기: "너 누구야? 너랑 대화한 사람은 누구야?"라고 AI 에게 직접 물어보는 방식 (재일브레이크) 을 썼습니다. 하지만 AI 가 "그건 비밀이야!"라고 거절하거나, '누구', '이름' 같은 단어를 차단하면 바로 걸립니다.

3. 새로운 해법: "웹위버 (WebWeaver)"의 등장

이 논문은 "지휘관도 잡지 않고, 직접 물어보지도 않는" 새로운 방법을 제안합니다. 마치 스파이처럼 행동하는 것입니다.

🕸️ 웹위버의 전략 1: 한 명만 잡으면 된다 (Single Agent Compromise)

• 비유: 팀 전체를 장악할 필요 없이, 팀원 중 아무나 한 명만 잡으면 됩니다.
• 작동 원리: 잡힌 한 명의 AI 가 "나 지금 대화 중이야"라고 말하면, 그 AI 가 들은 대화 내용만 분석합니다. 지휘관이나 다른 팀원들을 직접 통제할 필요가 없습니다.

🕸️ 웹위버의 전략 2: 목소리 톤으로 추리 (Context-Based Inference)

• 비유: 누군가의 얼굴 (이름) 을 보지 않아도, 목소리 톤이나 말투만 들어도 "아, 이건 A 씨가 말한 거야!"라고 알 수 있죠?
• 작동 원리: AI 들은 각자 고유한 말투와 습관이 있습니다. 웹위버는 "누가 보낸 말인가?"를 **이름이 아니라 대화 내용 (맥락)**만으로 추리합니다. 그래서 "누구", "이름" 같은 금지된 단어를 쓰지 않아도 되며, 보안 시스템의 감시를 피할 수 있습니다.

🕸️ 웹위버의 전략 3: 두 가지 무기 (재일브레이크 vs 확산 모델)
해커는 상황에 따라 두 가지 무기를 꺼냅니다.

• 무기 A: 은밀한 속삭임 (Covert Jailbreak)
  • 잡힌 AI 를 통해 "너네 친구들한테도 이 대화 내용 좀 전달해 줘"라고 은밀히 지시합니다.
  • 상대방 AI 가 "안 돼!"라고 거절하면, 해커는 수학적인 최적화 기법을 써서 "안 돼"라는 말을 듣지 않고 "네, 알겠습니다"라고 대답하게 만드는 최적의 문장을 만들어냅니다.
• 무기 B: 퍼즐 맞추기 (Diffusion Model)
  • 만약 상대방이 너무 강력해서 말을 듣지 않는다면? 해커는 퍼즐을 맞춥니다.
  • 이미 알고 있는 부분 (잡힌 AI 와의 대화) 을 바탕으로, **확산 모델 (Diffusion Model)**이라는 AI 기술을 이용해 "아직 모르는 나머지 조직도"를 확률적으로 예측합니다. 마치 반만 그려진 그림을 보고 나머지 부분을 AI 가 채워 넣는 것과 같습니다.
  • 중요한 점: 이 방법은 이미 알고 있는 부분 (지식) 을 망치지 않고, 모르는 부분만 채워 넣는 마스크 전략을 써서 정확도를 높였습니다.

4. 결과: 얼마나 잘할까요?

실험 결과, 웹위버는 기존 방법들보다 약 60% 더 정확하게 조직도를 찾아냈습니다.

• 은밀함: 보안 시스템이 "누구", "이름" 같은 단어를 차단해도 웹위버는 걸리지 않습니다.
• 효율성: 시스템에 거의 부담을 주지 않으면서 (오버헤드 거의 없음) 성공합니다.

---

💡 핵심 요약 (한 줄 정리)

"웹위버는 AI 팀의 지휘관을 잡거나 직접 물어보지 않고, 잡은 한 명의 AI 가 들은 '대화 내용'과 '말투'만으로 팀 전체의 비밀 조직도를 퍼즐처럼 맞춰내는, 매우 은밀하고 똑똑한 해킹 기술입니다."

이 연구는 AI 팀의 조직도가 얼마나 중요한 비밀인지, 그리고 기존의 단순한 보안 조치 (단어 차단) 만으로는 이를 보호할 수 없음을 경고합니다. 앞으로는 AI 가 어떤 구조로 연결되어 있는지까지 고려한 새로운 보안이 필요하다는 메시지를 전달합니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 기반 다중 에이전트 시스템 (LLM-MAS) 은 과학 및 산업 분야에서 복잡한 추론 작업을 수행하며 높은 성능을 보입니다. 이러한 시스템의 성능과 안전성은 개별 에이전트의 능력뿐만 아니라 통신 토폴로지 (Communication Topology) 에 크게 의존합니다.
• 핵심 문제: 최적화된 토폴로지는 시스템 소유자의 중요한 지식재산 (IP) 이지만, 현재 토폴로지 기밀성 보호는 충분히 연구되지 않았습니다. 공격자가 토폴로지 구조를 파악하면 더 정교한 공격을 수행할 수 있습니다.
• 기존 연구의 한계:
  • 비현실적인 가정: 기존 토폴로지 추론 연구는 공격자가 시스템을 시작하는 '관리자 에이전트 (Administrative Agent)'를 통제한다고 가정합니다. 그러나 실제 협업 환경에서는 각 기관이 독립적인 에이전트를 운영하므로 이는 비현실적입니다.
  • 취약한 기법: 기존 방법은 에이전트 ID 를 직접 묻는 '자일브레이크 (Jailbreak)' 공격에 의존합니다. 이는 간단한 키워드 기반 방어 (예: "이웃 에이전트 ID"라는 단어 차단) 로 쉽게 무력화됩니다.
• 목표: 관리자 권한 없이 단 하나의 임의의 에이전트를 침해하여, 키워드 방어를 우회하고 은밀하게 (Stealthy) 전체 LLM-MAS 의 토폴로지를 추론하는 새로운 공격 프레임워크 개발.

2. 제안 방법론: WebWeaver (Methodology)

WebWeaver 는 compromised 된 단일 에이전트 (Agent C) 를 통해 토폴로지를 복원하는 5 단계 파이프라인을 제시합니다.

A. 위협 모델 및 능력

• 공격자는 시스템 내 임의의 한 에이전트 (Agent C) 를 통제하며, 인접 에이전트에게 컨텍스트 재전송을 요청할 수 있습니다.
• 공격자는 시스템에 참여하는 에이전트 목록을 알고 있으며, 별도의 LLM-MAS 를 통해 대화 기록을 수집할 수 있습니다.

B. 핵심 구성 요소

1. 발신자 예측기 (Sender Predictor) 학습:

   • 알려진 토폴로지 하에서 수집된 대화 로그를 학습 데이터로 사용합니다.
   • 각 에이전트의 고유한 언어적 지문 (linguistic fingerprints) 과 역할별 구문을 학습하여, 메시지 내용만으로 발신자 (Sender) 를 식별하는 모델을 훈련시킵니다. (ID 나 키워드 의존 제거)

2. 대화 수집 및 국소 토폴로지 추론:

   • 침해된 에이전트 (Agent C) 가 수신한 대화 조각을 발신자 예측기에 입력하여, 직접 연결된 이웃 에이전트 집합을 식별합니다.

3. 재귀적 자일브레이크 모듈 (Recursive Jailbreak-based Module):

   • 목적: 국소 이웃에서 전체 그래프로 탐지를 확장.
   • 기법: Agent C 가 이웃에게 "대화 기록을 전달하라"는 명령을 전파하도록 유도합니다.
   • 적응형 공격: 단순 프롬프트가 방어되면, 그리드 좌표 경사 (GCG) 기법을 사용하여 로컬 프록시 LLM 에서 그라디언트를 계산해 최적화된 악성 접미사 (adversarial suffix) 를 생성합니다. 이를 통해 안전 필터를 우회하고 이웃 에이전트에게 명령을 실행시킵니다.
   • 재귀적 확장: 이웃 에이전트가 명령을 받아 자신의 이웃에게 전파하는 과정을 반복하여 전체 네트워크 구조를 파악합니다.

4. 자일브레이크 없는 확산 모델 (Jailbreak-free Diffusion Module):

   • 목적: 자일브레이크가 실패하거나 탐지 위험이 높을 때 대체 수단.
   • 기법: 부분적으로 관측된 토폴로지를 "노이즈가 있는 입력"으로, 완전한 토폴로지를 "청정 신호"로 간주하는 확산 모델 (DDPM) 을 활용합니다.
   • 마스크 전략 (Masking Strategy): 확산 과정에서 알려진 토폴로지 (관측된 부분) 가 손상되지 않도록 마스크를 적용합니다. 이는 알려진 부분의 노이즈 경로를 고정하고, 확산 모델이 알 수 없는 부분 (마스크 영역) 만을 채우도록 하여 구조적 일관성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 현실적인 위협 모델 제시: 관리자 통제 없이 단일 에이전트 침해만으로 전체 토폴로지를 복원하는 최초의 프레임워크 제안.
2. 은밀한 컨텍스트 기반 추론: 에이전트 ID 나 특정 키워드에 의존하지 않고, 대화 내용 (컨텍스트) 만으로 토폴로지를 추론하여 키워드 기반 방어를 우회.
3. 하이브리드 공격 전략:
   • 재귀적 자일브레이크: 적응형 프롬프트 최적화를 통해 높은 탐지 우회율 달성.
   • 자일브레이크 없는 확산: 자일브레이크 실패 시에도 구조적 일관성을 유지하며 토폴로지를 완성하는 새로운 메커니즘 도입.
4. 데이터셋 구축: 명시적으로 토폴로지, 에이전트 프롬프트, 송수신자 레이블이 주석된 대화 데이터셋을 구축하여 향후 연구 기반 마련.

4. 실험 결과 (Results)

• 데이터셋: CSQA, GSM8k, Fact, Bias 등 4 가지 다양한 도메인 데이터셋 사용.
• 발신자 예측 성능: 모든 데이터셋에서 평균 F1 점수 0.85 이상을 기록하여 에이전트별 언어적 특징을 효과적으로 식별함을 입증.
• 토폴로지 추론 정확도:
  • 기존 최첨단 (SOTA) 방법 (IP Leakage, CZRL) 대비 약 60% 높은 추론 정확도를 달성.
  • 특히 키워드 기반 방어 (Agent ID 필터링) 가 활성화된 환경에서도 WebWeaver 는 높은 성능을 유지하는 반면, 기존 방법들은 성능이 급격히 하락함.
  • 자일브레이크 모듈: 정밀도 (Precision) 와 F1 점수가 거의 1.0 에 근접.
  • 자일브레이크 없는 모듈: 자일브레이크 실패 시에도 경쟁력 있는 성능 (F1 > 0.78) 을 유지하며, 시스템 오버헤드가 거의 없음.
• 확장성 (Scalability): 에이전트 수를 5 개에서 20 개로 늘려도 성능 저하가 없음을 확인 (실제 LLM-MAS 는 보통 2~10 개 에이전트 사용).
• 오버헤드: 자일브레이크 없는 버전은 추가 계산 비용이 0 이며, 자일브레이크 버전도 오프라인 학습 비용만 발생하여 온라인 시스템에는 미미한 부하만 줌.

5. 의의 및 결론 (Significance & Conclusion)

• 보안 시사점: LLM-MAS 의 토폴로지 기밀성이 취약하며, 단순한 키워드 필터링만으로는 토폴로지 추론 공격을 막을 수 없음을 증명했습니다.
• 기술적 혁신: 자일브레이크와 확산 모델을 결합한 하이브리드 접근법은 실제 환경의 방어 메커니즘을 우회하는 강력한 공격 벡터를 제시합니다.
• 향후 방향: 토폴로지 인식 (Topology-aware) 보호 메커니즘의 필요성이 대두되었으며, 윤리적 고려를 위해 실제 온라인 협업 플랫폼에서의 실험은 제한되었으나, 향후 윤리적 동의 하에 실제 환경 적용 연구가 필요함을 강조했습니다.

요약하자면, WebWeaver 는 LLM 다중 에이전트 시스템의 핵심 자산인 토폴로지 구조를, 관리자 권한 없이 단일 에이전트 침해를 통해 은밀하고 정확하게 추론해내는 획기적인 공격 프레임워크입니다.