Conjunctive Prompt Attacks in Multi-Agent LLM Systems

1. 문제 정의 (Problem)

기존 LLM 안전성 연구는 주로 단일 에이전트 모델에 초점을 맞추고 있지만, 실제 응용 프로그램은 여러 에이전트가 상호작용하는 다중 에이전트 시스템으로 구성되어 있습니다. 이러한 시스템에서는 프롬프트 분할 (segmentation) 과 에이전트 간 라우팅 (routing) 이 새로운 공격 표면 (attack surface) 을 생성합니다.

• 핵심 취약점: 사용자 쿼리의 '트리거 키 (trigger key)'와 compromised(위반된) 원격 에이전트 내부의 '숨겨진 악성 템플릿'은 각각 단독으로는 정상적으로 보이지만, 라우팅 메커니즘을 통해 특정 compromised 에이전트에서 만나게 되면 해로운 행동을 유발합니다.
• 공격자의 제약: 공격자는 모델 가중치, 클라이언트 에이전트, 또는 라우팅 로직을 직접 수정하지 않습니다. 대신 사용자 입력 내의 트리거 키 배치와 compromised 에이전트 내부의 템플릿 삽입만 제어합니다.
• 기존 방어 실패: PromptGuard, Llama-Guard 와 같은 기존 방어 메커니즘은 개별 메시지나 출력을 검사하므로, 각각은 정상적으로 보이지만 조합되었을 때만 악성인 경우를 탐지하지 못합니다.

2. 방법론 (Methodology)

2.1 위협 모델 (Threat Model)

• 시스템 구성: 클라이언트 에이전트 (Orchestrator) 가 사용자 요청을 여러 세그먼트로 분할하고, 이를 별개의 원격 에이전트 (Flight, Hotel Agent 등) 로 라우팅합니다.
• 공격 조건:
  1. 사용자 쿼리의 특정 세그먼트에 트리거 키가 삽입됩니다.
  2. 하나의 원격 에이전트 (compromised agent) 에 숨겨진 템플릿이 주입되어 있습니다.
  3. 연결 활성화 (Conjunctive Activation): 트리거 키가 포함된 세그먼트가 우연히 (또는 조작된 라우팅을 통해) compromised 에이전트로 전달될 때만 공격이 성공합니다.
• 토폴로지: Star, Chain, DAG(방향성 비순환 그래프) 등 다양한 통신 토폴로지를 고려하여 라우팅 동역학이 공격 성공률에 미치는 영향을 분석합니다.

2.2 라우팅 인지 최적화 프레임워크 (Routing-Aware Optimization)

공격 성공률 (ASR) 을 직접 최적화하는 것은 블랙박스 모델과 이산적 (discrete) 인 결정 (키 위치, 템플릿 위치) 으로 인해 불가능합니다. 따라서 저자들은 **미분 가능한 대리 목적 함수 (Differentiable Counterpart Objective)**를 도입했습니다.

• 최적화 변수:
  • $j$: 트리거 키가 위치할 세그먼트 인덱스.
  • $\tau$: 템플릿이 삽입될 위치 (prefix, wrap, suffix).
  • $\rho$: 라우팅 편향 (routing bias). 특정 세그먼트가 compromised 에이전트로 라우팅될 확률을 높이는 파라미터.
• 목적 함수:
  • 공격 성공 확률 ($\text{ASR}$) 을 근사화하기 위해 라우팅 확률 (Proute)과 템플릿 효과성 (Ptemplate)의 곱을 최대화합니다.
  • $\text{Loss} = -\text{ASR}_{\text{both}} + \lambda_1 (\text{False Activation Penalty}) + \dots$
  • Gumbel-Softmax relaxation 을 사용하여 이산적 변수를 연속적으로 최적화한 후, 최적의 구성 ($\theta^*$) 을 이산적으로 복원합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 모델 정립: 사용자 측 트리거와 원격 에이전트의 주입된 템플릿이 상호작용하여 발생하는 '연결형' 공격을 공식화했습니다. 이는 기존 단일 프롬프트 주입이나 백도어와 구별됩니다.
2. 토폴로지 인지 공격 프레임워크 개발: 모델 가중치를 변경하지 않고, 프롬프트 레벨 (키/템플릿 배치) 과 라우팅 편향만 최적화하여 다양한 토폴로지 (Star, Chain, DAG) 에서 공격 성공률을 극대화하는 방법을 제시했습니다.
3. 실증적 분석 및 방어 실패 증명:
   • 최적화된 공격은 Star, Chain, DAG 모든 토폴로지에서 성공률을 크게 높였습니다.
   • 기존 방어 메커니즘 (PromptGuard, Llama-Guard 등) 은 개별 구성 요소가 악성으로 보이지 않기 때문에 이러한 공격을 탐지하지 못했습니다.
   • 단일 토폴로지 평가만으로는 시스템의 취약점을 과소평가할 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 실험 설정: Gemma-2B, Mistral-7B, LLaMA3-8B 등 다양한 백본 모델과 Star, Chain, DAG 토폴로지를 사용했습니다.
• 최적화 전 vs 후:
  • 최적화 전 (Baseline): 공격 성공률 (ASR) 이 낮고 토폴로지에 따라 편차가 큽니다 (예: DAG 토폴로지에서는 우연히 성공할 때가 있음).
  • 최적화 후 (Full Optimization): 모든 모델과 토폴로지에서 공격 성공률이 크게 증가했습니다 (최대 1.0). 특히 'Routing+Key' 및 'Full' 최적화를 통해 라우팅 불확실성을 극복하고 일관된 공격 성공을 달성했습니다.
• 거짓 활성화 (False Activation) 제어: 'Clean', 'Key-only', 'Template-only' 조건에서는 공격 성공률이 거의 0 으로 유지되었습니다. 이는 개별 구성 요소가 정상적으로 작동하며, 오직 두 요소가 결합되었을 때만 해로운 행동이 발생함을 의미합니다.
• 방어 메커니즘 평가:
  • 기존 방어 모델들은 'Vanilla(비최적화)' 공격에는 어느 정도 효과적이었으나, 'Full Optimization' 공격에는 F1 점수가 급격히 하락하여 탐지 실패를 보였습니다.
  • 시스템 레벨 방어 (Tool Restriction 등) 도 공격 성공률을 완전히 차단하지는 못했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 구조적 취약성 노출: 다중 에이전트 시스템의 안전성은 개별 에이전트의 안전성 합이 아닙니다. 에이전트 간의 **라우팅 (Routing)**과 **구성 (Composition)**이 새로운 취약점을 만들어냅니다.
• 평가 프로토콜의 필요성: 기존 단일 에이전트 평가나 특정 토폴로지만 고려한 평가는 위험을 과소평가합니다. 최소, 평균, 최대 성공률을 포함한 토폴로지 인지 평가가 필수적입니다.
• 방어 방향 전환: 개별 프롬프트나 출력만 검사하는 방식은 무력화되었습니다. 향후 방어 메커니즘은 에이전트 간 전파 (Propagation), 출처 추적 (Provenance), 라우팅 경로를 고려한 연결형 (Conjunctive) 위협을 인지할 수 있어야 합니다.

이 연구는 LLM 기반 에이전트 시스템이 분산된 추론과 협업을 통해 확장됨에 따라, 단순한 프롬프트 주입을 넘어선 복잡한 상호작용 기반의 보안 위협이 발생할 수 있음을 경고하며, 이에 대응한 새로운 안전성 평가 및 방어 체계의 필요성을 강조합니다.