기술 요약: CASPIAN – LLM 다중 에이전트 시스템에서의 연쇄 공격 온라인 탐지 및 귀속

1. 문제 정의

대형 언어 모델 다중 에이전트 시스템 (LLM-MAS) 은 고립된 프롬프트 인젝션이나 할루시네이션과 구별되는 고장 모드인 **연쇄 공격 (cascade attacks)**에 점점 더 취약해지고 있습니다. 이러한 공격에서는 단일 에이전트에 주입된 적대적이거나 오류가 있는 영향이 여러 에이전트와 상호작용 턴에 걸쳐 전파되고 증폭되며 자기 강화됩니다. 이러한 연쇄 현상은 시스템의 상호작용 구조를 악용하여 공유 메모리를 손상시키거나, 도구 출력을 리디렉션하거나, 에이전트들을 집단적으로 결함이 있는 궤적으로 동기화할 수 있습니다.

이러한 공격을 탐지하는 데 있어 핵심적인 과제는 분산되고 결합된 증거의 특성에 있습니다:

• 크로스채널 전파: 영향은 통신, 공유 메모리, 도구 API, 실행 메타데이터를 통해 동시에 전파됩니다. 단일 채널을 모니터링하는 것은 불완전한 시야를 제공합니다.
• 시간적 누적: 영향은 컨텍스트 재사용을 통해 점진적으로 누적됩니다. 에이전트가 국소적으로는 건전해 보일 수 있지만, 시스템 전체는 조정된 고장 방향으로 점진적으로 전환될 수 있습니다.
• 기존 방어책의 한계: 현재의 접근 방식 (의미적 가드레일, LLM 판정자, 그래프 기반 탐지기) 은 대부분 고립된 메시지, 정적 그래프, 또는 사후 추적을 기반으로 작동합니다. 이들은 연쇄 전파의 온라인, 크로스채널, 시간적으로 조정된 역동성을 포착하지 못해 초기 단계의 고장을 놓치거나 실시간 개입을 불가능하게 만드는 오프라인 분석을 요구하는 경우가 많습니다.

2. 방법론: CASPIAN 프레임워크

CASPIAN(연쇄 공격 스펙트럼 전파 및 영향 귀속 네트워크) 은 연쇄 공격에 대한 온라인 탐지 및 귀속을 위해 설계된 통합 프레임워크입니다. 이는 국소적 의미 검사를 넘어 시스템 전반에 걸친 인과적 영향의 진화 구조를 모니터링하는 패러다임의 전환을 이룹니다.

2.1 통합 크로스채널 인과 모델링

CASPIAN 은 LLM-MAS 를 진화하는 크로스채널 인과 영향 텐서 $A_t \in \mathbb{R}^{N \times N \times |C|}$로 모델링합니다. 여기서 $N$은 에이전트 수이며, $C = \{comm, mem, tool, exec\}$는 상호작용 채널을 나타냅니다.

• 영향 추정: 계산 비용이 큰 전체 상태 분석 대신, CASPIAN 은 Late-Interaction Conditional Transfer Entropy (LI-CTE) 공식을 사용합니다. 이는 대상 에이전트의 과거 상태에 조건을 부여하여 소스의 활동이 대상의 현재 행동을 얼마나 설명하는지 측정함으로써, 채널 $c$에서 에이전트 $i$에서 $j$로 향하는 지향적 영향 $a_{ij}^{(c)}(t)$를 추정합니다.
• 효율성: ColBERT 스타일 분해에서 영감을 받아, LI-CTE 는 컴팩트한 소스 및 대상 프로젝션을 구성하여 밀리초 단위의 오버헤드만 발생시키면서도 역사 인식형 지향적 종속성을 포착합니다.
• 텐서 집계: 채널별 영향 행렬은 정규화되어 스펙트럼 분석을 위한 통합 영향 행렬 $\tilde{A}_t$로 집계되며, 채널 수준 귀속을 위해 텐서 구조는 유지됩니다.

2.2 온라인 스펙트럼 연쇄 탐지

CASPIAN 은 진화하는 영향 토폴로지에서의 스펙트럼 전이를 모니터링하여 연쇄를 탐지합니다. 이는 네 가지 주요 역동성을 통해 일시적인 협력 활동과 자기 강화 연쇄를 구분합니다:

1. 증폭: 지배적 스펙트럼 에너지 ($E_t = \lambda_1(t) + \lambda_2(t)$) 의 성장.
2. 동기화: 결합된 전파 모드를 나타내는 스펙트럼 갭 ($g_t = 1 - \lambda_2(t)/\lambda_1(t)$) 의 축소.
3. 크로스채널 확산: 정규화된 섀논 엔트로피 ($H_t^{norm}$) 를 통해 측정된 여러 채널에 걸친 영향 에너지의 분포.
4. 지속성: 시간에 따른 이러한 역동성의 지속적인 강화.

탐지 논리:

• WATCH 조건: 지배적 모드에 의해 주도되는 스펙트럼 결합의 축소 ($\Delta g_t > 0$) 와 증폭 성장이 일치할 때 활성화됩니다.
• 분류:
  • 단일 턴 연쇄: WATCH 가 위상 전이(급격한 구조적 변화) 또는 크로스채널 확산과 일치하고, 실현 가능한 전파 경로 (Weak-Link 확인) 가 존재하는 경우 즉시 탐지됩니다.
  • 멀티 턴 연쇄: WATCH 가 적응형 윈도우 $W_{tw}$(역 스펙트럼 갭에 의해 지배됨) 에 걸쳐 지속되고 최소 하나의 구조적 전환 사건을 포함하는 경우 탐지됩니다.

2.3 온라인 인과 귀속

탐지 시, CASPIAN 은 캐시된 영향 역동성을 사용하여 온라인 귀속을 수행하며, 재생이나 재계산이 필요하지 않습니다. 이는 다음을 식별합니다:

• 기원: 시작 시 가장 강한 외부 영향력을 가진 에이전트.
• 증폭기: 전파를 가장 강력하게 강화하는 에이전트 (높은 유출/유입 비율).
• 브리지: 네트워크 전반에 걸쳐 영향을 수신하고 재분배하는 에이전트.
• 전파 척추 (Propagation Spines): 가장 약한 링크 강도로 순위가 매겨진 상위 $K$개의 지배적 경로와 각 척추에 대한 지배적 상호작용 채널.

3. 주요 기여

1. 통합 크로스채널 인과 모델링: 효율적인 LI-CTE 공식을 사용하여 LLM-MAS 에서 통신, 메모리, 도구, 실행 채널 전반에 걸친 지향적 에이전트 간 영향을 공동으로 모델링한 최초의 프레임워크.
2. 온라인 스펙트럼 탐지: 공격 템플릿, 건전한 보정 추적, 또는 오프라인 학습 없이 진화하는 영향 역동성으로부터 급격한 단일 턴 및 점진적 멀티 턴 연쇄를 모두 식별하는 탐지 메커니즘.
3. 실시간 귀속: 탐지 시 캐시된 영향 역동성으로부터 직접 연쇄 기원, 증폭기, 브리지, 전파 경로를 복원하여 즉각적인 개입을 가능하게 하는 귀속 체계.

4. 실험 결과

CASPIAN 은 727 개의 시나리오와 2,908 개의 실행 추적을 포함하는 4 가지 LLM-MAS 프레임워크 (AutoGen, CrewAI, MetaGPT, LLM Debate) 에 걸쳐 두 가지 벤치마크 (TAMAS 및 ACIArena) 에서 평가되었습니다.

• 탐지 성능: CASPIAN 은 의미적 가드레일 (예: PromptGuard), LLM 기반 판정자, 그래프 기반 탐지기 (예: G-Safeguard) 보다 일관되게 우수한 성능을 보였습니다.
  • AUROC: 대부분의 구성에서 0.90을 초과했습니다 (예: AutoGen 에서 0.942).
  • 초기 탐지 (EDR@5): AutoGen 의 경우 주입 후 5 턴 이내에 **약 79%**의 사례에서 탐지를 달성하여, 기존 방법들 (예: 최상위 그래프 기반 베이스라인의 0.482 대비 0.792) 을 크게 앞섰습니다.
  • 강건성: 다양한 공격 유형 (의도 조작, 실행 공격, 조정 공격) 과 프레임워크 토폴로지에서 성능이 강력하게 유지되었습니다.
• 귀속 정확도:
  • 기원 위치 특정: 높은 정확도 (TAMAS AutoGen 에서 Acc@1 $\approx$ 0.86).
  • 브리지/증폭기: 안정적인 복원, 다만 분산된 토폴로지에서는 브리지 식별이 더 어렵습니다.
  • 경로 복원: 척추 Jaccard@3 점수가 모든 설정에서 0.62 이상을 유지했습니다.
• 효율성: CASPIAN 은 1% 미만의 상대적 오버헤드 지연 시간으로 작동합니다 (예: 건전한 추적에서 약 0.66%), 온라인 배포에 적합합니다.

5. 중요성 및 주장

본 논문은 LLM 다중 에이전트 시스템에서 연쇄 고장을 신뢰성 있게 탐지하고 이해하기 위해 통합 크로스채널 인과 모델링이 필수적이라고 주장합니다. 프롬프트나 정적 그래프에 대해 국소적으로 추론하는 이전 방법들과 달리, CASPIAN 은 연쇄 공격을 글로벌 전파 과정이라는 근본적인 성격으로 다룹니다.

저자들이 강조한 주요 교훈:

• 구조적 재구성: 연쇄의 시작은 고립된 이상 현상이 아니라 에이전트 간 영향의 구조적 재구성 (증폭, 동기화, 크로스채널 확산) 으로 특징지어집니다.
• 온라인 실행 가능성: 이 프레임워크는 복잡한 인과 모니터링이 무시할 수 있는 지연 시간으로 온라인 실행에 통합되어 실시간 개입을 가능하게 함을 보여줍니다.
• 메시지 검사를 넘어선 모니터링: 실행, 메모리, 도구 채널을 모니터링하는 것이 중요합니다. 지속적 메모리나 도구 접근이 있는 시스템에서 메시지 전용 모니터링은 전파 신호를 포착하지 못합니다.
• 해석 가능성: 귀속 기능은 실패에 대한 추적 조건부 분해를 제공하여 보안 감사 및 에이전트 조정 역동성 분석을 지원합니다.

이 연구는 구조적 인과 모니터링이 국소적 의미 검사의 한계를 넘어 복잡한 LLM 에이전트 생태계의 보안 및 감시를 위한 확장 가능한 기반을 제공한다고 결론지었습니다.