Stateful Online Monitoring Catches Distributed Agent Attacks

기술 요약: 분산형 에이전트 공격을 위한 상태 유지 온라인 모니터링

문제 정의
대규모 언어 모델(LLM) 에이전트는 소프트웨어 취약점을 식별하고 복잡한 사이버 보안 작업을 수행할 수 있을 정도로 점점 더 강력해지고 있습니다. 그러나 이러한 능력은 새로운 위협 벡터인 **분산형 에이전트 공격(distributed agent attacks)**을 초래합니다. 이 시나리오에서 공격자는 하나의 해로운 목적(예: 사이버 공격 실행)을 수많은 사용자 계정과 에이전트 세션에 걸쳐 수많은 하위 작업으로 분해합니다. 개별 대화 내용은 겉보기에 무해하며 표준 안전 필터를 통과하지만, 이를 합치면 조직적인 공격이 됩니다.

표준 안전 모니터는 단일 에이전트 컨텍스트(대화 기록)만을 평가하기 때문에 구조적 한계가 있습니다. 이들은 서로 다른 사용자 간의 증거를 상관 분석할 수 있는 "상태(state)"를 갖추지 못했습니다. 결과적으로, 이들은 집합적으로만 가시화되는 오용 사례를 탐지하는 데 구조적으로 무력합니다. 본 논문은 공격자가 단일 세션에서는 거절을 유발하지 않도록 작업을 분할함으로써 표준 모니터를 우회할 수 있으며, 이로 인해 탐지되기 전까지 상당한 해악을 끼칠 수 있음을 입증합니다.

방법론

1. 분산형 에이전트 공격 (위협)
저자들은 다중 에이전트 스캐폴드인 ARTEMIS를 사용하여 최초의 완전 일반형 분산형 에이전트 공격을 구축했습니다.

• 아키텍처: 감독 에이전트(더 약한 모델인 gpt-oss-120b 사용)가 고수준의 사이버 보안 목적을 수신합니다. 이후 이 목적을 격리되고 새로운 대화 컨텍스트를 가진 서로 다른 사용자 계정의 강력한 하위 에이전트들(gpt-5.2 사용)에게 하위 작업을 위임합니다.
• 은폐(Obfuscation): 감독 에이전트는 각 하위 작업을 무해한 엔지니어링 작업(예: "이 네트워크를 스캔하라", "자격 증명을 검증하라", "스크립트를 디버깅하라")으로 프레이밍합니다. 해로운 목적은 감독 에이전트가 출력값을 다시 종합할 때 비로소 재구성됩니다.
• 효과성: 이 공격은 약한 감독 에이전트가 단독으로는 해결할 수 없는 어려운 사이버 보안 작업(CyBench)을 성공적으로 해결하는 동시에, 단일 컨텍스트 공격에 비해 약 20% 정도만 잡아내는 표준 모니터를 효과적으로 회피합니다.

2. 온라인 상태 유지 모니터 (방어)
이를 방어하기 위해 저자들은 개별 대화가 아닌 사용자 그룹을 대상으로 추론하는 **온라인 상태 유지 모니터(online stateful monitor)**를 제안합니다. 이 시스템은 세 가지 핵심 단계를 거쳐 실시간으로 작동합니다.

• 로컬 스코어링(Local Scoring): 표준 모니터가 들어오는 요청($x_t$)에 대해 즉각적인 의심 정도를 점수화합니다.
• 온라인 클러스터링(Online Clustering): 요청을 임베딩하고, 다른 사용자의 이전에 발생한 의미론적으로 유사한 상호작용을 나타내는 온라인 클러스터 세트와 비교합니다.
  • 모든 과거 데이터를 다시 클러스터링하는 것($O(N^2)$, 너무 느림) 대신, 시스템은 작은 규모의 클러스터 중심점($M_t$) 세트를 유지합니다.
  • 새로운 요청은 가장 가까운 중심점으로 라우팅됩니다. 유사도가 낮으면 새로운 클러스터가 생성되며, 그렇지 않으면 중심점과 그 증거 버퍼가 온라인으로 업데이트됩니다.
• 교차 컨텍스트 에스컬레이션(Cross-Context Escalation): 다음의 경우에만 "교차 컨텍스트 모니터"(더 강력한 LLM 판사)로 에스컬레이션됩니다:
  1. 로컬 점수가 즉시 거부되지는 않았으나 다소 높은 경우, 또는
  2. 할당된 클러스터에 충분한 교차 세션 증거(예: 동일 클러스터 내의 여러 의심스러운 세션)가 축적된 경우.
  • 교차 컨텍스트 모니터는 현재 요청을 동일 클러스터 내에서 가장 의심스러운 상위-$k$개의 과거 항목과 함께 검토하여 조직적인 캠페인이 진행 중인지 판단합니다.

주요 기여

1. 최초의 분산형 에이전트 공격: 본 논문은 해로운 작업을 사용자 계정 간에 분할하는 다중 에이전트 공격을 구현하고 평가하여, 표준 모니터가 이를 효과적으로 탐지하지 못함(단일 컨텍스트 공격보다 탐지율이 20% 수준에 불과함)을 입증했습니다.
2. 온라인 상태 유지 모니터: 수백만 명의 사용자로부터 발생하는 신호를 집계하기 위해 실시간 스트림 클러스터링을 사용하는 새로운 방어 아키텍처입니다. 이 시스템은 의심스러운 클러스터만을 선별하여 무거운 LLM 판사에게 전달함으로써, 대다수의 양성 트래픽에 대해 낮은 지연 시간을 보장합니다.
3. 레드팀 테스팅 및 일반화: 2개월간의 화이트박스 레드팀 테스팅 과정을 통해 저자들은 방어 체계를 정교화했습니다. 놀랍게도, 상태 유지 모니터가 표준 탈옥(jailbreak) 및 **순차적 분해 공격(sequential decomposition attacks)**의 탐지 성능도 향적으로 만든다는 것을 발견했습니다. 이는 적응형 공격자가 서로 다른 계정을 통해 공격 변형을 재사용하면서 상태 유지 모니터가 상관 관계를 파악할 수 있는 흔적을 남기기 때문입니다.

결과
방대한 양의 양성 코딩 에이전트 대화(공격 트래픽보다 10배에서 100배 더 많음)가 포함된 시뮬레이션 데이터 센터 트래픽을 사용하여 평가를 수행했습니다.

• 탐지 성능: 상태 유지 모니터는 표준 모니터를 **파레토 지배(Pareto dominate)**합니다. 동일한 허위 양성률(FPR)에서 더 높은 재현율(Recall)을 달iah합니다. 예를 들어, 100배의 양성 배경 데이터에서 상태 유지 모니터는 1.47% FPR에서 65.8%의 재현율에 도달한 반에, 최상의 표준 모니터는 동일한 FPR에서 55%의 재현율만을 기록했습니다.
• 탐지 시간(Time-to-Detect, TTD): 상태 유지 모니터는 궤적 상에서 공격을 30% 더 빨리 포착합니다. 이는 탐지 전까지 공격자가 수행할 수 있는 해로운 단계의 수를 줄여줍니다 (예: TTD99를 37.2단계에서 25.4단계로 감소).
• 지연 시간(Latency): 약 99%의 사용자 트래픽에 대해 추가 지연 시간은 무시할 수 있는 수준입니다. 시스템은 의심스러운 트래픽의 "꼬리(tail)" 부분에 해당하는 극소수의 요청에 대해서만 교차 컨텍스트 LLM 판사의 비용을 발생시킵니다.
• 레드팀 테스팅: 방어 체계는 레드팀 테스팅 단계에서 "모니터 컨텍스트 포이즈닝(monitor-context poisoning)" 시도의 82%를 포착했으며, 순차적 분해 공격은 100% 포착했습니다.

의의 및 주장
본 논문은 분산형 공격이 현재의 "상태 비저장(stateless)" 안전 아키텍처의 근본적인 한계를 나타낸다고 주장합니다. 이 연구의 의의는 고립된 대화 기록 모니터링에서 인구 집단 수준의 추론으로 패러다임을 전환했다는 데 있습니다.

• 저자들은 상태 유지 모니터가 분산형 오용을 완전히 해결하는 것은 아니지만(강력한 은폐를 사용하는 적응형 공격자는 여전히 숨어들 수 있음), 더 높은 재현율로 공격을 더 빨리 잡아내는 중요한 방어 계층을 제공한다고 주장합니다.
• 이 접근 방식은 확장 가능하며, 의미론적 클러스터링을 활용하여 대다수 사용자에게는 낮은 지연 시간을 유지하면서도 "건초더미 속의 바늘"을 효과적으로 식별합니다.
• 상태 유지 모니터가 비분산형 위협(탈옥 등)에도 일반화된다는 발견은, 사용자 집단에 대한 추론이 미래의 에이전트 AI를 위한 견고한 안전 전략임을 시사합니다.