기술 요약: Spider-Sense: 효율적인 에이전트 방어를 위한 계층적 적응형 스크리닝 기반의 내재적 위험 감지

1. 문제 정의

대규모 언어 모델(LLM)이 환경 인지, 작업 계획, 도구 실행이 가능한 자율 에이전트로 진화함에 따라, 금융, 코딩, 웹 상호작용와 같은 핵심 영역으로 그 적용 범위가 확장되고 있습니다. 그러나 이러한 확장된 액션 스페이스(action space)는 데이터 유출 및 무단 시스템 운영과 같은 실질적인 결과로 이어질 수 있는 프롬프트 인젝션, 메모리 포이즈닝, 도구 기반 익스플로잇(exploit) 등의 심각한 보안 리스크를 동반합니다.

저자들은 기존 방어 메커니즘의 근본적인 결함을 지적합니다. 기존 시스템은 주로 **강제적 점검 패러다임(mandatory checking paradigm)**을 채택하고 있습니다. 이러한 시스템에서는 실제 위험 존재 여부와 관계없이 에이전트 라이프사이클의 사전 정의된 단계(예: 액션 생성 또는 도구 호출 시)에서 보안 검증이 강제로 트리거됩니다. 이 방식은 다음과 같은 문제를 야기합니다:

• 높은 지연 시간(High Latency): 각 계획 단계나 도구 호출마다 보안 검사가 발생하여, 복잡한 다단계 워크플로우에서 오버헤드가 급격히 누적됩니다.
• 오탐(False Positives): 빈번하고 불필요한 검사가 정상적인 사용자 상호작용을 방해합니다.
• 확장성 문제(Scalability Issues): 많은 접근 방식이 외부 검증 모델에 의존하며, 이는 상당한 계산 비용을 발생시키고 시스템 의존성을 높여 실제 배포를 제한합니다.

본 논문은 효과적인 에이전트 보안이란 외부적으로 분리된 강제적 절차가 아니라, 실제 위험이 감지될 때만 개입하는 내재적이고 선택적인(intrinsic and selective) 형태여야 한다고 주장합니다.

2. 방법론: SPIDER-SENSE 프레임워크

제안된 SPIDER-SENSE 프레임워크는 **내재적 위험 감지(Intrinsic Risk Sensing, IRS)**와 **계층적 적응형 스크리닝(Hierarchical Adaptive Screening, HAS)**을 기반으로 한 이벤트 기반 방어 패러다임을 도입합니다.

2.1 내재적 위험 감지 (IRS)

IRS는 보안을 에이전트의 고유한 인지 기능으로 내재화하여, 실행 흐름 전반에 걸쳐 "잠재적 경계 상태(latent state of vigilance)"를 유지할 수 있도록 합니다.

• 메커니즘: 에이전트는 네 가지 보안 핵심 단계인 쿼리(Query, $q$), 계획(Plan, $P_t$), 액션(Action, $a_t$), 관찰(Observation, $o_t$) 각각에서 위험 감지 지표($\phi_t^{(k)}$)를 자율적으로 평가합니다.
• 트리거링: 현재의 아티팩트(artifact), 상호작용 이력 및 시스템 지침을 바탕으로 에이전트는 위험 감지 지표를 생성할지 여부를 결정합니다. 잠재적 위험이 감지되면 에이전트는 표준 흐름을 일시 중단합니다.
• 구현: 에이전트는 의심스러운 아티팩트를 특수 템플릿(예: 도구 출력에 대한 <|sanitize_observation|>)으로 감싸 보안 검사 메커니즘으로 라우팅합니다. 이 과정은 내부적(endogenous)으로 수행되며, 외부의 감독이나 아키텍처적 오버헤드를 필요로 하지 않습니다.

2.2 계층적 적응형 스크리닝 (HAS)

트리거가 발생하면, 의심스러운 아티팩트는 효율성과 정밀도의 균형을 맞추기 위해 설계된 2단계 검증 과정을 거칩니다.

1. 조립 단계의 탐지 (Coarse-grained Detection - 빠른 스크리닝):
   • 시스템은 벡터화된 표현으로 저장된 알려진 공격 패턴을 포함하는 단계별 공격 벡터 데이터베이스($D^{(k)}$)를 유지합니다.
   • 현재 아티팩트를 임베딩하고 코사인 유사도를 사용하여 저장된 패턴과 비교합니다.
   • 유사도 점수가 임계값($\tau^{(k)}$)을 초과하면 즉시 높은 신뢰도의 결과를 반환하여 최소한의 지연 시간으로 알려진 패턴을 해결합니다.
2. 정밀 분석 (Fine-grained Analysis - 심층 추론):
   • 유사도 점수가 임계값 미만인 경우(모호하거나 알려지지 않은 패턴인 경우), 시스템은 심층 추론 단계로 격상됩니다.
   • 대규모 언어 모델(LLM)이 현재 아티팩트와 검색된 상위 $K$개의 유사 사례를 바탕로 명시적인 추론을 수행하여 추론된 결과를 생성합니다.
3. 의사 결정: 메인 에이전트는 검증 결과를 전달받아 실행을 수락(ACCEPT), 거부(REJECT) 또는 **정화(SANITIZE)**할지를 자율적으로 결정합니다.

3. 주요 기여

1. 내재적 위험 감지 (IRS): 저자들은 지시문 수준의 컨디셔닝을 통해 에이전트의 실행 흐름에 위험 인식을 직접 삽입하는 패러다임을 제안합니다. 이를 통해 외부 가드 모델이나 지속적인 단계별 검사 없이도 내재적이고 이벤트 기반인 방어를 가능하게 합니다.
2. 계층적 적응형 스크리닝 (HAS): 효율성과 정확도를 적응적으로 조절하는 새로운 메커니즘입니다. 단계별 공격 벡터 데이터베이스를 활용하여 빠른 벡터 매칭을 통해 알려진 위협을 해결하는 동시에, 모호한 사례는 내부 심층 추론으로 라우팅함으로써 모든 검사 단계에서 외부 모델에 의존하는 것을 제거합니다.
3. S2Bench 벤치마크: 저자들은 인시투(in-situ) 에이전트 차단을 엄격하게 평가하기 위해 설계된 라이프사이클 인식 벤치마크인 S2Bench를 도입합니다. 기존의 정적 벤치마크와 달리 S2Bench는 다음과 같은 특징을 가집니다:
   • 다단계 및 다중 시나리오: 8개의 애플리케이션 도메인과 79개의 서브 태스크 시나리오에 걸쳐 에이전트의 4개 단계를 포괄합니다.
   • 실제 도구 실행: 플레이스홀더 텍스트가 아닌 대규모 도구 라이브러리(약 300개 함수)와 현실적인 반환 내용(100개 이상의 유형)을 통합했습니다.
   • 까다로운 양성 프롬프트(Hard Benign Prompts): 과잉 방어 및 오탐을 테스트하기 위해 공격 구조를 모방하여 정교하게 구성된 153개의 양성 샘플을 포함합니다.
   • 현실적인 공격 시뮬레이션: 도구 출력과 메모리 검색을 동적으로 조작하여 상태 의존적인 실행 편차를 유도하는 외부 인젝터를 사용합니다.

4. 실험 결과

저자들은 Mind2Web, eICU, S2Bench 데이터셋을 사용하여 SPIDER-SENSE를 정적 가드레일(예: LLaMA-Guard 3, gpt-oss-safeguard) 및 에이전틱 방어(예: GuardAgent, AGrail)와 비교 평가했습니다.

• 방어 성능: SPIDER-SENSE는 모든 벤치마크에서 가장 낮은 **공격 성공률(ASR)**과 **오탐율(FPR)**을 달 기록했습니다.
  • Mind2Web에서 Claude-3.5를 사용할 때, SPIDER-SENSE는 레이블 예측 정확도(LPA)를 84.8%(베이스라인)에서 **95.8%**로, F1 점수를 90.3%에서 **92.1%**로 향상시켰습니다.
  • S2Bench에서, 다른 방어 체계의 알려진 취약점인 "계획(Plan)" 단계의 ASR을 17.7%(Claude-3.5) 및 20.0%(Qwen-max)로 크게 낮추면서도 낮은 FPR을 유지했습니다.
• 효율성: 본 프레임워크는 보안과 유틸리티 사이에서 우수한 트레이드오프를 달성했습니다. 베이스라인 대비 단 **8.3%**의 미미한 지연 시간 오버헤드만을 발생시킨 반면, 기존의 "항상 켜져 있는(always-on)" 방어 체계들은 197%에서 381%에 달하는 오버헤드를 기록했습니다.
• 절제 연구 (Ablation Studies):
  • 특정 단계에서의 센싱을 제거하면 ASR이 급격히 상승했습니다(예: 액션 단계 센싱 비활성화 시 +29.9%). 이는 전체 라이프사이클 모니터링의 필요성을 입증합니다.
  • 정밀 분석 단계를 제거하면 방어 정밀도가 크게 떨어졌고, 조립 단계의 탐지를 제거하면 효율성이 심각하게 저하되어 계층적 설계의 타당성을 입로 증명했습니다.

5. 의의 및 주장

본 논문은 Spider-Sense가 외부의 강제적 보안 절차에서 내재적이고 선택적인 위험 인식으로의 전환을 의미한다고 주장합니다. 보안을 고유한 인지 기능으로 취급함으로써, 이 프레임워크는 에이전트가 "잠재적 경계심"을 유지하면서 위험 인지 시에만 방어를 트리거할 수 있게 합니다.

저자들은 이 접근 방식이 다음과 같은 효과를 가진다고 단언합니다:

• 유틸리티 보존: 반복적이고 지속적인 검사를 피함으로써, 복잡한 에이전트 배포를 저해하는 지연 시간과 오탐을 방지합니다.
• 확장성 향상: 모든 단계에서 외부 검증 모델에 의존하는 대신 내부 추론과 경량화된 유사도 매칭을 활용함으로써 계산 비용과 시스템 의존성을 줄입니다.
• 강력한 평가 제공: S2Bench를 통해, 정적인 텍스트 수준의 인젝션 테스트를 넘어 에이전트 공격의 동적이고 상태 의존적인 특성을 고려한 보다 현실적인 평가 표준을 제시합니다.

결론적으로, 본 연구는 내재적 위험 인식이 확장 가능한 에이전트 보안을 위한 실질적인 토대이며, 에이전트가 효율성과 자율성을 해치지 않으면서도 현실 세계의 환경에서 안전하게 작동할 수 있게 함을 보여줍니다.