기술 요약: SingGuard-NSFA

문제 정의

대규모 언어 모델(LLM)이 자율적인 에이전트로 급격히 진화함에 따라 보안 위협 표면이 근본적으로 변화했습니다. 대화형 AI가 주로 콘텐츠 안전성(예: 유해한 출력 또는 오정보)에 위험이 국한되는 것과 달리, 에이전트형 AI 시스템은 웹 브라우징, API 호출, 코드 실행과 같은 실질적인 행동을 수행합니다. 이러한 전환은 보안 침해가 민감한 데이터 유출, 승인되지 않은 도구 조작, 원격 코드 실행으로 이어질 수 있는 운영상의 위협을 도입합니다. 기존의 가드레일은 세 가지 결정적인 한계에 직면해 있습니다:

1. 체계적인 분류 체계의 부재: 현재의 위험 정의는 고정되어 있거나, 시나리오별로 특화되어 있거나, 혹은 전적으로 사용자 정의에 의존하는 경우가 많아, 커버리지를 평가하기 위한 원칙적인 프레임워크가 부족합니다.
2. 확장성의 병목 현상: 새로운 위험에 대한 탐지를 적응시키려면 일반적으로 수동 재설정이나 전체 모델 재학습이 필요하며, 이는 비효득적이고 신뢰할 수 없습니다.
3. 언어 편향성: 기존의 평가는 영어 중심적이며, 이로 인해 비영어권에서의 회피 공격에 대한 취약한 사각지대가 발생합니다.

또한, 현재의 안전성 리소스는 "모델이 무엇을 말하는가"가 아니라 "에이전트가 무엇을 하는가"에 초점을 맞추지 못하여, 에이전트 운영 맥락에서의 CIA(기밀성, 무결성, 가용성) 트라이어드를 다루지 못하고 있습니다.

방법론

SingGuard-NSFA는 위험 분류 체계, 다국어 벤치마크 스위트, 그리고 이중 모드 탐지 아키텍처를 통해 에이전트형 AI 시스템을 보호하도록 설계된 가드레일 프레임워크입니다.

1. NSFA 위험 분류 체계

저자들은 CIA 트라이어드에 기반하고 세 가지 OWASP 가이드라인(OWASP LLM 애플리케이션을 위한 Top 10, OWASP 에이전트형 AI 위협, OWASP 에이전트형 애플리케이션을 위한 Top 10)을 통해 교차 검증된 NSFA (Not-Secure-For-Agents) 분류 체계를 도입합니다.

• 구조: 185개의 위험 변종을 7개의 Level-1 도메인, 28개의 Level-2 위험, 185개의 Level-3 변종으로 구성합니다.
• 범위: 이 분류 체계는 쿼리 측(Query-side) 위협(5개 도메인, 160개 변종)과 응답 측(Response-side) 위협(2개 도메인, 25개 변종)을 구분합니다.
• 설계 원칙:
  • 쿼리 우선, 응답 백스탑(Query-First, Response-as-Backstop): 돌이킬 수 없는 행동을 방지하기 위해 입력 단계에서 위협을 차단하며, 응답 탐지는 보조적인 레이어 역할을 합니다.
  • 단일 턴 탐지 가능성(Single-Turn Detectability): 상태를 유지하지 않는(stateless) 저지연 배포를 보장하기 위해 멀티 턴 궤적 분석을 제외하고, 단일 턴의 텍스트(쿼리 또는 응답)에서 식별 가능한 위험에 집중합니다.
  • 다국어 커버리지: 133개 언어에 걸친 언어 기반 회피를 방지하도록 설계되었습니다.

2. 벤치마크 스위트 구축

가드레일을 NSFA 분류 체계에 따라 평가하기 위해 저자들은 종합적인 벤치마크 스위트를 구축했습니다.

• 목적 기반 벤치마크: 74개의 오픈 소스 LLM을 사용하여 4단계 파이프라인(시드 없는 생성, 시드 기반 증강, 다국어 확장, 검증)을 통해 생성되었습니다. 여기에는 63,431개의 쿼리 샘플과 29,972개의 응답 샘플이 포함되며, 균형 잡힌 양성/음성 분포를 바탕으로 185개 위험 변종 전체를 다룹니다.
• CrossSource 벤치마크: 5개의 공개 에이전트 보안 데이터셋(AgentDojo, InjecAgent, AgentHarm, AgentDyn, ATBench)을 가져와 단일 쿼리 형식으로 정규화하고 132개 언어로 확장하여 3,435개의 샘플을 확보했습니다.
• 총 커버리지: 스위트는 133개 언어를 포괄하며 93,000개 이상의 목적 기반 샘플을 포함합니다.

3. SingGuard-NSFA 프레임워크

이 프레임워크는 생성적 추론과 판별적 분류를 결합한 이중 모드 접근 방식을 채택합니다.

• 생성적 추론 (오프라인 감사): SFT(지도 미세 조정) 백본(Qwen3.5 모델 기반)이 해석 가능한 사고 사슬(Chain-of-Thought, CoT) 분석과 그에 따른 위험 판단을 생성합니다. 이 모드는 인간의 검토 및 사고 조사를 지원합니다.
• 실시간 분류 (온라인 차단): 고정된(frozen) SFT 백본의 마지막 토큰 임베딩을 기반으로 학습된 경량 판별형 다층 퍼셉트론(MLP) 분류 헤드가 적용됩니다. 이 헤드는 단일 순방향 패스(forward pass)를 통해 각 Level-1 도메인에 대한 위험 확률을 출력하며, 약 45–57 ms의 탐지 지연 시간을 실현합니다.
• 확장성: 분류 헤드 아키텍처는 본질적으로 확장 가능합니다. 새로운 위험에 대한 탐지를 추가하려면 기존 기능을 방해하거나 백본을 재학습할 필요 없이, 고정된 임베딩 위에 새로운 경량 헤드만을 학습시키면 됩니다.

주요 기여

1. NSFA 분류 체계: 185개의 에이전트 특화 위험 변종에 대한 CIA 트라이드 기반의 체계적인 분류 체계로, 공격 기법과 목적을 명확히 구분하며 세 가지 주요 OWASP 프레임워크를 통해 검증되었습니다.
2. 다국어 벤치마크 스위트: 133개 언어와 93,000개 이상의 목적 기반 샘플 및 CrossSource 벤치마크를 포함하는, 현재까지 에이전트 가드레일을 위한 가장 크고 언어적으로 다양한 평가 스위트입니다.
3. 이중 모드 가드레일 아키텍처: 해석 가능한 생성적 추론(감사용)과 실시간 차단(인터셉션용)을 결합한 프레임워크입니다. 분류 헤드 설계는 새로운 위험 및 다른 가드레일 모델로의 플러그인 확장을 가능하게 합니다.
4. 합성 데이터 파이프라인: 74개의 오픈 소스 LLM을 활용하여 하드 네거티브 대비(hard-negative contrasts)와 엄격한 검증을 거친 다양한 다국어 학습 데이터를 생성하는 견고한 4단계 파이프라인을 제공합니다.

실험 결과

저자들은 네 가지 SingGuard-NSFA 모델(0.8B, 2B, 4B, 9B 파라미터)을 10개의 경쟁 가드레일(Llama Guard 3, Granite Guardian, AgentDoG 포함)과 함께 세 가지 벤치마크에서 평가했습니다.

• 이진 탐지 성능:
  • 목적 기반 벤치마크에서 모든 SingGuard-NSFA 모델은 ≥94% F1을 달성하였으며, 가장 강력한 경쟁 가드레일인 AgentDoG1.5-FG보다 6~12 절대 F1 포인트 앞섰습니다.
  • 9B 모델은 Query 벤치마크에서 96.95% F1, Response 벤치마크에서 98.31% F1을 달성했습니다.
  • CrossSource-Query 벤치마크에서 9B 모델은 91.29% F1을 기록하여, 가장 우수한 경쟁 모델(84.67%)보다 6.6포인트 높은 성능을 보였으며 더 균형 잡힌 정밀도-재현율(precision-recall) 트레이드오프를 보여주었습니다.
• 추론 지연 시간:
  • 실시간 분류 모드는 샘플당 45–57 ms로 작동하며, 훨씬 더 큰 모델(최대 9B 파라미터)을 사용함에도 불구하고 가장 빠른 경쟁 가드레일들(14–52 ms)과 대등한 수준입니다.
  • 생성적 추론 모드는 3.6–7.2초가 소요되어 오프라인 감사에 적합합니다.
• 확장성:
  • 어블레이션 연구(Ablation studies) 결과, 분류 헤드의 수를 5개에서 50,000개로 늘려도 엔드 투 엔드 지연 시간이 9 ms만 증가했습니다.
  • 고정된 SingGuard-NSFA 백본에 콘텐츠 안전성 헤드를 학습시킨 결과, 표준 모더레이션 벤치마크에서 전용 콘텐츠 안전 가드레일을 능가했습니다.
  • 고정된 Llama Guard 3 백본에 분류 헤드 접근 방식을 적용했을 때 Query 벤치마크에서 F1 점수가 17.6 포인트 향상되었으며, 이는 이 아키텍처가 플러그인 강화 도구로서 일반화 가능함을 입증합니다.

의의

본 논문은 SingGuard-NSFA가 콘텐츠 안전성과 운영적 에이전트 보안 사이의 결정적인 간극을 해결한다고 주장합니다. CIA 트라이드에 기반한 위험 분류 체계를 공식화하고 확장 가능한 다국어 탐지 프레임워크를 제공함으로써, 에이전트형 AI를 보호하기 위한 원칙적인 접근 방식을 제시합니다. 이중 모드 아키텍처는 고처리량 실시간 차단과 심층적이고 해석 가능한 감사를 모두 가능하게 합니다. 분류 헤드 아키텍처의 입증된 확장성은 가드레일이 막대한 비용이 드는 전체 모델 재학습 없이도 새로운 위협에 맞춰 진화할 수 있는 경로를 제시합니다. 저자들은 이러한 결과가 콘텐츠 안전성과 운영적 에이전트 보안을 통합적이고 확장 가능한 프레임워크 내에서 다루는 것이 가능하다는 것을 보여준다고 결론짓습니다.