Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense

기술 요약: SCOUT – 적응형 탐지기 할당을 위한 사전 추론(Pre-hoc Reasoning)

문제 정의
프롬프트 인젝션 탐지기는 본질적으로 이질적입니다. 각 탐지기는 특정 공격 카테고리(예: 어휘 규칙, 어텐션 프로브, 경량 분류기 등)에는 탁월한 성능을 보이지만, 다른 카테고리에서는 실패하는 특성을 가집니다. 기존의 방어 시스템은 일반적으로 단일 탐지기나 정적 캐스케이드(static cascade)와 같은 고정된 파이프라인에 의존하며, 이는 모든 요청을 특정 탐지기의 사각지대로 강제 통과하게 만듭니다. 또한, 가장 정확한 방어 수단인 LLM 판사(예: GPT-4o)는 경량 탐지기(밀리초 미만에서 수십 밀리초)에 비해 매우 높은 지연 시간(요청당 약 1.5초)을 초래합니다. 핵심 과제는 단일 탐지기의 한계에 갇히거나 항상 켜져 있는 LLM 판정의 높은 비용을 감수하지 않으면서, 안전성(공격 포착)과 유틸리티(지연 시간 최소화 및 양성 통과율 유지) 사이의 균형을 맞추는 것입니다.

방법론: SCOUT 프레임워크
저자들은 SCOUT(Scalable and Controllable Outcome-prediction for Uncertainty-aware Triage)를 제안합니다. 이 프레임워크는 방어를 'per-input(입력 단위) 탐지기 할당 문제'로 재정의합니다. SCOUT는 고정된 캐스케이드 대신, 각 특정 요청에 대해 어떤 탐지기를 실행할지, 그리고 LLM 판정으로 에스컬레이션(escalate)할지 여부를 동적으로 결정합니다.

시스템은 세 가지 주요 구성 요소로 작동합니다:

1. 탐지기 지문(Fingerprint) 및 검색:

   • SCOUT는 다양한 인젝션 구조를 나타내는 고정된 "앵커(anchor)" 입력 세트(Anchor-400)를 유지합니다.
   • 풀(pool) 내의 모든 탐지기에 대해, 이 앵커들에 대한 동작(판정, 정확도 및 지연 시간)을 기록하여 **지문(fingerprint)**을 생성합니다.
   • 추론 시, 시스템은 새로운 요청 $x$에 대해 토픽 내용이 아닌 인젝션 구조(카테고리, 은닉 전략, 캐리어, 메커니즘)를 기반으로 가장 유사한 상위 $K$개의 앵커를 검색합니다. 이 검색 과정은 탐지기에 무관(detector-agnostic)합니다.

2. 결과 예측기 (사전 추론):

   • 소형 언어 모델(Qwen3-4B)이 예측기로서 작동합니다. 이 모델은 검색된 지문 기록과 대상 샘플을 입력으로 받습니다.
   • 2단계 학습 과정(사후적 근거(hindsight-distilled rationales)를 통한 지도 미세 조정 후 그룹 상대 정책 최적화(GRPO) 수행)을 통해, 예측기는 입력 $x$에 대한 각 탐지기 $D$의 두 가지 값을 추정합니다:
     • 예측 정확도 ($pred\_corr$): $D$가 $x$를 올바르게 분류할지 여부.
     • 예측 지연 시간 ($pred\_lat$): $D$를 실행하는 데 걸리는 시간.
   • 예측기는 구조화된 예측을 하기 전에 추론 체인(Chain-of-Thought)을 생성하도록 훈련되며, 이는 캘리브레이션(calibration) 성능을 향상시킵니다.

3. 불확실성 인지 트리아지 (라우팅):

   • 부분 집합 선택: 라우터는 "경량 풀(light pool)"의 탐지기들을 필터링하여, $pred\_corr = 1$인 탐지기들만 남깁니다.
   • 신뢰 가중 투표: 선택된 탐지기들은 병렬로 실행됩니다. 이들의 투표는 로컬 증거(검색된 앵커에 대한 정확도)와 글로벌 사전 확률(전체 정확도)을 혼합한 신뢰 가중치를 사용하여 집계됩니다.
   • 에스컬레이션 게이트: 가중 투표가 불확실할 경우(합의도 $< \tau$), 시스템은 LLM 판정으로의 에스컬레이션을 고려합니다. 결정적으로, 에스컬레이션은 예측기가 해당 특정 입력에 대해 판정기가 신뢰할 수 있다고 추정할 때만 발생합니다.
   • 지연 시간 제어: 예측기가 지연 시간을 추정하기 때문에, 시스템은 요청을 실행하기 전에 임의의 임계값 $\tau$에 대한 총 실제 실행 시간(wall-clock time)을 예측할 수 있습니다. 운영자는 특정 지연 시간 예산에 맞춰 $\tau$를 설정할 수 있습니다.

주요 기여

• 방어의 재정의: 본 논문은 방어 패러다임을 고정된 탐지 파이프라인에서 per-input 탐지기 할당으로 전환하여, 시스템이 입력의 특정 공격 카테로리에 맞춰 탐지기를 매칭할 수 있도록 합니다.
• SCOUT 프레임워크: 행동 지문, 소형 결과 예측기, 제어 가능한 라우팅 규칙을 결합한 새로운 아키텍처를 제공합니다. 이를 통해 새로운 탐지기가 재학습 없이(앵커에 대한 단 한 번의 통과로 지문을 생성하는 것만으로) 풀에 합류할 수 있습니다.
• SCOUT-450 벤치마크: 기존 벤치마크에서 과소 대표되었던 구조적으로 복잡한 에이전트 대상 인젝션(특히 hidden_tricky 카테고리)이 풍부하게 포함된 새로운 평가 벤치마크입니다. 여기에는 255개의 공격 샘플과 195개의 양성 샘플이 포함됩니다.
• 제어 가능성: 시스템은 안전성과 지연 시간 사이를 조절하는 단일 운영자 임계값($\tau$)을 노출하며, 사전에 전체 wall-clock 비용을 예측할 수 있는 능력을 갖추고 있습니다.

결과
SCOUT-450 및 3개의 외부 벤치마크(BIPIA, IPI, IHEval)에서 평가한 결과, SCOUT는 베이스라인 대비 유의미한 개선을 보여주었습니다:

• 안전성-유틸리티 프런티어: SCOUT-450에서 주요 운영 지점($\tau=0.875$) 기준, SCOUT는 항상 켜져 있는 GPT-4o 판정기와 비교했을 때 공격 성공률(ASR)을 46% 줄이고 총 wall-clock 지연 시간을 40% 단축했습니다.
• 정확도: SCOUT는 0.933의 정확도를 달성하여, 최상의 단일 탐지기(PIGuard, 0.669)와 항상 켜져 있는 판정기(GPT-4o, 0.924)를 모두 능가했습니다.
• 양성 유틸리티: SCOUT는 항상 켜져 있는 판정기(0.928 vs 0.979)에 비해 5.1포인트의 양성 유틸리티 하락이 발생하지만, 지연 시간을 크게 줄이면서 높은 처리량을 유지합니다.
• 일반화: 시스템은 재학습 없이 외부 벤치마크(BIPIA, IPI, IHEval)로 전이되며, 탐지기를 재할당함으로써 서로 다른 공격 분포에 적응합니다. 예를 들어, BIPIA에서 SCOUT는 GPT-5.1 판정기 대비 높은 정확도를 유지하면서 지연 시간을 3.7배 줄였습니다.
• 절제 연구(Ablations): 연구를 통해 이 이득이 예측기의 신뢰도 추정 캘리브레이션 능력(비 LLM 예측기인 KNN/MLP보다 우수함)과 per-input 할당 전략(균등 신뢰 캐스케이드보다 우수함)에서 온다는 것을 확인했습니다.

의의 및 주장
본 논문은 SCOUT가 프롬프트 인젝션 방어에 대한 확장 가능하고(scalable) 제어 가능한(controllable) 솔루션을 제공한다고 주장합니다.

• 확장성: 새로운 탐지기를 추가하려면 앵커 세트에 대한 지문 생성만 필요하며, 리트리버, 예측기 또는 라우터를 재학습할 필요가 없습니다.
• 제어 가능성: 운영자는 단일 임계값 $\tau$를 사용하여 특정 지연 시간 예산이나 안전 목표에 맞춰 시스템을 튜닝할 수 있으며, 시스템은 이를 사전에 예측할 수 있습니다.
• 이질성 인식: 단일 탐지기가 보편적으로 강력할 수 없음을 인식함으로써, SCOUT는 이질적인 풀의 다양한 강점을 활용하여 어려운 케이스만을 필요한 경우에 한해, 그리고 판정기가 신뢰할 수 있다고 예측될 때만 LLM 판정기로 라우팅합니다.

저자들은 SCOUT가 가용한 탐지기 풀의 집합적 능력을 넘어설 수는 없으며, 그 효과가 앵커 세트가 테스트 분포의 구조적 축을 얼마나 잘 커버하느냐에 달려 있다는 점을 언급하며 한계를 인정했습니다. 또한, 현재 프레임워크가 라우터 자체를 타겟팅하는 적응형 공격자(adaptive attackers)를 방어하지는 못한다는 점도 명시했습니다.