기술 요약: 프롬프트 인젝션 탐지는 레짐 (Regime) 에 의존적이다

1. 문제 제기

대규모 언어 모델 (LLM) 이 생산 워크플로우에 빠르게 통합되면서 치명적인 취약점인 프롬프트 인젝션이 도입되었습니다. 기존 소프트웨어 취약점과 달리, 프롬프트 인젝션은 LLM 의 공유 컨텍스트 창을 악용하는데, 여기서 신뢰할 수 있는 지시와 신뢰할 수 없는 데이터 간의 구분이 모호해집니다. 이로 인해 적대적 입력이 시스템 프롬프트를 우회하거나, 역할을 재정의하거나, 도구 사용을 조작할 수 있게 됩니다.

기존 방어 접근법은 종종 모델 정렬과 외부 필터를 결합하는 '방어 심층화 (defense-in-depth)' 전략에 의존하지만, 현재 학술적 평가는 벤치마크 성능과 실제 세계 배포 사이의 간극으로 인해 빈번히 어려움을 겪습니다. 매크로-F1 또는 ROC-AUC 와 같은 표준 지표는 특히 합법적인 사용자 트래픽을 차단하지 않기 위해 극도로 낮은 오검출률 (False-Positive Rates, FPR) 을 유지해야 하는 운영상의 제약을 포착하지 못하는 경우가 많습니다. 또한, 많은 평가는 생산 환경에서 발견되는 분포 외 (Out-of-Distribution, OOD) 공격 레짐의 다양성을 반영하지 않는 분포 내 (In-Distribution, ID) 분할에 의존합니다.

본 논문은 프롬프트 인젝션 탐지가 정적 분류 문제가 아니라 레짐 의존적 (regime-dependent) 작업임을 주장합니다. 탐지기의 효과는 공격의 성격 (어휘적 vs 의미적 vs 구조적), 데이터의 분포, 그리고 구체적인 배포 제약 (예: 엄격한 FPR 임계값) 에 따라 크게 달라집니다.

2. 방법론

2.1. 실험 프레임워크

저자들은 단순한 집계 순위 성능이 아닌 현실적인 운영 제약 하에서 탐지기를 테스트하도록 설계된 배포 인식 평가 프레임워크를 개발했습니다.

• 데이터셋: 비교 가능성을 확보하고 연구자 편향을 줄이기 위해 공개 벤치마크를 활용했습니다.
  • 분포 내 (ID): AdvBench, JailbreakBench, Deepset 프롬프트 인젝션 데이터셋을 결합한 풀 (pool).
  • 분포 외 (OOD): 일반화를 테스트하기 위해 세 가지 고정된 레짐을 사용했습니다.
    1. 주요 OOD: 해로운 HarmBench + 무해한 Alpaca 를 결합하여 광범위한 의미적 변화를 테스트.
    2. 하드-네거티브 인젝션 OOD: 인젝션 r1char9 + 적대적으로 보이는 문구를 가진 무해한 프롬프트 NotInject 를 결합하여 과도한 방어 행동을 테스트.
    3. 표준 인젝션 OOD: 더 크고 균형 잡힌 인젝션 전용 평가를 위한 Qualifire 벤치마크.
• 재현성: 분할 의존성을 완화하기 위해 실험을 세 가지 재샘플링된 ID 분할 (A, B, C) 에서 수행했습니다.

2.2. 특징 군과 모델

본 연구는 네 가지 다른 신호 군을 비교합니다.

1. 어휘 모델: 명시적 공격 단서 (예: "지시 무시", "시스템 프롬프트") 에 대한 수동 제작 이진 플래그로 증강된 희소 TF-IDF 특징 (언igram/바이그램).
2. 의미 모델: 컨텍스트적 의미의 가치를 격리하기 위해 로지스틱 회귀 분류기에 전달된 고정된 SentenceTransformer 임베딩 (BAAI/bge-small-en-v1.5).
3. 트랜스포머 인코더: 고용량 컨텍스트 기준선으로 작동하는 파인튜닝된 RoBERTa-base 및 DeBERTa-base 모델.
4. 구조적 신호 (IBVS): 핵심 방법론적 기여는 **지시 경계 위반 점수 (Instruction Boundary Violation Score, IBVS)**입니다. 이는 프롬프트 인젝션을 구체적인 구조적 메커니즘으로 분해하는 해석 가능하고 규칙 기반의 프레임워크입니다.
   • 계층 우회: 이전 지시를 무시하거나 대체하려는 시도.
   • 시스템 스푸핑: system:, developer: 와 같은 특권 채널 모방.
   • 역할 재정의: "행동하다" 또는 "앞으로"와 같은 지시.
   • 회피: 인코딩, 은폐, 또는 필터 우회 시도.
   • 상호작용 규칙: 신호의 가중 조합 (예: 해로움 + 회피) 과 무해한 컨텍스트 (예: 교육적 토론) 에 대한 억제 규칙.
   • IBVS 는 스칼라 점수, 구성 요소 활성화의 구조화된 벡터, 그리고 고특이도 패턴을 위한 이진 '트립와이어 (tripwire)' 플래그를 출력합니다.

2.3. 하이브리드 아키텍처

본 연구는 구조적 신호가 강력한 신경 기준선에 보완적 가치를 제공하는지 확인하기 위해 하이브리드 접근법을 평가합니다.

• 후기 융합 (Late Fusion): 얕은 로지스틱 회귀 계층을 통해 고정된 트랜스포머 확률과 IBVS 특징을 결합.
• 선택적 예측 (Selective Prediction): 의미 점수에 기반한 불확실한 사례를 폴백 전문가로 라우팅하거나 구조적 증거로 재점수화.

2.4. 평가 지표

평가에서는 글로벌 순위보다 배포 효과성을 우선시합니다.

• 임계값 없음: ROC-AUC 및 AUC-PR.
• 임계값 적용 (배포): 임계값 선택을 위한 매크로-F1, 그리고 결정적으로 엄격한 낮은 FPR(1%, 5%, 10%) 에서의 True Positive Rate (TPR). 이는 작은 오검출률조차 방어를 무용지물로 만들 수 있는 운영 현실을 반영합니다.
• 외부 기준선: LLM Guard PromptInjection 스캐너를 오프더셸 (off-the-shelf) 참조로 평가했습니다.

3. 주요 결과

3.1. 레짐 의존성

어떤 단일 모델 군도 모든 설정에서 우세하지 않았습니다. '최고'의 탐지기는 평가 레짐에 따라 변경되었습니다.

• 분포 내 (ID): 파인튜닝된 트랜스포머 (RoBERTa, DeBERTa) 가 가장 높은 매크로-F1(~0.95) 을 달성했습니다.
• 주요 OOD (의미적 변화): DeBERTa 가 가장 높은 매크로-F1 을 달성했지만, RoBERTa + IBVS 후기 융합이 엄격한 낮은 FPR 운영 지점에서 더 우수한 민감도 (예: 1% FPR 에서 더 높은 TPR) 를 보여주었습니다.
• 하드-네거티브 인젝션 OOD: 놀랍게도 희소 TF-IDF 기준선이 매크로-F1 에서 의미 및 트랜스포머 모델을 능가했습니다. 이는 진단적 어휘적 규칙성이 매우 높은 레짐에서는 단순한 표면 단서만으로도 충분하며, 복잡한 모델이 무해한 '유사' 프롬프트에 대해 과도한 방어성이나 불량한 보정을 겪을 수 있음을 시사합니다.
• 표준 인젝션 OOD: 의미 기반 하이브리드가 매크로-F1 에서 가장 잘 수행되었지만, 엄격한 낮은 FPR 제약 하에서는 그 이점이 감소했습니다.

3.2. 순위와 배포 간의 간극

일관된 발견은 높은 순위 지표 (ROC-AUC) 가 배포 유용성으로 reliably 전환되지 않는다는 것이었습니다. 집계 지표에서 잘 수행된 몇몇 모델은 엄격한 FPR 임계값에서 붕괴되었습니다 (예: 하드-네거티브 레짐에서 일부 의미 하이브리드의 TPR@1% FPR 이 거의 0 으로 하락). 이는 **보정 (calibration)**이 중요한 병목 현상임을 나타냅니다. 모델은 올바른 결정 경계를 학습할 수 있지만, 보수적인 운영 임계값과 정렬되지 않은 확률을 할당할 수 있습니다.

3.3. 구조적 신호 (IBVS) 의 기여

IBVS 는 특정 시나리오에서 작지만 일관된 향상을 제공했습니다.

• 강력한 인코더와 짝을 이룰 때 낮은 FPR 행동을 개선했습니다 (예: 주요 OOD 레짐에서 1% FPR 에서 RoBERTa + IBVS 가 단독 RoBERTa 를 능가함).
• 해석 가능성을 제공하여 운영자가 프롬프트가 왜 플래그되었는지 (예: 특정 계층 우회 또는 시스템 스푸핑 규칙) 볼 수 있게 했습니다.
• 그러나 IBVS 는 어휘 기준선을 보편적으로 능가하지는 않았습니다. 표면 어휘적 단서가 이미 매우 진단적인 하드-네거티브 레짐에서는 구조적 추상화를 추가하는 것이 보완적 예측 가치를 거의 제공하지 않았습니다.

3.4. 외부 기준선 성능

외부 LLM Guard 기준선도 동일한 레짐 의존성을 보여주었습니다. 표준 인젝션 벤치마크에서는 경쟁력 있는 성능을 보였으나, 주요 OOD 및 하드-네거티브 레짐에서는 크게 저하되어 레짐 의존성이 커스텀 및 오프더셸 방어 모두에 영향을 미치는 체계적 문제임을 확인시켰습니다.

4. 중요성과 주장

본 논문은 프롬프트 인젝션 탐지가 본질적으로 레짐 의존적이며 벤치마크 성능뿐만 아니라 배포 컨텍스트에 대해 평가되어야 한다고 주장합니다.

• 문제 재정의: 저자들은 탐지기 선택이 운영 컨텍스트 (공격 레짐, 오검출 예산, 개입 모드) 와 분리될 수 없다고 주장합니다. 한 레짐 (예: 광범위한 저일브레이크) 에 최적화된 모델은 다른 레짐 (예: 검색된 문서를 통한 인젝션) 에서 실패할 수 있습니다.
• 병목으로서의 보정: 본 연구는 강력한 순위 성능이 신뢰할 수 있는 배포 행동을 보장하지 않는다고 강조합니다. 학습된 표현과 배포 가능한 점수 (보정) 사이의 불일치는 집계 지표 대신 종종 간과되는 결정적 요소입니다.
• 구조적 신호의 역할: IBVS 와 같은 구조적 신호는 보편적 성능 향상 도구가 아니라 해석 가능하고 표적화된 증강으로 작용합니다. 공격이 명시적으로 지시 경계 (계층, 역할, 시스템 컨텍스트) 를 조작할 때 가장 가치가 있으며, 학습된 의미 표현을 대체하기보다 포렌식 투명성을 제공합니다.
• 평가 표준: 본 논문은 실제 세계 방어 효과를 정확하게 평가하기 위해 글로벌 매크로-F1 점수보다 **슬라이스 수준 분석 (예: 짧은 프롬프트, 트리거가 많은 무해한 입력)**과 낮은 FPR 운영 지점을 강조하는 평가 표준의 변화를 옹호합니다.

결론적으로, 이 연구는 '만능' 탐지기는 없음을 보여줍니다. 효과적인 방어를 위해서는 배포 환경의 특정 공격 레짐과 운영 제약에 맞춘 다중 신호 접근법이 필요합니다.