Beyond Pattern Matching: Seven Cross-Domain Techniques for Prompt Injection Detection

1. 문제 정의 (Problem Statement)

현재 오픈소스 프롬프트 인젝션 (Prompt Injection) 탐지 솔루션은 크게 두 가지 아키텍처에 의존하고 있습니다:

1. 정규식 (Regular Expression) 패턴 매칭: 알려진 공격 패턴에 기반하지만, 문법적 변형이나 동의어 치환 (Paraphrasing) 공격을 놓칩니다.
2. 파인튜닝된 트랜스포머 분류기 (Fine-tuned Transformer Classifiers): 의미론적 이해가 가능하지만, 적응형 적대적 공격 (Adaptive Adversarial Attacks) 에 취약합니다. 최근 연구 (NAACL 2025 등) 에 따르면, 지식 기반 공격자가 방어 메커니즘을 학습하면 기존 방어 기법들의 50% 이상을 우회할 수 있습니다.

이러한 한계로 인해 현재 접근 방식은 적응형 공격자에 대해 체감 수익이 감소하고 있으며, LLM 보안을 위한 새로운 차원의 탐지 신호가 필요합니다.

2. 방법론 (Methodology)

저자는 LLM 보안과 직접적인 관련이 없는 7 개의 다른 학문 분야에서 영감을 받아, 정규식이나 분류기와는 아키텍처적으로 독립적인 7 가지 탐지 기법을 제안합니다. 이는 기존 방어 체계와 대체 (Replace) 하는 것이 아니라 보완 (Compose) 하는 것을 목표로 합니다.

제안된 7 가지 교차 도메인 기법:

1. 스타일메트릭 불연속성 탐지 (Stylometric Discontinuity, Forensic Linguistics):
   • 원리: 문서 내 저자 스타일의 변화를 감지합니다. 합법적인 작성자와 공격자의 어조, 문장 길이, 기능어 분포 등을 분석하여 스타일 불일치를 탐지합니다.
   • 구현: 50 토큰 윈도우 단위로 9 가지 특징 (기능어 빈도, 문장 길이, 대문자 비율 등) 을 추출하고, 인접 윈도우 간의 Jensen-Shannon 발산을 계산합니다.
2. 적대적 피로 추적 (Adversarial Fatigue Tracking, Materials Science/Epidemiology):
   • 원리: 구조 공학의 '피로 파괴' 개념을 차용합니다. 단일 입력은 탐지 임계값 아래일지라도, 특정 소스에서 임계값 근처의 스캔을 반복적으로 수행하는 경우 (프로빙 캠페인) 를 감지합니다.
   • 구현: 지수 가중 이동 평균 (EWMA) 을 사용하여 소스별 '근접 실패 (Near-miss)' 횟수를 추적하고, 임계값을 동적으로 하향 조정하여 경화 (Hardening) 상태를 유도합니다.
3. 허니팟 도구 정의 (Honeypot Tool Definitions, Network Security):
   • 원리: 네트워크 보안의 허니팟 개념을 에이전트 도구 호출 계층에 적용합니다. get_admin_access, dump_database 등 합법적인 호출 경로가 없는 '카나리 도구'를 정의하여, 이를 호출하는 경우를 100% 정확도로 인젝션으로 간주합니다.
4. 의미론적 치환 행렬을 사용한 로컬 시퀀스 정렬 (Local Sequence Alignment, Bioinformatics):
   • 원리: 생물의학의 Smith-Waterman 알고리즘과 BLOSUM 행렬을 차용합니다. 공격 문장과 그 변형 (동의어 치환, 삽입, 삭제) 간의 구조적 유사성을 의미론적 가중치를 주어 정렬합니다.
5. 예측 시장 앙상블 스코어링 (Prediction-Market Ensemble Scoring, Economics):
   • 원리: 예측 시장 메커니즘을 통해 여러 탐지기의 신뢰도 (역사적 정확도) 에 따라 가중치를 부여하고, 단일 신뢰도 기반의 앙상블 방식을 개선합니다.
6. 퍼플렉시티 스펙트럼 분석 (Perplexity Spectral Analysis, Signal Processing):
   • 원리: 참조 언어 모델의 토큰별 퍼플렉시티 시퀀스를 푸리에 변환 (DFT) 하여, 정상 텍스트와 주입된 페이로드 사이의 고주파수 스파이크를 탐지합니다.
7. 에이전트 파이프라인을 위한 런타임 태인 트래킹 (Runtime Taint Tracking, Compiler Theory):
   • 원리: 컴파일러 보안의 태인 분석 (Taint Analysis) 을 적용합니다. 신뢰할 수 없는 소스 (사용자 입력, 도구 응답) 에서 유래한 데이터가 정제 (Sanitizer) 없이 민감한 싱크 (시스템 프롬프트, 관리자 도구) 로 흐르는지 추적합니다.

3. 주요 기여 (Key Contributions)

• 7 가지 교차 도메인 탐지 메커니즘 제안: 위와 같이 7 가지 새로운 기법을 수학적으로 정의하고 아키텍처적 독립성을 입증했습니다.
• 3 가지 구현 및 실증적 검증: prompt-shield 라이브러리 v0.4.1 에 다음 3 가지를 구현하여 오픈소스 (Apache 2.0) 로 공개했습니다.
  • d028: 로컬 시퀀스 정렬 (Local Sequence Alignment)
  • d027: 스타일메트릭 불연속성 (Stylometric Discontinuity)
  • Fatigue Tracker: 적대적 피로 추적
• 포괄적인 벤치마크 평가: 6 개의 데이터셋 (deepset, NotInject, LLMail-Inject, AgentHarm, AgentDojo, 합성 간접 인젝션 벤치마크) 에 대해 4 가지 구성 (Base, +d028, +d027, +Both) 으로 애블레이션 (Ablation) 연구를 수행했습니다.
• 투명한 한계점 명시: 각 기법의 단점 (예: NotInject 에서의 오탐지 증가, AgentHarm 에 대한 비효율성 등) 을 솔직하게 보고하고 향후 개선 방향을 제시했습니다.

4. 실험 결과 (Results)

prompt-shield v0.4.1 에 구현된 3 가지 기법의 주요 성과는 다음과 같습니다.

• 로컬 시퀀스 정렬 (d028):
  • deepset/prompt-injections 데이터셋에서 정규식 기반 베이스라인의 F1 점수가 0.033이었으나, 이 기법을 추가한 후 0.378로 34.6%p 향상되었습니다. (정확도 1.0 유지, 오탐지 0 건 추가).
  • NotInject 데이터셋에서는 오탐지율 (FPR) 이 0.9% 에서 3.8% 로 증가하는 트레이드오프가 발생했으나, 이는 향후 임계값 조정으로 해결 예정임을 명시했습니다.
• 스타일메트릭 불연속성 (d027):
  • 짧은 입력 (100 토큰 미만) 에는 설계상 작동하지 않으나, 합성 간접 인젝션 벤치마크 (긴 문서) 에서 F1 점수를 0.889에서 1.000으로 끌어올렸습니다.
  • d028 과의 조합은 서로 다른 공격 유형에 대해 상호 보완적인 역할을 했습니다.
• 적대적 피로 추적 (Fatigue Tracker):
  • 개별 샘플이 아닌 시계열 데이터에서 작동합니다. 통합 테스트에서 한 소스에서 10 회 연속으로 임계값 근처 (0.65) 의 스캔을 수행한 후, 11 번째 스캔 (0.63, 기존 임계값 0.7 미만) 이 차단되는 것을 확인했습니다. 이는 적응형 프로빙 공격을 효과적으로 방어함을 입증했습니다.
• 기타 데이터셋:
  • AgentHarm: 이 벤치마크는 인젝션 성공 여부가 아닌 에이전트 작업의 해악성을 측정하므로, 인젝션 탐지 특화 기법의 영향이 미미했습니다.
  • LLMail-Inject: 기존 정규식 팩이 이미 높은 성능을 보였으므로 향상 폭은 작았습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 프롬프트 인젝션 방어에 대한 패러다임 전환을 제안합니다.

1. 단일 축 방어에서 다중 신호 방어로의 전환: 적응형 공격자가 하나의 방어 메커니즘 (정규식 또는 분류기) 을 우회하는 것은 쉽지만, 서로 다른 학문적 기반 (생물학, 경제학, 역학 등) 에서 유래한 독립적인 7 가지 탐지 신호를 동시에 우회하는 것은 훨씬 어렵습니다.
2. 실용적 구현과 검증: 단순한 이론적 제안에 그치지 않고, 오픈소스 라이브러리에 3 가지 핵심 기법을 구현하고 공개 벤치마크에서 검증하여 즉시 적용 가능한 솔루션을 제시했습니다.
3. 미래 지향적 로드맵: 나머지 4 가지 기법 (허니팟, 예측 시장, 스펙트럼 분석, 태인 트래킹) 에 대한 설계 사양을 제시하고, 향후 적응형 공격 평가 및 인간 작성 데이터셋을 활용한 검증 계획을 수립했습니다.

결론적으로, 이 연구는 LLM 보안이 기존 패턴 매칭과 분류기를 넘어, **다학제적 접근법 (Cross-Domain Techniques)**을 통해 더 강력하고 적응적인 방어 체계를 구축할 수 있음을 실증적으로 보여줍니다.