A Multi-Agent Framework for Explainable Prompt Injection Detection in Large Language Models

기술 요약: 대규모 언어 모델을 위한 설명 가능한 프롬프트 인젝션 탐지를 위한 멀티 에이전트 프레임워크

문제 정의
대규모 언어 모델(LLM)은 대화형 에이전트, 의사 결정 지원 시스템, 소프트웨어 개발의 필수적인 요소가 되었습니다. 그러나 이들의 광범위한 배포는 심각한 보안 취약점, 특히 프롬프트 인젝션 공격을 야기했습니다. 이러한 공격에서 악의적인 행위자들은 시스템 지침을 무시하고, 안전 조치를 우회하며, 기밀 정보를 유출하거나 해로운 콘텐츠 생성을 강제하기 위해 특정한 입력을 정교하게 설계합니다.

기존의 방어 메커니즘은 주로 규칙 기반 필터링, 키워드 매칭 및 전통적인 머신러닝에 의존합니다. 본 논문은 현재의 접근 방식에서 세 가지 결정적인 한계를 식별합니다:

1. 적응성 부족: 정적인 규칙 기반 시스템은 패러프레이징(paraphrasing), 의미론적 조작 또는 새로운 탈옥(jailbreak) 기법을 포함하는 고도화된 공격을 탐지하는 데 실패합니다.
2. 블랙박스 특성: 현대의 딥러닝 모델은 종종 해석 가능성이 결여되어 있어, 특정 프롬프트가 왜 차단되었는지에 대한 통찰을 제공하지 못하며, 이는 보안 감사와 사용자 신뢰를 저해합니다.
3. 일반화 능력 미흡: 현재의 솔루션들은 사전 정의된 범주에 부합하지 않는 미지의 공격이나 제로 데이(zero-day) 프롬프트 인젝션 공격을 탐지하는 데 어려움을 겪습니다.

방법론: PromptShield 프레임워크
이러한 격차를 해소하기 위해 저자들은 트랜스포머 기반의 의미 표현과 설명 가능한 인공지능(XAI)을 결합한 해석 가능한 프레임워크인 PromptShield를 제안합니다. 이 프레임워크는 다섯 가지 별도의 단계를 통해 작동합니다:

1. 데이터 전처리: 원시 프롬프트는 소문자 변환, 중복 기호 제거, 토큰화, 패딩/절단(최대 256 토큰)을 포함한 정규화 과정을 거치며, Benign(정상), Prompt Injection(프롬프트 인젝션), Jailbreak(탈옥), Role Manipulation(역할 조작), Information Extraction(정보 추출)의 다섯 가지 클래스로 레이블링됩니다.
2. 트랜스포머 기반 특징 추출: 프레임워크의 핵심은 입력 토큰을 벡터 표현으로 변환하기 위해 트랜스포머 인코더(BERT/RoBERTa 아키텍처와 유사)를 활용합니다. 셀프 어텐션(self-attention) 메커즘을 통해 모델은 단순히 고립된 키워드에 의존하는 것이 아니라, 프롬프트 내의 문맥적 관계와 의미적 의존성을 학습합니다.
3. 패턴 인식 및 분류: 전용 패턴 인식 모듈은 추출된 특징을 분석하여 지침 무시, 프롬프트 유출 시도, 탈옥 지표, 역할 상승과 같은 특정 적대적 패턴을 식별합니다. 그 후 완전 연결 신경망(fully connected neural network)이 학습된 표현을 바탕으로 프롬프를 분류합니다.
4. 스코어링 함수: 프레임워크는 각 입력에 대해 공격 패턴 점수, 문맥 조작 점수, 위험 점수의 가중치 합으로 정의되는 복합 보안 점수 $PS(x)$를 계산합니다.
5. 설명 가능성 모듈: 투명성을 보장하기 위해, 프레임워크는 전역적 특징 중요도를 위한 SHAP(SHapley Additive exPlanations)과 지역적 인스턴스 수준의 설명을 위한 LIME(Local Interpretable Model-agnostic Explanations)을 통합합니다. 이를 통해 보안 분석가는 어떤 특정 토큰(예: "Ignore", "Reveal", "System Prompt")이 악의적인 분류에 가장 크게 기여했는지 시각화할 수 있습니다.

주요 기여
본 논문은 다섯 가지 주요 기여를 명시합니다:

• 트랜스포머 기반 탐지: 프롬프트 인젝션 공격의 의미적 및 문맥적 뉘앙스를 포착하도록 특별히 설계된 패턴 인식 접근 방식의 개발.
• XAI 통합: SHAP과 LIME을 도입하여 탐지 과정을 블랙박스 운영에서 투명하고 감사가 가능한 의사 결정 프로세스로 전환.
• 광범한 공격 범위 커버리지: 탈옥, 역할 조작, 데이터 추출 시도를 포함한 알려진 공격 및 알려지지 않은 공격 벡터를 모두 탐지하는 능력.
• 포괄적인 벤치마킹: 전통적인 머신러닝(Logistic Regression, Random Forest, XGBoost) 및 딥러닝 베이스라인(LSTM, BERT, RoBERTa)에 대한 엄격한 평가.
• 통합 보안 프레임워크: 높은 탐지 정확도와 보안이 중요한 애플리케이션에서의 설명 가능성 필요성 사이의 간극을 메우는 실질적인 솔루션.

실험 결과
프레임워크는 공공 벤치마크(JailbreakBench, AdvBench, PromptInject)와 수동 생성 샘플에서 유래된 30,000개의 샘플 데이터셋을 통해 평가되었습니다. 결과는 PromptShield가 표준 분류 지표에서 모든 베이스라인 모델을 능가함을 보여줍니다:

• 정확도(Accuracy): PromptShield는 **98.1%**를 달성하여 RoBERTa(96.8%)와 BERT(96.2%)를 넘어섰습니다.
• 정밀도, 재현율 및 F1-스코어: 모델은 각각 97.9%, 97.6%, **97.7%**의 점수를 기록하였으며, 이는 낮은 오탐률(false positives)과 미탐률(false negatives)을 나타냅니다.
• ROC-AUC: 프레임워크는 0.99의 점수를 획득하여 정상 프롬프트와 악의적 프롬프트 간의 탁월한 판별 능력을 입증했습니다.
• 절제 연구(Ablation Study): 본 연구는 기본 트랜스포머 모델에 패턴 인식 계층과 XAI 구성 요소를 추가하는 것이 트랜스포머 단독 사용 시보다 성능을 유의미하게 향 향상시킨다는 것을 확인했습니다.

의의 및 주장
본 논문은 PromptShield가 탐지 정확도와 해석 가능성이라는 두 가지 과제를 해결함으로써 LLM 보안 분야에서 중요한 진전을 이루었다고 주장합니다. 공격 분류 체계나 정적 방어에만 집중했던 이전 연구들과 달리, 이 프레임워크는 다음과 같은 통합된 접근 방식을 제공합니다:

• 보안 분석가에게 실행 가능한 설명을 제공하여, 탐지 결정의 논리를 이해할 수 있도록 합니다.
• 지침 무시 및 역할 상승을 포함한 진화하는 적대적 전략에 대한 **강건성(robustness)**을 입증합니다.
• 의료 및 기업 시스템과 같이 보안이 중요한 도메인에 배포 가능한 확장 가능한 솔루션을 제공합니다.

저자들은 이 프레임워크가 유망한 결과를 보여주지만, 향후 연구는 다국어 프롬프트로의 탐지 확장, 실시간 파이프라인 개발, 그리고 개인정보 보호 중심의 탐지를 위한 연합 학습(federated learning) 조사에 집중할 것이라고 결론지었습니다.