기술 요약: MIPIAD – 다국어 간접 프롬프트 인젝션 공격 방어

문제 정의

간접 프롬프트 인젝션은 검색 증강 생성 (RAG) 및 도구 활용 대규모 언어 모델 (LLM) 시스템에서 치명적인 취약점을 나타냅니다. 사용자 쿼리에 악성 지시가 삽입되는 직접 인젝션과 달리, 간접 인젝션은 검색된 문서, 이메일, 표, 또는 코드 내에 지시를 숨깁니다. 이 위협은 시스템이 혼합된 언어, 도메인, 포맷 스타일을 처리해야 하는 다국어 환경에서 더욱 심화됩니다. 기존 방어책은 종종 언어 간 일반화에 실패하거나 현실적이고 대규모인 다국어 벤치마크에 대한 평가가 부족합니다. 본 연구가 다루는 구체적인 과제는 특히 방글라어와 같은 저자원 언어에서 보안 시그니처의 교차 언어 전이가 잘 이해되지 않는 상황에서, 이러한 삽입된 지시가 피해 LLM 에 도달하기 전에 이를 탐지하는 것입니다.

방법론

저자들은 영어와 방글라어로 평가된 포괄적인 방어 프레임워크인 MIPIAD(다국어 간접 프롬프트 인젝션 공격 방어) 를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 벤치마크 구축 (MIPIAD 데이터셋)

다국어 데이터의 부재를 해결하기 위해, 저자들은 143 만 개의 샘플을 포함하는 대규모 합성 벤치마크를 구축했습니다.

• 출처: 템플릿은 BIPIA 벤치마크 (Yi et al., 2023) 에서 파생되었습니다.
• 번역: 메타의 NLLB-200 을 사용하여 공격 템플릿과 작업 맥락을 영어에서 방글라어로 번역했습니다.
• 작업 계열: 데이터셋은 이메일, 표, QA, 초록, 코드 등 다섯 가지 작업 유형을 포괄합니다.
• 주입 전략: 공격 텍스트는 맥락의 시작, 중간, 또는 끝에 주입되었습니다.
• 데이터 무결성: 누출을 방지하기 위해 훈련 세트와 테스트 세트를 맥락 수준에서 분할하여 두 세트 간에 공격 범주와 변형이 상호 배타적이도록 보장했습니다.

2. 탐지 아키텍처

방어의 핵심은 신경 신호와 어휘 신호를 결합한 하이브리드 접근법입니다:

• XLPID(교차 언어 프롬프트 인젝션 탐지기): 고정된 Qwen2.5-1.5B 백본을 기반으로 구축된 시퀀스 분류기입니다. 효율적인 파인튜닝을 위해 LoRA(저랭크 적응) 를 사용하여 $q\_proj$ 및 $v\_proj$ 레이어를 대상으로 랭크 16 과 $\alpha=32$로 적용합니다.
• 어휘 베이스라인: TF-IDF 기능 (상위 10,000 개의 n-그램, 크기 1~3) 을 사용하여 전통적인 머신러닝 모델 (서포트 벡터 머신 (SVM) 및 로지스틱 회귀 (LR) 결합) 을 활용합니다.
• 메타 앙상블: 이 프레임워크는 다음을 통해 이러한 스트림을 통합합니다:
  • 하이브리드 레이트 퓨전: 그리드 검색 ($\alpha \in [0, 1]$) 을 통해 최적화된 XLPID 확률 ($p_t$) 과 TF-IDF 확률 ($p_l$) 의 가중 조합.
  • 스태킹 및 부스팅: 기본 모델 확률을 처리하는 로지스틱 회귀 스태킹 및 그래디언트 부스팅 트리.

3. 평가 파이프라인

평가 과정은 네 단계로 진행됩니다:

1. 방어 분류: MIPIAD 분류기가 입력을 스캔합니다. 악성일 경우 보안 알림이 선행됩니다.
2. 피해자 실행: 프롬프트가 피해 LLM 들 (Qwen, Gemma, BanglaLLaMA 변형 포함 7 개 모델 테스트) 에 입력됩니다.
3. 심사: 판사 LLM 앙상블이 공격 성공률 (ASR) 과 유용성에 대해 응답을 평가합니다.
4. 지표 집계: 최종 지표에는 ASR, 순기능 유용성 (BU), 공격 하 유용성 (UA), 그리고 영어와 방글라어 간의 성능 격차를 측정하는 **교차 언어 균등성 (CLP)**이 포함됩니다.

주요 기여

본 논문은 네 가지 구체적인 기여를 제시합니다:

1. 통합 다국어 파이프라인: 영어와 방글라어에 걸쳐 다섯 가지 고유한 작업 계열을 포괄하는 간접 프롬프트 인젝션을 위한 143 만 개 샘플 데이터셋을 생성하는 데이터 생성 파이프라인.
2. XLPID: 견고한 LLM 백본에서 파라미터 효율적인 LoRA 파인튜닝을 활용하는 교차 언어 탐지기.
3. 메타 앙상블 전략: 레이트 퓨전 및 부스팅을 통해 명시적인 TF-IDF 어휘 사전 지식을 트랜스포머 기반 확률과 통합하는 새로운 방식.
4. 실증적 검증: 하이브리드화가 고립된 신경 모델보다 우수하며, 2.7 포인트 F1 향상(0.9205 대 0.8939) 을 달성하고 교차 언어 성능 격차를 유의미하게 줄였음을 입증.

결과

실험은 몇 가지 중요한 발견을 도출했습니다:

• 어휘 경쟁력: 놀랍게도 어휘 신호만으로도 강력했습니다. TF-IDF + SVM 은 0.77의 F1 을 달성하여 합성 템플릿에 탐지 가능한 어휘적 인공물이 포함되어 있음을 시사합니다.
• 하이브리드 우위: 하이브리드 (XLPID + TF-IDF) 앙상블은 0.9205의 최고 전체 F1 점수를 달성하여 독립적인 XLPID(0.8939) 를 능가했습니다. 부스팅 앙상블은 최고 AUROC(0.9378) 를 달성했습니다.
• 교차 언어 강건성: 독립적인 신경 모델 (XLPID) 은 영어와 방글라어 간 더 넓은 성능 격차 (CLP = 0.9322) 를 보였습니다. 앙상블 방법은 이 격차를 좁혔으며 (CLP $\approx$ 0.9479), 다국어 인코더는 거의 균등한 수준 (CLP > 0.99) 을 달성했습니다.
• 하류 영향: 7 개의 피해 LLM 에 적용된 방어는 두 언어의 모든 모델에 대해 공격 성공률 (ASR) 을 감소시켰습니다.
  • 가장 큰 감소: Qwen3.5-9B(영어에서 ASR 0.30 감소) 와 BanglaLLaMA-3-8B 에서 관찰되었습니다.
  • 유용성 보존: 순기능 유용성 (BU) 은 안정적으로 유지되었습니다 ($\pm 0.05$ 이내), 이는 방어가 합법적인 작업 성능을 크게 저하시키지 않음을 나타냅니다.
• 취약성 분석: 방어는 맬웨어 배포 및 치환 암호에 가장 효과적이었으나, 이모지 치환 및 암호화폐 채굴 공격에는 어려움을 겪었으며, 이들은 가장 지속적인 취약점으로 남았습니다.

중요성 및 한계

중요성:
본 논문은 MIPIAD 가 교차 언어 간접 인젝션 방어를 위한 최초의 엔드 투 엔드 피해자 평가를 제공한다고 주장합니다. 이는 신경 및 어휘 신호의 하이브리드화가 보안을 위한 우월한 전략임을 보여주며, 저빈도 패턴에서의 신경적 맹점을 효과적으로 수정하면서도 높은 유용성을 유지합니다. 이 프레임워크는 확장성 있도록 설계되어 NLLB-200 을 통해 200 개 이상의 언어를 지원하며 아키텍처 변경 없이 적응형 백본을 지원합니다.

겸손한 주장 및 한계:
저자들은 명시적으로 몇 가지 제약을 인정합니다:

• 합성 분포: 데이터셋은 BIPIA 템플릿에서 파생되었습니다. 이 벤치마크에서의 높은 성능은 적응적 재표현이나 새로운 인코딩 트릭을 포함하는 실제 세계의 적대적 공격으로 완전히 전환되지 않을 수 있습니다.
• 클래스 불균형: 테스트 세트는 10:1 의 공격 대 순기능 비율을 사용하지만, 실제 트래픽은 225:1 또는 그 이상일 수 있습니다. 자연 분포 하에서는 1% 의 오탐지율조차도 합법적 쿼리의 대부분을 플래그할 수 있으므로 정밀도가 중요합니다.
• 번역 인공물: 방글라어 샘플은 기계 번역되었습니다. 저자들은 MT 출력이 인간이 작성한 공격보다 주입 지시를 덜 충실하게 보존하거나 분류기 성능을 과장하는 어휘적 인공물을 도입할 수 있다고 지적합니다.
• 언어 범위: 아키텍처는 200 개 이상의 언어를 지원하지만, 실증적 검증은 현재 영어와 방글라어로만 엄격하게 제한되어 있습니다.

결론적으로, MIPIAD 는 다국어 간접 프롬프트 인젝션 방어를 위한 견고한 기준을 확립하며, 효율적인 신경 파인튜닝과 전통적인 어휘 기능을 결합하는 것이 다양한 언어 환경에서 RAG 및 에이전트 시스템을 보호하는 실용적이고 효과적인 길임을 입증합니다.