기술 요약: 확신에 찬 오답: 공격 변화(Attack Shift) 상황에서 프롬프트 주입 탐지기의 심각도 인지적 보정(Severity-Aware Calibration)

1. 문제 정의

프롬프트 주입 탐지기(가드 모델)는 신뢰할 수 없는 입력을 점수화하고, 해당 입력을 신뢰할지 차단할지를 결정하기 위해 배포됩니다. 이 파이프라인의 핵심 가정은 탐지기가 **보정(calibrated)**되어 있다는 것입니다. 즉, 낮은 공격 확률 점수는 실제로 공격 가능성이 낮음을 의미해야 합니다.

본 논문은 표준 지표들이 놓치는 특정 실패 모드를 식별합니다: **확신에 찬 거짓 음성(high-confidence false negatives)**입니다. 이는 탐지기가 실제 공격을 매우 낮은 확률 점수로, 거의 확실하게 안전하다고 판정할 때 발생합니다. 다운스트림 시스템은 낮은 점수를 안전성에 대한 강력한 증거로 해석하기 때문에, 이러한 "확신에 찬 실수"는 불확실한 실수보다 더 위험합니다. 왜냐로 인해 이들은 무조건적으로 신뢰되기 때문입니다.

핵심 문제는 **분포 변화(distribution shift)**입니다. 탐지기는 일반적으로 깨끗한 인-디스트리뷰션(in-distribution) 벤치마크(예: 단독 프롬프트)에서 보정됩니다. 그러나 배포 시, 공격은 간접적인 형태(문서 내 삽입)나 새로운 스타일(행동 하이재킹)으로 변화합니다. 본 논문은 운영 임계값(threshold)이 고정된 상태에서, 공격 분포가 소스 벤치마크로부터 멀어질 때 이러한 탐지기들의 신뢰도가 여전히 유효한지 조사합니다.

2. 방법론

2.1 실험 설정

본 연구는 재학습 없이 세 가지 공개된 탐지기를 평가합니다:

1. ProtectAI-v2: DeBERTa-v3-base 시퀀스 분류기.
2. Prompt-Guard-2 (86M): Llama 기반 체크포인트.
3. Prompt-Guard-2 (22M): 더 작은 규모의 Llama 기반 체크포인트 (파라미터 4배 적음).

2.2 고정 임계값 전송 프로토콜 (Frozen-Threshold Transport Protocol)

분포 변화의 효과를 격리하기 위해, 저자들은 고정 임계값 전송 프로토콜을 사용합니다:

• 보정(Calibration): 각 탐지기에 대해 깨끗한 직접(direct) 벤치마크(deepset/prompt-injections)에서 1%의 거짓 양성률(false-positive rate)을 목표로 하는 단일 운영 지점(임계값 $t$)을 설정합니다.
• 전송(Transport): 이 임계값은 고정되며, 다섯 가지 서로 다른 분포 변화에 대해 변경 없이 적용됩니다:
  1. Direct: 인-디스트리뷰션 베이스라인.
  2. Indirect-Harmful: 문서에 삽입된 사기, 부정직, 허위 정보.
  3. Indirect-Hijack: 유해한 내용은 없으나 모델의 행동을 덮어쓰는 문서 내 지시사항 (예: 인코딩, 번역 등).
  4. Jailbreak: 단독 역할 수행/탈옥 프롬프트 (인-디스트리뷰션 근처의 스트레스 테스트).
  5. Over-defense: 트리거 단어를 포함한 양질의 프롬프트.

2.3 지표 계열

본 논문은 표준 지표와 함께 새로운 지표인 **심각도(Severity, $S$)**를 도입합니다:

• 거짓 음성율 (False-Negative Rate, FNR): 표준적인 정확도 관점.
• 심각도 ($S$): 놓친(missed) 공격들에 대한 $(1 - p)$의 평균값. $S \approx 1.0$은 탐지기가 놓친 공격이 안전하다고 거의 확신하고 있음을 나타냅니다. 이 지표는 **공격 조건부(attack-conditional)**이며 양질의 베이스 레이트(benign base rates)에 불변합니다.
• 공격 조건부 보정 오차 (Attack-Conditional Calibration Error, $ECE_{atk}$): 실제 공격에 대해서만 제한된 기대 보정 오차.
• 풀링된 보정 오차 (Pooled Calibration Error, $ECE_{pooled}$): 공격과 양질의 입력을 모두 포함하여 계산되는 표준 지표.

2.4 검증 및 메커니즘 실험

• 다운스트림 검증: 놓친 주입(injection)들을 실제 타겟 모델(Qwen2.5-7B/3B)에 실행하여, 이것이 실제로 취약점(exploit)으로서 성공하는지 확인합니다.
• 구조 vs 내용 실험: 페이로드(유해함 vs 양질-하이잭)와 구조(단독 vs 삽입)를 변화시키는 통제된 2x2 실험을 통해, 탐지기가 내용에 반응하는지 아니면 주입 구조에 반응하는지 결정합니다.
• 생성형 판단자 (Generative Judge): 주입을 탐지하도록 프롬프트된 LLM (Qwen2.5-7B)을 테스트하여, 결과가 인코더 분류기를 넘어 일반화될 수 있는지 확인합니다.
• 적대적 공격 (Adversarial Attack): 블랙박스 재작성기(rewriter)를 사용하여 실제 주입을 무해한 산문으로 바꾸어, 탐지기가 안전하다고 확신하게 만드는(심각도 극대화) 실험을 수행합니다.

3. 주요 결과

3.1 "확신에 찬 오답" 현상

모든 탐지기와 변화 상황에서, 심각도($S$)는 탐지기가 공격을 놓쳤을 때 0.99에서 1.00 사이를 유지합니다.

• FNR은 변화 상황과 탐지기에 따라 크게 변하지만 (0.01에서 0.97까지), 놓친 공격의 확신도는 변하지 않습니다.
• 이러한 탐지기들은 실패할 때 거의 확실하게 실패하며, 다운스트림 시스템에 "안전하다"는 판정을 내립니다.

3.2 사각지대: 간접 행동 하이재킹 (Indirect Behavior Hijacking)

세 가지 탐지기 모두(생성형 판단자 포함) 간접 행동 하이재킹 주입(예: 베이스 인코딩, 이모지 치환, 번역 오버라이드)에 대해 일치된 사각지대를 보입니다.

• 이 카테고리에 대한 FNR은 0.69에서 0.97 사이입니다.
• 심각도는 1.0 근처를 유지합니다.
• 이는 구조적 문제입니다: 페이로드 자체가 의미론적으로 "유해"하지 않다면, 탐지기는 양질의 문서에 삽입된 지시사항을 인식하지 못합니다.

3.3 표준 보정 지표의 실패

본 논문은 풀링된 보정 오차($ECE_{pooled}$)가 이러한 위험을 제한하지 못함을 보여줍니다.

• 명제: 양질의 베이스 레이트가 증가함에 따라, 확신에 찬 거짓 음성들은 풀링된 오차 계산 시 양질 데이터가 지배하는 빈(bin)으로 희석됩니다.
• 증거: 유해한 간접 주입에 대한 Prompt-Guard-2 (86M)의 경우, 풀링된 오차는 0.062(잘 보정된 것처럼 보임)이지만, 공격 조건부 오차는 0.907(심각하게 미보정됨)입니다. 풀링된 지표는 놓친 공격의 구체적인 위험을 평균화하여 지워버립니다.

3.4 메커니즘: 내용 중심의 키잉 (Content-Keying, Not Structure)

통제된 실험 결과, 탐지기들은 주입의 구조적 사실보다는 **유해한 표면 내용(harmful surface content)**에 반응합니다.

• ProtectAI-v2: 양질의 하이잭 지시사항이 일관된 문서에 삽입되면 점수가 급격히 떨어집니다 (~0.52에서 ~0.07). 이는 양질의 문맥이 공격을 "세탁(laundering)"함을 시사합니다.
• Prompt-Guard-2: 삽입 여부와 상관없이 점수가 0에 가깝게 유지되며, 이는 이 모델이 양질의 페이로드에 대해 완전히 눈이 멀었음을 나타냅려.
• 생성형 판단자: 동일한 사각지대(하이잭에 대한 FNR 0.805)와 심각도(1.0)를 공유하며, 이는 문제가 인코더 아키텍처에 국한된 것이 아님을 증명합니다. 다만, 이 판단자는 내용이 안전하다고 말해주는 "메타 지시"에는 취약한 반면, 인코더는 그렇지 않습니다.

3.5 다운스트림 취약성 (Downstream Exploitability)

• 실제 취약점: 확신에 차게 놓친 주입들은 이론적인 것이 아닙니다. 이들은 실제 모델에 대해 탐지기가 잡아내는 공격과 유사한 비율(약 40% 성공률)로 성공합니다.
• 제조된 미스 (Manufactured Misses): 약한 블랙박스 재작성기를 사용하면 실제 주입을 무해한 산문으로 바꿀 수 있습니다. 이를 통해 탐지기의 미스율을 1.0에 가깝게 높이고, "제조된 확신에 찬 미스율"(확신 있게 통과되었으나 다운스트림에서 성공한 공격)을 약 **15-17%**까지 높일 수 있으며, 가장 위험한 카테고리(이모지 치환, ~69%)에서 가장 높은 성공률을 보였습니다.

3.6 임계값 전송 실패

타겟 분포의 양질 데이터를 기준으로 임계값을 재조정하는 것("오라클" 임계값)은 간접 변화에 대해 문제를 해결하지 못합니다.

• 간접 변화의 경우, 양질의 문서 자체가 높은 점수를 받기 때문에, 낮은 거짓 양성률을 유지하려면 임계값을 상한선까지 올려야 합니다.
• 결과적으로, 오라클 임계값을 사용하더라도 일부 탐지기의 FNR은 0.98–0.99에 달합니다. 이는 단순한 보정 실패가 아니라 **판별 실패(discrimination failure, 점수 분포의 중첩)**임을 나타냅니다.

4. 기여 및 주장

본 논문은 다음과 같은 6가지 구체적인 기여를 주장합니다:

1. 심각도 지표 ($S$): 양질의 베이스 레이트에 불변하며, 놓친 공격의 확신도를 측정하는 보안 비대칭적, 공격 조건부 지표.
2. 고정 임계값 전송 패널: 하나의 운영 지점을 고정하고 5가지 변화 상황에 대해 부트스트랩 신뢰 구간을 사용하여 성능을 측정하는 엄격한 평가 프اق워크.
3. 풀링된 오차에 관한 명제: 베이스 레이트가 떨어짐에 따라 확신에 찬 거짓 음성이 희석되기 때문에 표준 풀링 보정 오차가 위험을 제한할 수 없다는 공식적 증명.
4. 다운스트림 검증: 확신에 차게 놓친 주입들이 실제 모델에 대해 작동하는 취약점임을 입증하는 경험적 증거.
5. 메커니즘 식별: 탐지기가 페이로드의 유해성보다는 내용에 반응함을 보여주는 통제된 실험을 통해 사각지대의 원인을 규명.
6. 적대적 시연: 내용 중심의 키잉을 악용하여 심각도를 극대화하는 블랙박스 적대적 공격 시연.

5. 의의 및 한계

의의:
본 논문은 공격 분포가 변화할 때 가드 점수의 크기를 안전성에 대한 보정된 확신도로 읽어서는 안 된다고 주장합니다. 주요 위험은 탐지기가 공격을 놓치는 것뿐만 아니라, 확신을 가지고 놓침으로써 다운스트림 시스템이 작동하는 취약점을 신뢰하게 만드는 것입니다. 표준 관행인 정확도나 풀링된 보정 오차만을 보고하는 것은 이러한 고위험 실패 모드를 은폐합니다.

제한적 주장:

• 저자들은 가드 모델의 보정을 처음으로 연구하거나 풀링된 오차가 위험을 제한하지 못한다는 점을 처음 발견했다고 주장하는 것이 아닙니다.
• 저자들은 이를 명제로서 공식화하고, 고정 임계값 전송 패널을 통해 심각도 관점에서 적용하며, 다운스트림에서 취약점을 검증하고, 구조적 메커니즘(내용 키잉)을 식별하며, 심각도 극대화 적대자를 시연한 첫 사례라고 주장합니다.
• 본 연구는 발표된 그대로의 체크포인트를 사용한 것에 국한되며, 해당 모델들이 도달할 수 있는 최선의 성능을 설명하려는 것이 아닙니다.
• "제조된 미스" 공격은 약한 고정 재작성기를 사용하며, 보고된 수치는 달성 가능한 하한선입니다.

결론:
본 논문은 이 간극을 메우기 위해 더 큰 모델 이상의 것이 필요하다고 결론짓습니다. 이는 구조적 주입을 페이로드의 유해성과 독립적으로 학습하는 신호와, 풀링된 오차가 아닌 확신에 찬 거짓 음성을 처벌하는 보정 목표가 필요함을 의미합니다. 그때까지 탐지기는 배포 전 확신에 찬 실패를 가시화하기 위해 심각도와 공격 조건부 보정 지표로 평가되어야 합니다.