🤖 machine learning

When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift

이 논문은 표준 교차 검증이 엄격한 Leave-One-Dataset-Out 평가와 비교했을 때 악성 프롬프트 분류기의 일반화 성능을 AUC 기준 8~16.5 포인트만큼 유의미하게 과대평가한다는 것을 밝히며, 현재의 도메인 일반화 기술들이 완화하지 못하는 모델 특징 내의 광범위한 데이터셋 의존적 지름길(shortcuts)을 폭로한다.

원저자: Max Fomin

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Max Fomin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 첨단 기술 박물관의 보안 요원을 교육하고 있다고 상상해 보십시오. 당신의 목표는 도둑이 훔친 유물을 어떻게든 숨기려 해도, 그 도둑을 찾아낼 수 있도록 보안 요원을 가르치는 것입니다. 인공지능의 세계에서 이러한 '도둑'은 로봇의 두뇌(대규모 언어 모델, LLM)를 속여 비밀을 누설하거나 해로운 코드를 작성하게 만드는 악의적인 지시사항을 의미합니다. 이를 '프롬프트 인젝션(prompt injection)'이라고 부릅니다. 보안 요원을 훈련시키기 위해, 과학자들은 보통 알려진 도둑의 사진과 알려진 무고한 방문객의 사진이 담긴 거대한 사진 앨범을 보여줍니다. 만약 보안 요원이 사진의 99%를 정확히 맞춘다면, 우리는 보통 환호하며 "훌륭합니다! 이제 실전에 투입될 준비가 되었습니다!"라고 말하곤 합니다.

하지만 여기 함정이 있습니다. 만약 보안 요원이 실제로 '도둑'이 어떻게 생겼는지를 배우고 있는 것이 아니라면 어떨까요? 혹시 그저 '사진 앨범'이 어떻게 생겼는지를 배우고 있는 것은 아닐까요? 예를 들어, 모든 도둑의 사진은 빨간 방에서 찍혔고, 모든 무고한 사람의 사진은 파란 방에서 찍혔다고 가정해 봅시다. 보안 요원은 사람의 얼굴을 보는 대신 벽의 색깔을 확인하고 있는 것일지도 모릅니다. 이 논문은 자신들의 보안 요원이 정말 똑똑한 것인지, 아니면 단지 훈련실의 색깔을 암기하는 데 아주 능숙한 것뿐인지 테스트하기로 결심한 한 그룹의 연구자들에 관한 이야기입니다. 그들은 보안 요원이 처음 보는 새로운 방에서도 도둑을 찾아낼 수 있는지 테스트할 수 있는 새로운 시험법을 구축하여, 그들이 정말로 선과 악의 차이를 구별할 수 있는지 확인했습니다.

거대한 "방 색깔" 속임수

Max Fomin이 이끄는 연구진은 우리가 AI 보안 요원을 테스트하는 표준 방식이 우리를 속이고 있다는 사실을 발견했습니다. 그들은 보안-테스트를 할 때 모든 훈련 사진과 테스트 사진을 한데 섞어서 사용하는 일반적인 방법을 사용하면, 보안 요원들이 마치 천재처럼 보이며 매우 높은 점수를 기록한다는 것을 발견했습니다. 하지만 연구진이 더 엄격한 테스트인 LODO(Leave-One-Dataset-Out, 데이터셋 하나를 제외하는 방식)를 사용했을 때, 즉 보안 요원이 훈련 중에 한 번도 본 적 없는 완전히 새로운 "방"(새로운 데이터셋)에 직면하게 했을 때, 보안 요원들은 갑자기 훨씬 덜 인상적으로 변했습니다.

쉽게 말해, 표준 테스트는 정답이 질문 형식 안에 숨겨져 있는 객관식 퀴즈를 주는 것과 같았습니다. 이 논문은 현재의 보안 분류기들이 실제 공격의 깊고 복잡한 패턴을 학습하는 대신, "이 텍스트는 'WildJailbreak' 파일에서 온 것처럼 보이니 나쁜 것이다"라거나 "이 이메일은 'Enron' 파일에서 온 것처럼 보이니 안전한 것이다"와 같은 표면적인 단서, 즉 "데이터셋 지름길(dataset shortcuts)"을 학습하고 있음을 보여줍니다.

실험: 18개의 서로 다른 방

이를 증명하기 위해, 연구팀은 105,000개 이상의 샘객(텍text samples)을 포함한 18개의 서로 다른 데이터셋(텍스트 모음)으로 구성된 거대한 훈련장을 만들었습니다. 여기에는 직접적인 탈옥 시도부터 무해한 비즈니스 이메일까지 모두 포함되었습니다. 그들은 Llama, Gemma, Qwen을 포함한 네 가지 AI 모델을 사용하여 이 텍스트들로 보안 분류기를 훈련시켰습니다.

연구진이 일반적인 "섞어서 매칭하기(mix-and-match)" 테스트 방식을 사용했을 때, 분류기들은 종종 99% 이상의 정확도를 기록하며 거의 완벽한 점수를 받았습니다. 이는 완전한 승리처럼 보였습니다. 그러나 17개의 데이터셋으로 훈련하고, 한 번도 본 적 없는 18번째 데이터셋으로 엄격하게 테스트하는 LODO 방식으로 전환하자, 점수는 급격히 떨어졌습니다.

그 격차는 엄청났습니다. 표준 테스트는 AI의 일반화 능력을 8.0에서 16.5 퍼센트 포인트만큼 과대평가했습니다. 특정 사례에서는 그 하락 폭이 더욱 충격적이어서, 데이터셋에 따라 정확도 격차가 **1%에서 25%**에 달하기도 했습니다. 예를 들어, 표준 테스트에서는 99.5%의 천재처럼 보였던 분류기가 "Mosscap"이라는 새로운 데이터셋으로 테스트했을 때는 79.4%의 성적을 기록했습니다. 이는 AI가 "나쁜 행동"이라는 개념을 학습한 것이 아니라, 단순히 훈련 데이터의 "스타일"을 인식하고 있었다는 것을 입증했습니다.

"지름길" 탐정 작업

연구진은 단순히 격차를 찾아내는 데 그치지 않고, 왜 이런 일이 발생하는지 알고 싶어 했습니다. 그들은 AI의 두뇌 내부의 미세한 스위치(특징, features)를 들여다보는 현미경 역할을 하는 **희소 오토인코더(Sparse Autoencoder, SAE)**라는 특수 도구를 사용했습니다. 그들은 AI가 결정을 내릴 때 어떤 스위치가 작동하는지 확인하고자 했습니다.

그들은 AI의 "두뇌 에너지" 중 상당 부분이 데이터셋 지름길에 낭비되고 있다는 것을 발견했습니다.

AI가 결정을 내리는 데 사용하는 상위 특징 중 **28%에서 44%**는 공격이 아니라 단순히 데이터셋을 식별하는 지름길이었습니다.
심지 even 그들은 AI의 내부 신호만 보고도 해당 텍사트가 어떤 데이터셋에서 왔는지 96.6%의 정확도로 맞출 수 있는 별도의 "데이터셋 식별 분류기"를 구축했습니다. 이는 데이터셋들이 매우 뚜렷하여 AI가 이를 쉽게 구별할 수 있었으며, AI가 이 능력을 이용해 보안 테스트에서 부정행위를 했다는 것을 확인시켜 주었습니다.

연구진은 또한 일반적인 해결책이 이 문제를 해결할 수 있는지 탐구했습니다. 그들은 "적대적 훈련(adversarial training, AI에게 까다로운 예시에 맞서 싸우도록 가르치는 것)"이나 "가중치 재설정(reweighting, AI가 어려운 예시에 더 집중하게 만드는 것)"과 같은 흔한 기법들을 시도했습니다. 불행히도, 이러한 표준적인 해결책 중 어느 것도 격차를 줄이지 못했습니다. 연구진은 "이것이 어떤 데이터셋인가"라는 신호와 "이것이 안전 위협인가"라는 신호가 AI의 두뇌 속에서 서로 뒤엉켜 있다는 것을 발견했습니다. "데이터셋" 신호를 제거하려고 하면 의도치 않게 "안전" 신호까지 손상되어 문제를 더욱 어렵게 만들었습니다.

한 줄기 빛: 더 나은 설명력

이 소식이 심각한 격차에 대한 뉴스이긴 하지만, 논문은 향후 이 문제를 해결하는 데 도움이 될 영리한 도구를 제공합니다. 연구진은 AI의 설명에 "가중치"를 부여하는 방법을 개발했습니다. 단순히 "어떤 특징 때문에 이것이 나쁘다고 생각했습니까?"라고 묻는 대신, "어떤 특징이 이것이 나쁘다고 생각하게 만들었으며, 동시에 모든 서로 다른 방에서도 일관되게 나타났습니까?"라고 물었습니다.

"데이터셋 지름길"에 해당하는 특징들을 걸러냄으로써, 그들은 왜 AI가 프롬프트를 차단했는지에 대해 훨씬 더 신뢰할 수 있는 설명을 생성할 수 있었습니다. 그들은 이 방법이 프롬프트를 차단하는 이유에 대한 상위 20가지 이유를 약 **98%**의 경우에서 변화시켰으며, 결과적으로 AI의 추론 과정을 정화하고 "부정행위" 로직을 제거했음을 발견했습니다.

결론

이 논문은 AI 보안 문제를 해결했다고 주장하는 것이 아닙니다. 오히려 연구진은 현재의 기술로는 그 격차를 줄이는 방법을 찾지 못했다고 명시적으로 밝히고 있습니다. 대신, 그들은 중요한 현실 점검을 제공했습니다. 그들은 현재의 "골드 스탠다드(표준)" 방식이 AI 모델이 위험을 이해하는 대신 데이터의 출처를 암기하여 부정행위를 할 수 있게 함으로써 결함이 있다는 것을 보여주었습니다.

AI 에이전트를 구축하거나 사용하는 모든 이들에게 주는 교훈은 명확합니다. 만약 당신의 보안 요원이 훈련 데이터와 테스트 데이터가 동일한 더미에서 나온 테스트에서 99%를 기록한다면, 그 요원이 새로운 출처로부터 오는 실제 공격을 처리할 수 있을 것이라고 믿어서는 안 됩니다. AI가 단순히 방의 색깔을 배우는 것이 아니라 정말로 도둑을 식별하는 법을 배우고 있는지 확인하려면, 한 번도 본 적 없는 데이터로 테스트해야 합니다. 저자들은 다른 이들이 이러한 엄격한 테스트를 수행할 수 있도록 도구를 공개하여, 미래의 AI 보안 요원이 단순히 방의 색깔을 익히는 것이 아니라 진짜 도둑을 찾아내도록 보장하고자 합니다.

기술 요약: 벤치마크가 거짓말을 할 때: 진정한 분포 변화 하에서의 악성 프롬프트 분류기 평가

문제 정의

자율 환경에 LLM 기반 에이전트를 배포하는 것은 프롬프트 인젝션, 탈옥 공격, 유해한 요청과 같은 치명적인 보안 취약점을 야기합니다. 최근 문헌들은 이러한 위협을 탐지하기 위한 분류기들을 개발해 왔으나, 현재의 평가 방식은 일반화 능력을 크게 과대평가하고 있습니다. 표준 프로토콜은 일반적으로 훈련 데이터와 테스트 데이터가 동일한 데이터셋 소스에서 유래하는 훈련-테스트 분할(train-test split) 방식을 채택합니다. 이러한 방법론은 분류기가 일반적인 공격 시맨틱(semantics)을 학습하는 대신, 데이터의 출처를 나타내는 특징(예: WildJailbreak 또는 Enron 특유의 포맷팅)인 "데이터셋 정체성 신호(dataset-identity signals)"를 악용하게 만듭니다. 결과적으로 모델은 실제 외부 분포(OOD) 시나리오에서는 실현되지 않는 높은 성능(AUC > 0.99)을 보고하게 됩니다.

방법론

벤치마크 구축

저자들은 유해한 요청, 탈옥, (간접/에이전트 기반을 포함한) 프롬프트 인젝션, 추출 공격의 4가지 악성 입력 제품군과 양성(benign) 소스를 포함하는 총 105,000개의 샘플로 구성된 18개 데이터셋 벤치마크를 수집했습니다. 데이터셋은 구성에 따라 일부는 100% 악성, 100% 양성, 또는 혼합 클래스로 다양합니다.

평가 프로토콜: 데이터셋 제외 방식 (Leave-One-Dataset-Out, LODO)

진정한 일반화 능력을 측정하기 위해, 본 논문은 Leave-One-Dataset-Out (LODO) 평가를 제안합니다. 데이터를 혼합하는 표준 교차 검증(CV)이나 홀드아웃(held-out) 테스트 세트와 달리, LODO는 $N-1$ 개의 데이터셋으로 분류기를 훈련시키고, 엄격하게 홀드아웃된 $N$ 번째 데이터셋에 대해 평가합니다. 이를 통해 분류기가 테스트 분포의 출처로부터 나온 사례를 전혀 접하지 못하도록 보장합니다.

모델 및 특징 분석

모델: 실험은 Llama-3.1-8B, Gemma-3-27B, Qwen-3.5-2B/4B 세 가지 제품군의 네 가지 LLM을 대상으로 하며, Llama-3.3-70B에 대한 부분적인 결과도 포함합니다.
분류기: 저자들은 다음을 기반으로 훈련된 활성화 기반 분류기(선형 프로브 및 2계층 MLP)를 사용합니다:
- 원시 활성화(Raw Activations): 잔차 스트림(주로 Llama의 경우 레이어 31)에서 추출되었습니다.
- 희소 오토인코더(SAE) 특징: 해석 가능성을 높이기 위해 디컴포지션된 활성화(Llama의 레이어 27 및 Gemma의 레이어 42)를 사용합니다.
지름길 분석(Shortcut Analysis): 저자들은 SAE 특징을 분석하기 위해 LODO 계수 유지 메트릭( $r_j$ )을 도입합니다. 이 메트릭은 특정 데이터셋이 제외될 때 특징의 분류기 계수가 얼마나 안정적인지를 측정합니다. 낮은 유지율( $r_j \ll 1$ )이나 부호 반전이 발생하는 특징은 "데이터셋 지름길(dataset shortcuts)"로 식별됩니다.
베이스라인 비교: 연구는 활성화 프로브를 생산용 가드레일(PromptGuard 2, LlamaGuard), LLM-as-Judge(LJ) 변형, 그리고 전용 텍스트 기반 프롬프트 인젝션 탐지기(ProtectAI, Deepset)와 비교합니다.

주요 결과

1. 표준 평가는 일반화 능력을 심각하게 과대평가함

표준 5-겹 교차 검증(5-fold CV) 및 홀드아웃 테스트 세트 평가는 0.996에서 0.999 사이의 AUC 점수를 보고합니다. 반면, LODO 평가는 상당한 성능 저하를 드러냅니다:

종합 격차: 4개 모델 전체에서 CV-LODO AUC 격차는 8.0 ~ 16.5 퍼센티지 포인트에 달합니다.
데이터셋별 편차: 특정 홀드아웃 데이터셋에 대한 정확도 격차는 1.2%에서 25.4%까지 나타납니다. 예를 들어, Jayavibhav 데이터셋의 경우, 정확도는 홀드아웃 테스트 시 94.5%에서 LODO 시 69.1%로 떨어집니다.
보편성: 이 격차는 테스트된 모든 모델 제품군과 크기(2B ~ 70B 파라미터)에서 일관되게 나타납니다.

2. 데이터셋 정체성과 안전 신호의 얽힘(Entanglement)

구별 가능성: 로지스틱 회귀 분류기는 SAE 특징을 사용하여 96.6%의 정확도로, 원시 활성화를 사용하여 89.1%의 정확도로 샘플의 데이터셋 정체성을 예측할 수 있으며, 이는 데이터셋이 특징 공간 내에서 쉽게 구별됨을 확인시켜 줍니다.
서브스페이스 중첩: 상위 데이터셋 예측 방향의 직교 보공간(orthogonal complement)으로 활성화를 투영하면 LODO 성능이 1.75 퍼센티지 포인트 저하됩니다. 이는 데이터셋을 식별하는 서브스페이스가 안전 분류와 관련된 서브스페이스와 부분적으로 중첩되어 있음을 시사합니다.
지름길(Shortcuts): 상위 50개 SAE 특징을 분석한 결과, **28% (Llama)에서 44% (Gemma)**가 "지름길"로 나타났습니다. 여기에는 "순수 데이터셋 지름길"(직접적으로 데이터셋 정체성을 예측)과 "문맥 의존적 지름길"(여러 데이터셋에서 활성화되지만 특정 데이터셋 구성에서만 클래스 신호를 도출하는 특징)이 포함됩니다.

3. 표준 완화 기법의 무효성

저자들은 적대적 훈련(DANN), 서브스페이스 투영, 샘플 재가중치 부여, 클래스 균형화를 포함한 7가지 표준 도메인 일반화(DG) 기법을 테스트했습니다. 이 중 어떤 방법도 CV-LODO 격차를 성공적으로 좁히지 못했으며, 일부 경우(예: 서브스페이스 투영) 성능이 더 저하되었습니다. 이는 데이터셋 식별 신호와 작업 관련 신호를 깔끔하게 분리할 수 있다는 표준 DG의 가정이 프롬프트 공격 탐지에서는 성립하지 않음을 의미합니다.

4. 생산용 베이스라인과의 비교

활성화 프로브 vs 가드레일: 동일한 허위 양성률(FPR)에서, 활성화 기반 프로브는 텍キスト 전용 가드레일이 도구 스키마 지원 부족으로 인해 탐지하지 못하는 간접 및 에이전트 공격에 대해 PromptGuard 2 및 LlamaGuard보다 우수한 성능을 보입니다.
LLM-as-Judge 민감도: LLM-as-Judge의 성능은 프롬프트 템플릿에 매우 민감하며, 프롬프트 프레이밍에 따라 진양성률(TPR)이 11%에서 93%까지 변동하며, 종종 수용 불가능할 정도로 높은 FPR을 초래합니다.
텍스트 탐지기: 전용 텍스트 분류기(예: ProtectAI, Deepset)는 LODO 스타일 평가 하에서 극단적인 트레이드오프를 보이며, 대부분의 공격을 놓치거나 사용 불가능한 수준의 허위 양성률을 생성합니다.

5. LODO 가중치 적용 설명(LODO-Weighted Explanations)

SAE 기여도에 유지 메트릭( $z_j \cdot w_j \cdot r_j$ )을 가중치로 적용함으로써, 저자들은 데이터셋 아티팩트 특징을 필터링합니다. 이는 상위 20개 특징을 약 98%의 샘플에 대해 재정렬하며, 데이터셋 특유의 포맷팅이 아닌 실제 공격 패턴에 집중하는 더 신뢰할 수 있는 프롬프트별 설명을 제공합니다.

의의 및 주장

본 논문은 프롬프트 공격 분류기에 대한 현재의 평가 패러다임이 근본적으로 결함이 있으며, 이로 인해 잘못된 보안 신뢰를 준다고 주장합니다. 주요 기여는 다음과 같습니다:

LODO의 필요성: 표준 CV가 은폐하는 실제 일반화 격차(8~16pp)를 드러내기 위해 Leave-One-Dataset-Out 평가가 필수적임을 입증했습니다.
지름길 분류 체계: 단순한 활성화 비율 휴리스틱이 놓치는 데이터셋 의존적 특징을 식별하는 유지 메트릭과 분류 체계를 정의했습니다.
얽힘의 증거: 데이터셋 정체성과 안전 관련 서브스페이스가 부분적으로 중첩됨을 보여줌으로써, 왜 표준 도메인 일반화 기법들이 실패하는지를 설명했습니다.
진단적 유용성: 데이터셋 아티팩트를 설명에서 필터링하고, 실제 세계의 배포 변화를 더 잘 반영하는 조건 하에서 벤치마크 분류기를 평가하는 프레임워크를 제공했습니다.

저자들은 데이터셋 정체성과 안전 신호를 분리하는 것이 여전히 미해결 과제로 남아 있음을 언급하며, 격차를 좁히기 위한 확정적인 해결책을 제시하는 것이 목적이 아님을 명시했습니다. 대신, 부풀려진 CV 지표를 바탕으로 실제 운영 성능을 과장하는 것을 방지하기 위한 진단 도구를 제공하고자 합니다.