Rethinking Jailbreak Detection of Large Vision Language Models with Representational Contrastive Scoring

이 논문은 대형 비전 - 언어 모델 (LVLM) 의 내부 표현 기하학을 분석하여 악성 입력과 정상 입력을 효과적으로 구분하는 경량 대비 점수 프레임워크인 RCS 를 제안함으로써, 기존 방법들의 한계를 극복하고 일반화 가능한 조브레이크 탐지를 가능하게 합니다.

핵심

🎭 1. 문제 상황: "가짜 신분증"과 "나쁜 의도"를 구별하기 힘든 이유

지금까지의 AI 보안 시스템들은 주로 **"나쁜 사람 **(해커)만 보고 경보를 울리는 방식이었습니다. 마치 공항 보안 검색대에서 "이 사람은 나쁜 사람 목록에 있구나"라고만 판단하는 것과 비슷합니다.

하지만 문제는 다음과 같습니다:

• **착한 사람도 걸린다 **(과잉 경계) 평소와 다른 옷을 입거나, 다른 나라에서 온 **순수한 관광객 **(새로운 benign 입력)이 보안 시스템의 기준과 조금만 달라도 "의심스러운 사람"으로 오인해서 입국을 거절해버립니다.
• 나쁜 사람은 숨는다: 해커들은 새로운 방식 (예: 그림에 숨겨진 명령어) 으로 공격하면, 기존에 나쁜 사람 목록에 없기 때문에 통과해버립니다.

이전 연구들 (JailDAM 등) 은 "보통의 사람 (착한 데이터) 만 보고 학습"했기 때문에, 새로운 옷을 입은 착한 사람까지 "나쁜 사람"으로 잘못 판단하는 실수를 자주 저질렀습니다.

---

🕵️‍♂️ 2. 해결책: "RCS(표현 대조 점수)"라는 새로운 수사관

이 논문은 **"AI 의 내면 **(뇌)을 직접 들여다보는 새로운 방식을 제안합니다.

💡 핵심 아이디어: "내면의 목소리 들어보기"

AI 가 답변을 만들기 직전, 그 내부에서 일어나는 생각의 흐름 (표현) 을 분석합니다.

• 비유: 사람이 "나쁜 짓을 하려고 할 때"와 "순수하게 질문할 때"의 **뇌파 **(생각의 파동)는 표면적인 말투와 상관없이 미세하게 다릅니다. 이 연구는 그 뇌파의 차이를 포착하는 기술을 개발했습니다.

🛠️ 어떻게 작동하나요? (3 단계 프로세스)

1. **가장 민감한 '감지기' 찾기 **(Layer Selection)

   • AI 는 여러 층 (Layer) 으로 되어 있는데, 모든 층을 다 볼 필요는 없습니다.
   • 연구진은 **"착한 질문"과 "나쁜 질문"이 가장 뚜렷하게 갈라지는 층 **(중간 층)을 찾아냈습니다.
   • 비유: 감시 카메라가 100 대 있지만, 범인을 가장 잘 잡는 것은 3 층의 특정 구석에 있는 카메라 하나뿐입니다. 그 카메라만 집중해서 봅니다.

2. **의사소통을 단순화하기 **(Projection)

   • AI 의 생각은 너무 복잡하고 방대합니다 (수천 개의 차원).
   • 연구진은 이 복잡한 생각을 256 개의 핵심 키워드로 압축하는 '번역기'를 만들었습니다.
   • 비유: 10,000 페이지의 긴 보고서에서 핵심 내용만 1 페이지로 요약해서, "이게 진짜 위험한가?"를 한눈에 보게 만든 것입니다.

3. **비교해서 판단하기 **(Contrastive Scoring)

   • 이제 AI 가 입력받은 내용을 두 가지 기준과 비교합니다.
     • 기준 A: "완벽한 착한 사람"들의 모임 (Benign Cluster)
     • 기준 B: "완벽한 나쁜 사람"들의 모임 (Malicious Cluster)
   • 질문이 "나쁜 사람 모임"에 더 가깝다면? → **경보 발령 **(Jailbreak 감지)
   • 질문이 "착한 사람 모임"에 가깝다면? → **통과 **(안전)
   • 핵심: 단순히 "이상한가?"만 보는 게 아니라, **"착한 사람과 나쁜 사람 중 어디에 더 가까운가?"**를 비교하므로, 새로운 옷을 입은 착한 사람을 오인하지 않습니다.

---

🏆 3. 두 가지 강력한 무기: MCD 와 KCD

이론을 실제로 적용한 두 가지 방법이 있습니다.

• **MCD **(마할라노비스 대조 탐지)

  • 비유: "구름 모양"으로 생각하기.
  • 착한 사람들과 나쁜 사람들이 각각 구름 (분포) 을 이루고 있다고 가정합니다. 새로운 입력이 어느 구름의 중심에 더 가까운지, 구름의 모양 (밀도) 을 고려해서 정밀하게 계산합니다.
  • 장점: 매우 정교하고 수학적으로 정확합니다.

• **KCD **(K-최근접 이웃 대조 탐지)

  • 비유: "이웃 찾기".
  • "이 사람이 내 주변에 있는 50 명의 착한 이웃과 가까운가, 아니면 50 명의 나쁜 이웃과 가까운가?"를 봅니다.
  • 장점: 복잡한 계산이 필요 없어 매우 빠르고 가볍습니다.

---

🚀 4. 왜 이 연구가 중요한가요?

1. 빠르고 가볍습니다: AI 가 답변을 생성하기 전에, 내부 신호만 보고 "이건 위험해!"라고 막을 수 있습니다. 불필요한 계산을 아껴서 속도가 빠릅니다.
2. 새로운 공격에도 강합니다: 해커가 새로운 방법을 써도, AI 의 "내면적 생각 패턴"이 나쁘면 바로 잡습니다.
3. 착한 사람을 해치지 않습니다: 새로운 주제나 형식의 질문을 해도, "나쁜 의도"가 없으면 통과시켜줍니다. (과잉 경계 해결)
4. 적은 데이터로 학습: 새로운 해킹 기법이 나타나더라도, 아주 적은 수의 예시 (몇 개만) 로도 빠르게 적응할 수 있습니다.

📝 요약

이 논문은 "AI 의 뇌속에서 일어나는 생각의 파동을 분석하여, 진짜 나쁜 의도와 단순한 새로운 질문을 구별하는 정교한 보안 시스템을 만들었습니다.

기존의 "나쁜 사람 목록"만 보는 방식에서 벗어나, "착한 사람과 나쁜 사람을 동시에 비교하는 방식으로 전환함으로써, 더 빠르고, 더 정확하며, 더 안전한 AI를 가능하게 합니다. 마치 공항 보안에서 "나쁜 사람 목록"만 보는 게 아니라, "이 사람의 의도가 여행객인지 테러리스트인지"를 뇌파로 바로 판단하는 시스템이라고 생각하시면 됩니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: LVLMs 은 텍스트와 이미지를 동시에 처리하는 강력한 능력을 갖췄지만, 이를 악용한 다양한 멀티모달 조이브레이크 공격 (적대적 이미지, 교차 모달 프롬프트 주입 등) 에 취약합니다.
• 기존 방법의 한계:
  • 과적합 (Overfitting): 특정 공격 패턴에 맞춰진 방어법은 새로운 유형의 공격에는 무력합니다.
  • 높은 계산 비용: 여러 번의 추론이나 그래디언트 계산이 필요한 방법들은 실시간 배포에 비효율적입니다.
  • 단일 클래스 탐지의 결함 (One-class Detection Limitation): 최근 제안된 JailDAM 과 같은 이상치 탐지 (OOD) 기반 방법들은 '정상 (Benign)' 데이터만 학습합니다. 문제는 **새로운 정상 입력 (Distribution Shift)**과 **악성 입력 (Malicious Intent)**을 구별하지 못해, 정당한 요청을 잘못 차단하는 과거부 (Over-refusal) 현상이 빈번하게 발생한다는 점입니다.

2. 제안 방법: RCS (Representational Contrastive Scoring)

저자들은 LVLM 의 내부 표현 (Internal Representations) 에 가장 강력한 안전 신호가 숨어있다는 통찰에서 출발했습니다.

2.1 핵심 아이디어

• 내부 기하학적 구조 활용: 모델의 중간 레이어 (Hidden Layers) 에서 생성되는 벡터 표현을 분석하여, 정상과 악성 입력이 기하학적으로 가장 잘 분리되는 지점을 찾습니다.
• 대비 학습 (Contrastive Scoring): 단순히 '정상' 분포만 모델링하는 것이 아니라, 정상 (Benign) 과 악성 (Malicious) 데이터를 모두 활용하여 두 클래스를 명확히 분리하는 점수 체계를 구축합니다.

2.2 주요 구성 요소

1. 안전 중요 레이어 식별 (Safety-Critical Layer Selection):

   • 모든 레이어를 탐색하는 대신, SVM 마진, 실루엣 점수 (Cluster Cohesion), 판별 비율 (Discriminative Ratio) 등을 결합한 기하학적 분석을 통해 **정상과 악성 데이터가 가장 잘 분리되는 '중간 레이어 (Middle Layers)'**를 자동 선정합니다.
   • 실험 결과, 초기 레이어 (저수준 특징) 나 최종 레이어 (과도한 특수화) 보다 중간 레이어가 가장 효과적이었습니다.

2. 안전 인식 투영 (Safety-Aware Projection):

   • 고차원의 원시 특징 (Raw Features) 을 256 차원 저차원으로 축소하는 경량 신경망 투영 (MLP) 을 학습합니다.
   • 목적: (1) 다양한 출처의 정상 데이터는 군집화되도록 유지하고, (2) 정상과 악성 데이터의 거리를 최대화하여 분리합니다.

3. 두 가지 구체화 방법 (Instantiations):

   • MCD (Mahalanobis Contrastive Detection): 정상과 악성 데이터를 각각 가우시안 분포로 모델링하고, 마할라노비스 거리 (Mahalanobis Distance) 를 이용해 입력이 어느 분포에 더 가까운지 계산합니다.
   • KCD (K-nearest Contrastive Detection): 분포 가정을 하지 않는 비모수적 방법으로, 입력이 정상 이웃과 악성 이웃 중 어느 쪽에 더 가까운지 (K-NN 거리 차이) 를 기반으로 점수를 매깁니다.

3. 주요 기여 (Key Contributions)

• 새로운 패러다임: 단일 클래스 이상치 탐지에서 벗어나, 대비적 (Contrastive) 접근법을 LVLM 조이브레이크 탐지에 적용하여 '분포 변화 (Distribution Shift)'와 '진짜 악성 의도 (Malicious Intent)'를 명확히 구분합니다.
• 효율성과 일반화: 모델의 내부 상태를 활용하므로 추가적인 추론이나 그래디언트 계산 없이도 **매우 낮은 지연 시간 (Inference Overhead < 5.5%)**으로 탐지가 가능합니다. 또한, 훈련 시 보지 못한 새로운 공격 유형에도 강력하게 일반화됩니다.
• 이론적 근거: 제안된 점수 체계가 베이지안 최적 결정 (Likelihood Ratio Test) 에 근접함을 수학적으로 증명했습니다.

4. 실험 결과 (Results)

• 평가 프로토콜: 다양한 데이터 소스 (텍스트, 이미지, 멀티모달) 와 **보지 못한 공격 유형 (Unseen Attack Types)**을 포함하는 엄격한 평가 기준을 설정했습니다.
• 성능:
  • SOTA 달성: LLaVA 와 Qwen2.5-VL 모델에서 제안된 MCD 와 KCD 는 기존 최첨단 방법 (GradSafe, JailGuard, JailDAM 등) 을 압도하는 성능을 보였습니다.
  • 정확도: LLaVA 기준 AUROC 98.6%, Qwen 기준 98.1% 를 기록했습니다.
  • 과거부 감소: 기존 JailDAM 은 새로운 정상 데이터 (예: 의료 이미지) 가 들어오면 정상을 악성으로 오인하여 정밀도 (Precision) 가 급격히 떨어졌으나, RCS 는 이를 효과적으로 구별하여 정밀도를 유지했습니다.
• 소량 학습 적응성: 새로운 공격 유형에 대한 훈련 데이터가 극히 적을 때 (예: 5~10 개 샘플) 도 성능이 급격히 향상되어, 실시간 위협 대응에 적합함을 입증했습니다.
• 계산 효율성: 탐지 과정의 추가 계산 비용은 모델 추론 시간의 약 **4~5.5%**에 불과하여 실용성이 매우 높습니다.

5. 의의 및 결론 (Significance)

이 연구는 복잡한 외부 모델이나 고비용의 재학습 없이, 모델 내부의 기하학적 특성과 간단한 통계적 방법을 결합하여 효과적인 안전 장치를 구축할 수 있음을 보여줍니다.

• 실용적 배포: 낮은 지연 시간과 높은 일반화 능력으로 실제 LVLM 서비스 환경에 즉시 적용 가능한 방어 솔루션을 제공합니다.
• 안전성 강화: 단순한 키워드 필터링이나 출력 검사가 아닌, 모델의 '의도'를 내부 표현 단계에서 탐지함으로써 더 정교한 조이브레이크 공격을 사전에 차단할 수 있습니다.

요약하자면, 이 논문은 RCS를 통해 조이브레이크 탐지의 정확도, 일반화 능력, 효율성을 모두 획기적으로 개선한 획기적인 연구로 평가됩니다.