Safety-Potential Pruning for Enhancing Safety Prompts Against VLM Jailbreaking Without Retraining

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 모델 (VLM) 은 이미지 캡셔닝, 시각적 추론 등 다양한 분야에서 뛰어난 성능을 보이지만, '재일브레이킹 (Jailbreaking)' 공격이나 적대적 입력에 취약합니다. 이는 주로 대형 언어 모델 (LLM) 백본에서 물려받은 정렬 (Alignment) 취약점 때문입니다.
• 기존 방법의 한계:
  • 파인튜닝 (Fine-tuning): 안전성 데이터를 통해 모델을 재학습시키는 방식은 계산 비용이 많이 들고, '안전성 과세 (Safety Tax)'로 인해 일반 작업 성능이 저하될 수 있습니다.
  • 안전 프롬프팅 (Safety Prompting): 파라미터를 수정하지 않고 프롬프트로 모델을 유도하는 가벼운 방법이지만, 모델의 잠재적 구조적 반응성 (Latent Structural Responsiveness) 에 의존하므로 확장성이 제한적입니다.
• 핵심 질문: 외부적인 수정을 거치지 않고, 모델이 이미 내재하고 있는 '안전 지향적 행동 능력'을 어떻게 드러내고 증폭시킬 수 있을까?

2. 핵심 가설 및 방법론 (Methodology)

2.1 안전 서브네트워크 가설 (Safety Subnetwork Hypothesis)

저자들은 VLM 이 안전성을 강제할 수 있는 구조적으로 구별된 경로 (Pathways) 를 내재하고 있지만, 명시적인 자극 (안전 프롬프트) 이 없으면 이러한 경로가 dormant(휴면 상태) 에 머무른다고 가정합니다.

• 관찰: 안전 프롬프트가 적용될 때, 모델의 내부 활성화 (Activation) 는 깊은 레이어에서 특정 단위 (Units) 가 강하게 반응하는 희소 (Sparse) 한 분포를 보입니다. 반면, 얕은 레이어에서는 변화가 미미하거나 음수 방향으로 움직입니다.

2.2 Safety-Potential Pruning (안전 잠재력 가지치기)

이 가설을 바탕으로 제안된 단일 회차 (One-shot) 가지치기 프레임워크입니다. 추가적인 재학습 (Retraining) 이나 구조 변경 없이 작동합니다.

• 작동 원리:
  1. 활성화 차이 분석: '안전 프롬프트 (Safety Prompt)'가 적용된 경우와 적용되지 않은 경우 (No Safety Prompt) 의 모델 내부 활성화 차이를 분석합니다.
  2. 민감도 지표 (Sensitivity Metric) 정의: 각 채널 $j$의 민감도 $S_j$를 다음과 같이 계산합니다.
     $$S_j = \|A^S_j\|_2^2 - \|A^{NS}_j\|_2^2$$
     (여기서 $A^S$는 안전 프롬프트 시 활성화, $A^{NS}$는 비안전 프롬프트 시 활성화)
     • 양수 값: 안전 프롬프트에 강하게 반응함 (안전 서브네트워크 후보).
     • 0 또는 음수: 안전과 무관하거나 역상관됨.
  3. 가중치 중요도 점수 (Importance Score) 산출: 가중치 크기 ($|W_{ij}|$) 와 민감도 ($\sqrt{\max(S_j, 0)}$) 를 결합하여 점수를 매깁니다.
     $$Score_{ij} = |W_{ij}| \cdot \sqrt{\max(S_j, 0)}$$
  4. 타겟팅된 가지치기: 점수가 낮은 가중치 (안전 프롬프트에 반응하지 않거나 부정적인 영향을 미치는 가중치) 를 제거하여, 안전 프롬프트에 민감한 경로를 증폭시킵니다.

3. 주요 기여 (Key Contributions)

1. 안전 서브네트워크 가설 정립: VLM 의 안전 행동이 균일하게 분포된 메커니즘이 아니라, 희소하고 선택적으로 활성화되는 내부 구조에서 비롯된다는 가설을 제시했습니다.
2. Safety-Potential Pruning 제안: 파인튜닝 없이 안전 프롬프트에 반응하지 않는 가중치를 제거함으로써, 모델의 내재된 안전 잠재력을 구조적으로 증폭시키는 단일 회차 가지치기 방법을 개발했습니다.
3. 가지치기의 역할 재정의: 기존에 효율성 (Model Compression) 을 위한 도구로만 여겨지던 가지치기를, 기초 모델 (Foundation Models) 의 내재된 안전 구조를 발굴하고 활성화하여 강력한 정렬 (Robust Safety Alignment) 을 달성하는 원리 있는 메커니즘으로 확장했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: Qwen2-VL, LLaVA-V1.6, InstructBLIP 등 3 가지 대표 VLM 아키텍처와 FigStep, MM-SafetyBench, JailbreakV-28K 등 3 가지 재일브레이킹 벤치마크에서 평가되었습니다.
• 안전성 (Safety Performance):
  • 제안된 방법은 단순 프롬프팅만 사용한 경우보다 공격 성공률을 최대 22% 감소시켰습니다.
  • 특히 50% 가지치기 (Sparsity) 환경에서 Qwen2-VL-7B 모델은 FigStep 벤치마크에서 **100% 방어 성공률 (DSR)**을 기록하며 기존 방법 (Magnitude, SparseGPT, Wanda) 을 압도했습니다.
• 유용성 (Utility Performance):
  • 20% 가지치기 수준에서는 일반 작업 (TextVQA, ScienceQA 등) 의 성능 저하가 거의 없었습니다.
  • 50% 가지치기 시에도 Wanda 등 다른 가지치기 방법보다 안전성 향상과 성능 유지 사이의 균형이 훨씬 우수했습니다. (예: LLaVA-V1.6 에서 Wanda 는 안전성이 낮고 성능이 떨어지는 반면, 제안 방법은 안전성과 성능을 모두 유지).
• 일반화 능력:
  • 모델 크기: 2B(소형) 와 13B(대형) 모델에서도 일관된 효과를 보였으나, 2B 모델은 파라미터 중복성이 적어 50% 가지치기 시 안전성 안정성이 다소 떨어졌습니다.
  • LLM 적용: 비전 - 언어 모델이 아닌 Llama-2 및 Vicuna 같은 순수 LLM 에 적용 시에도 안전성이 향상되었으나, VLM 에 비해 그 효과는 다소 작았습니다. 이는 VLM 의 크로스 - 모달 통합이 더 밀집된 안전 서브네트워크를 형성하기 때문으로 분석됩니다.

5. 의의 및 결론 (Significance)

• 구조적 개입 (Structural Intervention): 이 연구는 안전성을 확보하기 위해 외부 필터링이나 무거운 재학습에 의존할 필요 없이, 모델의 내부 구조를 분석하여 '잠재된 안전 서브네트워크'를 노출시키는 것이 가능함을 증명했습니다.
• 프롬프트와 가지치기의 시너지: 안전 프롬프트는 모델의 특정 경로를 활성화하는 '자극제' 역할을 하며, 가지치기는 이를 유지하고 증폭시키는 '정제' 역할을 합니다.
• 실용성: 추가 학습 비용 없이 배포 가능한 모델을 안전하게 만드는 효율적인 솔루션을 제공하며, VLM 의 재일브레이킹 공격에 대한 견고한 방어 체계를 구축하는 새로운 패러다임을 제시합니다.

요약하자면, 이 논문은 **"모델이 이미 안전성을 위한 구조를 가지고 있으나 잠들어 있는데, 이를 프롬프트로 깨우고 가지치기로 불필요한 노이즈를 제거하면 재학습 없이도 강력한 안전성을 확보할 수 있다"**는 것을 실증적으로 증명했습니다.