Jailbreaking the Matrix: Nullspace Steering for Controlled Model Subversion

논문 개요

이 논문은 대형 언어 모델 (LLM) 의 안전성 정렬 (Safety Alignment) 을 우회하여 유해한 응답을 유도하는 새로운 형태의 재일브레이크 (Jailbreak) 공격 기법인 **Head-Masked Nullspace Steering (HMNS)**을 제안합니다. 기존 프롬프트 기반의 공격들이 모델의 내부 메커니즘을 이해하지 못한 채 표면적인 입력 조작에 의존하는 한계를 극복하고, 모델의 내부 회로 (Circuit) 수준에서 직접 개입하여 안전 장치를 무력화하는 방법을 제시합니다.

---

1. 문제 정의 (Problem)

• 배경: LLM 은 인간 선호도와 윤리적 가이드라인에 맞춰 정렬 (Alignment) 되었음에도 불구하고,精心하게 설계된 프롬프트 (Jailbreak) 를 통해 안전 장치를 우회하고 유해한 내용을 생성할 수 있습니다.
• 기존 방법의 한계:
  • 프롬프트 재작성 (Rewriting): 유해한 내용을 다른 표현으로 바꾸는 방식 (예: ReNeLLM, AutoDAN).
  • 최적화 기반 (Optimization-based): 그라디언트나 유전 알고리즘을 이용해 유해한 접미사 (Suffix) 를 생성 (예: GCG, ArrAttack).
  • 약점: 이러한 방법들은 많은 쿼리 (Query) 를 소모하며, 강력한 방어 메커니즘 (Defense) 하에서 효과가 급격히 떨어집니다. 또한, 모델이 왜 실패하는지에 대한 **해석 가능성 (Interpretability)**이 부족합니다.
• 핵심 질문: 모델의 내부 메커니즘을 이해하고, 안전 정렬이 수행되는 구체적인 '회로'를 표적으로 삼아 더 효율적이고 견고한 공격이 가능한가?

---

2. 방법론: Head-Masked Nullspace Steering (HMNS)

HMNS 는 모델의 **내부 주의 헤드 (Attention Heads)**를 대상으로 한 기하학적 개입 (Geometry-aware Intervention) 기법입니다. 세 가지 핵심 단계로 구성됩니다.

가. 인과적 헤드 식별 (Causal Head Attribution)

• 모델이 특정 프롬프트에 대해 유해한 응답을 생성할 때, 실제로 그 결정에 가장 큰 **인과적 영향 (Causal Influence)**을 미치는 주의 헤드를 식별합니다.
• 기법: 각 헤드를 순차적으로 마스킹 (Ablation) 하고, 원래 출력 분포와 마스킹된 출력 분포 간의 **KL 발산 (KL Divergence)**을 계산하여 중요도를 점수화합니다.
• 결과: 특정 프롬프트에 대해 가장 큰 영향을 미치는 상위 K 개의 헤드를 선택합니다.

나. 쓰기 경로 마스킹 (Write Path Suppression)

• 식별된 인과적 헤드의 아웃-프로젝션 (Out-projection) 기여도를 차단합니다.
• 구현: 해당 헤드가 잔여 스트림 (Residual Stream) 에 기여하는 행렬 열 (Column) 을 0 으로 설정하여, 해당 헤드가 모델의 다음 토큰 예측에 영향을 미치지 못하도록 동적 마스킹을 수행합니다.

다. 널스페이스 조향 (Nullspace Steering)

• 마스킹된 헤드가 차단된 상태에서도 모델이 유해한 방향으로 흐르도록 보정 벡터를 주입합니다.
• 핵심 아이디어: 주입하는 벡터는 마스킹된 하위 공간 (Subspace) 의 **직교 여공간 (Orthogonal Complement, Nullspace)**에 제한됩니다.
  • 수학적으로, 마스킹된 헤드는 이 직교 벡터를 재구성하거나 상쇄할 수 없습니다.
  • 이는 모델의 유해한 경로를 차단하면서도, 유해하지 않은 다른 경로 (마스킹되지 않은 헤드나 MLP) 를 통해 새로운 방향을 유도할 수 있게 합니다.
• 구현: 무작위 벡터를 샘플링하여 QR 분해를 통해 마스킹된 공간에 직교하는 방향으로 투영한 후, 잔여 활성화 (Residual Activation) 크기에 비례하여 스케일링하여 주입합니다.

라. 폐루프 제어 (Closed-Loop Control)

• 이 과정은 **반복적 (Iterative)**으로 수행됩니다. 각 디코딩 시도 (Decoding Attempt) 마다 인과적 헤드를 재식별하고, 새로운 널스페이스 벡터를 계산하여 적용합니다. 이는 방어 메커니즘이 변하거나 맥락이 바뀔 때 적응적으로 대응할 수 있게 합니다.

---

3. 주요 기여 (Key Contributions)

1. HMNS 제안: 인과적 헤드 식별, 프로젝션 마스킹, 널스페이스 조향을 통합한 최초의 메커니즘 수준 재일브레이크 방법론입니다.
2. 최신 성능 달성: 4 가지 주요 벤치마크 (AdvBench, HarmBench, JBB-Behaviors, StrongReject) 와 3 가지 모델 (LLaMA-2-7B, Phi-3-14B, LLaMA-3.1-70B) 에서 **SOTA(State-of-the-Art) 공격 성공률 (ASR)**을 기록했습니다.
3. 높은 효율성: 기존 방법들에 비해 **매우 적은 외부 쿼리 (ACQ ≈ 2)**로 성공적인 공격을 달성했습니다.
4. 계산 정규화 평가 (Compute-Normalized Evaluation): 내부 계산 비용 (KL 계산, QR 분해 등) 을 고려한 새로운 평가 지표 (FEP, IPC, FPS, LPS) 를 도입하여, 내부 개입 비용까지 포함한 공정한 비교를 가능하게 했습니다.
5. 방어 견고성: 다양한 방어 메커니즘 (SmoothLLM, RPO, PAT 등) 하에서도 기존 방법들보다 우월한 성능을 유지했습니다.

---

4. 실험 결과 (Results)

• 공격 성공률 (ASR):
  • LLaMA-3.1-70B 모델에서 99% (GPT-4o 평가 기준) 의 공격 성공률을 기록했으며, 이는 차순위 방법 (ArrAttack 등) 보다 5~6%p 이상 높습니다.
  • 모든 모델과 데이터셋에서 일관된 높은 성능을 보였습니다.
• 쿼리 효율성 (ACQ):
  • 평균 2.0~2.2 회의 외부 쿼리만으로 성공했습니다. 기존 방법들은 평균 7~16 회 이상의 쿼리가 필요했습니다.
• 계산 비용 (Compute Efficiency):
  • 내부 통과 횟수 (IPC) 가 증가하지만, 높은 성공률로 인해 **성공당 소요 FLOPs (FPS)**와 지연 시간 (LPS) 측면에서 기존 프롬프트 기반 방법들과 비슷하거나 더 효율적이었습니다.
  • 특히 강력한 방어 하에서 HMNS 는 재시도 횟수가 적어 전체 계산 비용이 더 낮았습니다.
• 방어 우회 능력:
  • 6 가지 방어 메커니즘 하에서도 평균 ASR 이 55% 이상을 유지하며, 차순위 방법보다 6~8%p 높은 성능을 보였습니다.

---

5. 의의 및 시사점 (Significance)

• 안전 정렬의 취약점 노출: LLM 의 안전 정렬이 모델의 희소하고 국소화된 주의 헤드 집합에 집중되어 있음을 보여줍니다. 이는 단순한 프롬프트 튜닝만으로는 강력한 적대적 공격을 막기 어렵다는 것을 시사합니다.
• 새로운 패러다임: 입력 (프롬프트) 을 조작하는 것을 넘어, 모델의 내부 표현 (Internal Representation) 과 기하학적 구조를 직접 제어하는 새로운 공격 및 방어 연구의 방향성을 제시합니다.
• 해석 가능성: 공격이 어떻게 이루어지는지 (어떤 헤드가 차단되고 어떤 방향으로 조향되는지) 를 명확히 설명할 수 있어, 모델의 안전 메커니즘을 이해하고 강화하는 데 기여합니다.
• 이중 사용 (Dual-use) 주의: 이 연구는 LLM 의 취약점을 드러내어 방어 시스템을 강화하는 것을 목적으로 하지만, 악용될 가능성도 내포하고 있으므로 윤리적 주의가 필요합니다.

결론

이 논문은 HMNS를 통해 LLM 의 안전 장치가 내부 회로 수준에서 어떻게 우회될 수 있는지를 증명했습니다. 기하학적으로 제약된 널스페이스 조향과 폐루프 적응 메커니즘을 결합하여, 기존 프롬프트 기반 공격들보다 훨씬 효율적이고 강력하며 해석 가능한 재일브레이크 공격을 가능하게 했습니다. 이는 향후 LLM 안전성 연구가 단순한 입력 필터링을 넘어 모델 내부 메커니즘에 대한 깊은 이해를 바탕으로 해야 함을 강조합니다.