Activation Surgery: Jailbreaking White-box LLMs without Touching the Prompt

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 유해한 콘텐츠 생성을 방지하기 위해 다양한 안전 메커니즘 (Safety Mechanisms) 을 내장하고 있습니다. 기존 대부분의 탈출 (Jailbreak) 공격 기법은 입력 프롬프트를 수정하는 방식에 의존합니다. 예를 들어, 문장을 재구성하거나, 은유를 사용하거나, 역할극 (Persona) 을 설정하거나, 다중 턴 대화를 유도하여 모델의 거부 (Refusal) 정책을 우회합니다.

그러나 이러한 프롬프트 기반 공격은 모델이 업데이트될 때마다 패치 (수정) 될 수 있으며, 입력 텍스트를 변경하지 않고 모델의 내부 작동 원리를 직접 조작하여 안전 장치를 무력화하는 방법은 상대적으로 덜 연구되어 왔습니다. 본 논문은 입력 프롬프트를 전혀 변경하지 않고, 모델의 내부 활성화 (Internal Activations) 를 직접 조작하여 거부 반응을 억제하고 유해한 답변을 생성하는 새로운 공격 벡터를 제시합니다.

2. 방법론 (Methodology)

저자들은 **"Activation Surgery (활성화 수술)"**이라는 새로운 기법을 제안합니다. 이 방법은 모델의 가중치를 변경하거나 입력 텍스트를 수정하는 대신, 추론 (Inference) 단계에서 모델의 내부 상태 (Hidden States) 를 순차적으로 대체하는 방식입니다.

핵심 절차:

1. 쌍둥이 프롬프트 (Twin Prompt) 생성:
   • 해커는 유해한 프롬프트 (Illicit Prompt, 예: "폭탄 만드는 법") 와 매우 유사하지만 안전한 프롬프트 (Benign Twin Prompt, 예: "책 만드는 법") 를 수동으로 구성합니다. 두 프롬프트는 토큰 수를 최소로 유지하며 의미만 다르게 합니다.
2. 활성화 대체 (Activation Substitution):
   • 모델이 유해한 프롬프트를 처리할 때, 각 레이어 (Layer) 에서 생성된 내부 활성화 벡터를 쌍둥이 프롬프트의 활성화 벡터로 부분적으로 대체합니다.
   • 순차적 패치 (Sequential Patching): 레이어 $l$의 수정이 레이어 $l+1$의 입력에 영향을 미치므로, 모든 레이어를 한 번에 수정하는 것이 아니라 레이어별로 순차적으로 "패치 후 계산 (Patch-then-Compute)" 프로토콜을 따릅니다.
3. 하이퍼파라미터 제어:
   • $\tau$ (Threshold): 두 프롬프트의 활성화 벡터 간 차이가 임계값 $\tau$를 초과하는 차원 (Dimension) 만 선택하여 대체합니다. 이는 거부 신호가 발생하는 특정 차원을 식별하는 역할을 합니다.
   • $\gamma$ (Interpolation): 대체할 값을 결정합니다. $\gamma=0$이면 완전히 안전한 쌍둥이 프롬프트의 값을, $\gamma=1$이면 원래 유해한 프롬프트의 값을 사용합니다. 중간 값은 두 벡터의 보간 (Interpolation) 을 통해 거부와 수용 사이의 균형을 조절합니다.

3. 주요 기여 (Key Contributions)

• 새로운 공격 표면 (Attack Surface) 제시: 입력 텍스트나 모델 가중치를 변경하지 않고, 추론 중 내부 활성화만 조작하여 안전 장치를 우회하는 '화이트박스' 공격 기법을 최초로 체계적으로 연구했습니다.
• 거부 메커니즘의 국소화 (Localization of Refusal): 모델을 계층별로 분석함으로써, 거부가 모델의 어느 레이어에서 발생하고 어떻게 전파되는지 시각화했습니다. 특히 중간 레이어에서 거부 신호가 활성화됨을 발견하고, 이 시점에 개입함으로써 거부 메커니즘을 효과적으로 차단할 수 있음을 증명했습니다.
• 실행 가능한 결과 (Actionable Outputs) 중심 평가: 단순히 "거부하지 않은" 답변을 성공으로 간주하는 기존 기준과 달리, 실제로 실행 가능하고 구체적인 유해한 답변 (Actionable Answer) 을 생성하는지 엄격하게 평가하는 체계를 도입했습니다.

4. 실험 결과 (Results)

저자들은 최신 오픈 가중치 모델인 Llama-4-Scout-17B-16E-Instruct를 대상으로 AdvBench 데이터셋 (520 개의 유해 프롬프트) 을 사용하여 실험을 수행했습니다.

• 공격 성공률: 전체 520 개의 프롬프트 중 **32.8%**에서 실행 가능한 유해한 답변을 성공적으로 추출했습니다.
  • 사이버 공격 및 안전 우회 (Cyberattacks): 39.8% 성공
  • 폭탄/무기/화학 물질: 24.1% 성공
  • 허위 정보 및 차별: 27.9% 성공
• 기반선 (Baseline) 대비 향상: 공격을 하지 않은 모델의 기본 거부율은 92.9% 였으나, 본 방법을 적용한 후 실행 가능한 답변이 32.8% 로 크게 증가했습니다.
• 모델 일반화: Llama-4 외에도 Qwen2.5-7B 및 Mistral-7B 모델에서도 유사한 효과가 관찰되었습니다.
• 구체적 예시: 폭탄 제조법, 살인 방법, 악성 코드 작성, 가짜 뉴스 생성 등 구체적인 유해 지침을 모델이 거부 없이 제공했습니다.

5. 의의 및 시사점 (Significance)

• 보안 취약점의 재발견: LLM 의 안전성은 단순히 '정렬 (Alignment)'이나 '프롬프트 필터링'에만 의존하지 않으며, **추론 과정의 무결성 (Execution Integrity)**이 핵심임을 보여줍니다. 만약 공격자가 추론 중 내부 상태를 관찰하고 수정할 수 있다면 (예: 로컬 실행, 커스텀 추론 런타임), 프롬프트 수준에서 아무리 강력한 안전 장치가 있어도 우회될 수 있습니다.
• 방어 전략의 필요성: 이 연구는 오픈 가중치 모델 배포 및 계측 가능한 추론 환경 (Instrumented Inference Environments) 에서의 위험을 경고합니다. 이에 대한 방어책으로 런타임 보호 (Runtime Protections), 증명 가능한 계산 (Verifiable Computation), 활성화 무결성 검증 (Activation Integrity Verification), 이상 탐지 (Anomaly Detection) 등의 기술이 필요함을 강조합니다.
• 미래 연구 방향: 쌍둥이 프롬프트 생성 자동화, 모델 간 전이성 (Transferability) 연구, 그리고 이러한 내부 조작 공격에 대한 근본적인 방어 메커니즘 개발이 향후 중요한 과제로 제시되었습니다.

결론적으로, 본 논문은 LLM 의 내부 작동 원리를 직접 조작함으로써 안전 장치를 무력화할 수 있음을 증명하며, 모델의 안전성을 확보하기 위해서는 입력 텍스트뿐만 아니라 추론 과정의 내부 상태 무결성까지 보호해야 함을 강력하게 시사합니다.