NeuroStrike: Neuron-Level Attacks on Aligned LLMs

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 윤리적 배포를 위해 필수적인 안전성 정렬 (Safety Alignment) 기술 (예: RLHF, SFT) 은 여전히 취약하며, 정교하게 제작된 적대적 프롬프트 (Jailbreak) 에 의해 우회될 수 있습니다. 기존 연구들은 안전성 정렬 메커니즘이 견고하지 않으며, benign(부드러운) 파인튜닝만으로도 안전 제약이 약화될 수 있음을 보여주었습니다.

그러나 현재의 공격 기법들은 다음과 같은 한계가 있습니다:

• 시행착오 기반: 대부분의 공격은 프롬프트를 수동으로 조정하거나 무작위 탐색에 의존합니다.
• 일반화 부족: 모델 아키텍처나 학습 데이터가 다르면 공격이 다른 모델로 전이되지 않습니다.
• 확장성 및 신뢰성 문제: 기존 방어 기법 (Layer-level, Feature-level 분석) 은 모델 파라미터의 약 10% 를 안전 관련으로 지목하여 정확도가 낮거나, 특정 레이어에만 국한되어 다양한 멀티모달 모델에 적용하기 어렵습니다.

따라서, 안전성 정렬의 근본적인 메커니즘을 이해하고 이를 표적으로 삼는 원칙적이고 일반화 가능한 공격 프레임워크의 필요성이 대두되었습니다.

2. 핵심 가설 및 방법론 (Methodology)

이 논문은 NeuroStrike라는 새로운 공격 프레임워크를 제안합니다. 핵심 아이디어는 안전성 정렬이 모델 전체가 아닌 희소하고 전문화된 '안전 뉴런 (Safety Neurons)' 집합에 의해 구현된다는 가설에 기반합니다.

A. 안전 뉴런의 특성

• 전문성 (Specialized): 유해 입력을 감지하고 거부하는 특정 뉴런들입니다.
• 희소성 (Sparse): 전체 모델 파라미터 중 극히 일부 (레이어당 약 0.6% 미만) 만을 차지합니다.
• 전이성 (Transferable): 같은 계열의 모델 (파인튜닝, 증류 모델 포함) 간에 구조적, 기능적으로 보존됩니다.

B. 공격 시나리오

NeuroStrike 는 두 가지 환경에서 작동합니다.

1. 화이트박스 공격 (White-box Attack):

   • 안전 뉴런 식별: 유해한 프롬프트와 안전한 프롬프트를 모델에 입력하여 MLP(Multi-Layer Perceptron) 레이어의 뉴런 활성화 패턴을 분석합니다. 로지스틱 회귀 분류기를 훈련시켜 유해 입력을 감지하는 데 기여도가 높은 뉴런 (안전 뉴런) 을 식별합니다.
   • 뉴런 가지치기 (Pruning): 식별된 안전 뉴런의 활성화 값을 0 으로 설정 (제거) 하여 모델의 안전성 메커니즘을 무력화합니다.
   • 결과: 모델은 여전히 프롬프트를 이해하지만, 유해한 내용을 생성하는 것을 거부하지 않게 됩니다.

2. 블랙박스 공격 (Black-box Attack):

   • LLM 프로파일링 (LLM Profiling): 타겟 모델의 내부 접근이 불가능할 때, 타겟과 아키텍처가 유사한 오픈 가중치 모델 (Surrogate) 을 사용합니다.
   • 적대적 프롬프트 생성기 훈련: GRPO(Group Relative Policy Optimization) 를 사용하여 프롬프트 생성기를 훈련합니다.
     • 목표 1: 유해한 출력을 유도 (Jailbreak 성공).
     • 목표 2: Surrogate 모델의 안전 뉴런 활성화 최소화 (은폐).
   • 전이 공격: Surrogate 모델에서 최적화된 프롬프트를 블랙박스 타겟 모델에 적용하여 안전 정렬을 우회합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 관점 제시: 안전성 정렬이 희소하고 전문화된 '안전 뉴런'을 통해 구현되며, 이것이 모델의 치명적인 약점 (Single Point of Failure) 이 됨을 규명했습니다.
2. 경량화 및 정밀한 식별: 오픈 가중치 LLM 에서 뉴런 활성화 분석을 통해 안전 뉴런을 정확하게 식별하고 가지치기하는 방법을 제안했습니다.
3. 블랙박스 프로파일링 공격: 처음으로 오픈 가중치 모델의 안전 뉴런 전이성을 활용하여 블랙박스 (상용) 모델에 대한 공격을 가능하게 하는 'LLM 프로파일링' 기법을 제안했습니다.
4. 광범위한 실험: Meta, Google, Alibaba, DeepSeek, Microsoft 등 주요 개발사의 20 개 이상의 오픈 가중치 모델과 5 개의 블랙박스 모델 (Gemini 포함) 에 대해 검증했습니다.

4. 실험 결과 (Results)

A. 오픈 가중치 모델 (White-box)

• 공격 성공률 (ASR): 20 개 이상의 모델에서 안전 뉴런을 0.6% 미만만 제거했을 때, 평균 ASR 이 **12.1% 에서 76.9%**로 급격히 상승했습니다.
• 멀티모달 모델: 텍스트 입력으로 식별된 안전 뉴런을 제거했을 때, 이미지 입력 (NSFW 이미지 등) 에 대한 ASR 이 **100%**에 달했습니다.
• 모델 전이성:
  • 파인튜닝 모델: 11 개 파인튜닝 모델에서 ASR 이 25.1% 에서 78.5% 로 증가했습니다.
  • 증류 (Distilled) 모델: 5 개 증류 모델에서 ASR 이 41.5% 에서 77.7% 로 증가했습니다.
• 유용성 (Utility): 안전 뉴런 제거 후에도 언어 이해 및 추론 능력 (HellaSwag, ARC 등) 은 크게 저하되지 않았습니다.

B. 블랙박스 모델 (Black-box)

• Gemini 계열 및 상용 모델: Google 의 Gemini(Flash, Lite, Pro) 및 자체 모델 (Gemma-3, QwQ) 에 대한 공격에서 평균 ASR 이 **3.5% (Vanilla) / 13.5% (수동 Jailbreak)**에서 **63.7%**로 향상되었습니다.
• 기존 기법 대비 성능: PAIR, TAP, Puzzler 등 최신 Jailbreak 기법보다 높은 성능을 보였습니다 (Puzzler 는 85.7% 를 기록했으나, NeuroStrike 는 오프라인 기반의 효율적인 접근으로 63.7% 달성).

C. 방어 기법 우회

• Perplexity Filtering, SmoothLLM, Layer-Specific Editing (LSE) 등 최신 방어 기법들에도 불구하고 NeuroStrike 는 높은 ASR 을 유지하며 우회했습니다.

5. 의의 및 시사점 (Significance)

• 안전성 정렬의 취약성 규명: 현재 LLM 의 안전성 정렬이 모델 전체가 아닌 소수의 뉴런에 의존하고 있음을 증명하여, 이 부분이 '약점'이 될 수 있음을 보여줍니다.
• 새로운 위협 벡터: 모델의 내부 구조를 직접 수정하거나 (화이트박스), 유사 모델의 특성을 분석하여 (블랙박스) 안전 장치를 무력화할 수 있음을 입증했습니다.
• 향후 방어 방향 제시:
  • 안전 뉴런을 단일 레이어에 집중시키는 대신, 여러 레이어와 뉴런에 분산시키는 다중 목적 정렬 (Multi-objective Alignment) 전략 필요.
  • 모델 아키텍처 측면에서 **Mixture-of-Experts (MoE)**와 같은 구조가 공격을 어렵게 할 수 있음.
  • 런타임 중 뉴런 활성화 모니터링 및 무결성 검증 시스템 도입 필요.

이 논문은 LLM 의 안전성 메커니즘이 얼마나 취약한지 보여주며, 향후 더 견고하고 분산된 안전성 정렬 기술 개발의 필요성을 강력하게 시사합니다.