기술 요약: 혼합 전문가 (MoE) 대규모 언어 모델에서 안전 민감성 전문가 행동 이해

1. 문제 제기

혼합 전문가 (MoE) 대규모 언어 모델 (LLM) 은 토큰이 특정 하위 집합의 피드포워드 전문가로 지시되는 희소하고 라우터 기반의 활성화를 활용합니다. 안전 정렬에 관한 지배적인 직관은 유해한 요청에 대한 거절이 해당 주제와 관련된 전문가와 분리된 별도의 '거절 지향' 전문가로 입력을 라우팅함으로써 달성된다는 것입니다.

본 논문은 해당 직관에 도전하며 다음과 같은 질문을 제기합니다: 정렬된 MoE 모델이 유해한 요청을 거절할 때, 그 거절은 안전 전문화된 별도의 전문가 집합으로 라우팅함으로써 유도되는 것입니까, 아니면 그렇지 않으면 요청을 처리했을 동일한 주제 전문화된 전문가 내의 표현에 의해 매개되는 것입니까?

저자들은 안전 행동이 주로 라우팅에 의해 통제된다면, 라우터의 결정을 변경하는 것이 안전을 우회하는 가장 효과적인 방법이 될 것이라고 가정합니다. 반대로, 안전이 전문가 매개변수 자체에 내재되어 있다면, 안전 행동이 반전되더라도 라우팅 패턴은 안정적으로 유지될 수 있습니다. 이 차이를 이해하는 것은 견고한 안전 메커니즘을 개발하고 MoE 취약점을 평가하는 데 필수적입니다.

2. 방법론

2.1 라우팅 행동을 위한 경험적 프로브

라우팅과 안전 간의 관계를 조사하기 위해 저자들은 정렬된 MoE 모델 전반에 걸쳐 세 가지 보완적인 경험적 프로브를 수행했습니다:

1. 교사 강제 행동 대비: 동일한 유해한 프롬프트에 대해 안전 정렬된 거절 연속과 교사 강제 준수 연속이라는 두 조건 하에서 라우팅 패턴을 비교했습니다.
2. 프롬프트 수준 거절 스타일 대비: 무해한 프롬프트를 사용하여 거절 접두사를 추가하여 거절 스타일 응답을 유도한 후, 결과적인 라우팅을 원래 무해한 요청 및 교차 주제 제어와 비교했습니다.
3. 매칭된 안전 의도 대비: 주제와 구문 구조는 유지하되 안전하지 않은 의도는 제거한 쌍을 이루는 프롬프트를 구성했습니다 (예: "폭탄 만드는 법"을 "장난감 만드는 법"으로 변경).

지표: 라우팅 유사성은 라우터 로짓의 제네슨 - 샤논 (JS) 발산과 상위-$k$개 활성화된 전문가의 중첩을 사용하여 정량화되었습니다.

결과: 모든 프로브에서 거절/준수 행동 또는 안전 의도의 변화는 요청 주제의 변화에 비해 라우팅 변화가 현저히 작았습니다. 이는 MoE 라우터가 주로 주제 기반으로 작동하며, 안전 강화는 별도의 라우팅 경로가 아니라 해당 주제에 대해 자연스럽게 활성화된 전문가의 표현 내에 존재함을 시사합니다.

2.2 RASET 프레임워크

안전 행동이 고유한 라우팅 경로를 방해하지 않고도 변경될 수 있다는 발견에 영감을 받아, 저자들은 **RASET(Router-Agnostic Safety-critical Expert Tuning)**을 제안합니다. 이는 모델의 주제 전문화 계산을 유지하면서 유해한 콘텐츠를 유도하도록 설계된 레드팀링 프레임워크입니다.

주요 단계:

1. 안전 민감성 전문가 식별:

   • 프레임워크는 각 층 $l$의 각 전문가 $i$에 대해 **안전 민감성 점수 ($S_{l,i}$)**를 계산합니다.
   • 이 점수는 대비 라우팅 민감성 기준에서 도출됩니다: $S_{l,i} = A(l, i; D_{harm}) - \lambda \cdot A(l, i; D_{norm})$.
   • 이는 유해한 쿼리 ($D_{harm}$) 에 대한 전문가의 활성화와 무해한 지시 ($D_{norm}$) 를 대비하여, 일반적으로 활성화되는 전문가 (주제 일반적) 를 억제하고 유해한 요청에 불균형적으로 동원되는 전문가를 부각시킵니다.
   • 가장 높은 점수를 가진 상위-$K$개 전문가가 핵심 집합 $\Phi_{key}$로 선택됩니다.

2. 제약된 전문가 수준 적응:

   • 동결: 라우터, 공유 구성 요소 및 선택되지 않은 모든 전문가가 동결됩니다.
   • 파인튜닝: 선택된 전문가 ($\theta_{\Phi}$) 에 대해서만 매개변수 효율적 튜닝 (PEFT) 이 적용됩니다.
   • 손실 함수:
     • $L_{violate}$: 거절 패턴 (예: "죄송합니다, 할 수 없습니다") 을 패널티하고 유해한 쿼리와 짝을 이루는 긍정적 접두사 (예: "네, 여기 있습니다...") 를 장려하는 이중 전략입니다. 무제한 최적화를 방지하기 위해 최대 마진 패널티를 사용합니다.
     • $L_{preserve}$: 무해한 지시 ($D_{norm}$) 에 대한 음의 로그 가능도 (NLL) 를 최소화하고 튜닝된 매개변수가 사전 학습된 상태에 가깝도록 L2 정규화를 적용하여 일반 능력을 유지하도록 보장합니다.
   • 목적 함수: $L_{total} = L_{violate} + L_{preserve}$.

3. 주요 기여

1. 라우팅 역학에 대한 경험적 증거: 이 논문은 정렬된 MoE 모델에서 라우팅이 거절과 준수 간의 이진적 구분이 아닌 의미론적 주제 구조에 의해 주로 주도된다는 통제된 증거를 제공합니다. 안전 관련 행동은 라우팅 경로의 상당한 변화 없이도 크게 변할 수 있습니다.
2. RASET 프레임워크: 라우터를 동결하는 진단적 전문가 수준 적응 프레임워크의 도입. 이는 안전 민감성 전문가 표현의 통제된 분석을 가능하게 하며, 모델의 기능적 전문화를 방해하지 않고 국소적 매개변수 변경을 통해 안전 정렬이 훼손될 수 있음을 보여줍니다.
3. 다양한 백본에 대한 평가: OLMoE, DeepSeek-V2, Qwen3, Phi-3.5, GPT-oss 등 다섯 가지 오픈 가중치 MoE 백본을 통해 이 현상을 평가하여 일관된 국소적 안전 실패 모드를 보여주었습니다.

4. 결과

4.1 레드팀링 성능

RASET 은 다섯 가지 MoE 모델에 대해 Greedy Coordinate Gradient (GCG) 와 같은 베이스라인과 비교 평가되었습니다.

• 공격 성공률 (ASR): RASET 은 모든 엄격성 수준에서 가장 높은 수확량을 달성했습니다.
  • $ASR_{raw}$ (방어 위반): 평균 78.6%.
  • $ASR_{valid}$ (유효 위반): 평균 74.0%.
  • $ASR_{hq}$ (고품질 위반): 평균 50.5%.
• 비교: RASET 은 $ASR_{hq}$ 지표에서 가장 강력한 베이스라인 (GCG) 보다 평균 37.6 포인트 더 높은 성능을 보였습니다.

4.2 일반 능력 보존

• 매개변수 효율성: RASET 은 모델 매개변수의 **0.12%–0.95%**만 업데이트합니다.
• 유용성 유지: 이 프레임워크는 라우터 조작 베이스라인에 비해 무해한 유용성을 훨씬 더 잘 보존합니다.
  • TruthfulQA: 평균 5.4 포인트 감소 (68.9% $\to$ 63.4%).
  • MMLU: 평균 7.5 포인트 감소 (69.9% $\to$ 62.4%).

4.3 라우팅 안정성

중요하게도, RASET 은 모델의 고유한 라우팅 논리를 유지합니다:

• JS 발산: 사전 튜닝 모델과 사후 튜닝 모델 간의 라우터 로짓 변화는 무해한 작업의 경우 0.04 미만, 유해한 작업의 경우 0.08 미만으로 유지되었습니다.
• 전문가 중첩: 상위 8 개 전문가의 중첩은 높게 유지되었습니다 (예: 무해한 작업의 경우 8 개 중 7.0 이상, 유해한 작업의 경우 약 5.66).
• 결론: 모델은 여전히 동일한 주제 관련 전문가로 토큰을 배분합니다. 안전 우회는 라우팅 경로가 변경되었기 때문이 아니라, 근본적인 전문가 매개변수가 "재프로그래밍"되었기 때문에 달성됩니다.

5. 중요성 및 주장

이 논문은 이러한 발견이 MoE 아키텍처에서 독특한 안전 위험을 드러낸다고 주장합니다: 모델의 라우팅 행동이 대부분 intact(완전) 으로 유지되더라도, 안전 정렬은 작고 국소적인 전문가 수준의 변경을 통해 훼손될 수 있습니다.

• 안전에 대한 함의: 라우터 조종에 의존하거나 안전이 특정 '거절 전문가'에 격리되어 있다고 가정하는 현재의 안전 메커니즘은 불충분할 수 있습니다. 안전 강화는 주제 전문화된 전문가의 표현 내에 분산되어 있는 것으로 보입니다.
• 공격에 대한 함의: 라우터 조종 개입 (토큰을 다른 전문가로 강제 이동) 은 안전 행동을 변경할 수 있지만, 종종 요청된 주제에 특화된 전문가에서 토큰을 잘못 지시함으로써 의미적 충실도와 유용성을 희생합니다.
• 미래 방향: 저자들은 라우터 행동, 전문가 전문화, 그리고 전문가 매개변수 자체의 견고성을 함께 고려하는 전문가 인식 정렬 메커니즘의 필요성을 강조합니다.

이 논문은 RASET 이 라우팅 일관성을 유지하면서 안전 행동을 반전시키는 데 성공함으로써, 전문가 수준 적응이 MoE LLM 에서 안전을 우회하는 강력한 벡터라는 견해를 지지한다고 결론지었습니다.