Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts

기술 요약: Mixtral MoE 의 benign 및 harmful 프롬프트에 대한 안전 지향적 라우팅 분석

문제 제기
Mixtral 8x7B 와 같은 희소 혼합 전문가 (MoE) 언어 모델은 각 토큰에 대해 매개변수의 작은 부분집합만 활성화하며, 전문가 참여를 결정하는 라우터에 의존합니다. 이전 연구는 Mixtral 의 라우팅 패턴이 의미 영역보다 구문과 더 밀접하게 일치한다고 시사하지만, benign 프롬프트와 harmful 프롬프트를 처리할 때 라우터 행동이 체계적으로 변화하는지는 여전히 불분명합니다. 본 논문은 Mixtral 의 안전 관련 행동이 식별 가능한 내부 라우팅 메커니즘과 연관되어 있는지, 구체적으로 harmful 프롬프트가 benign 프롬프트와 비교하여 고유한 전문가 선택 빈도나 기울기 민감도를 유발하는지 조사합니다.

방법론
저자들은 Mixtral 8x7B-Instruct 를 연구하기 위해 두 가지 보완적 신호를 사용하는 통합 분석 프레임워크를 개발했습니다:

1. 활성화 기반 점수: 라우터 게이트에 의한 전문가 선택 빈도에서 도출됩니다. 이는 토큰 전반에 걸쳐 특정 전문가가 얼마나 자주 활성화되는지를 포착합니다.
2. 기울기 기반 점수: 시퀀스 손실에 대한 라우터 게이트 가중치의 절대 기울기 크기로 도출됩니다. 이는 특정 라우터 매개변수가 모델 손실에 얼마나 영향력이 있는지 포착합니다.

연구는 기술적 분석을 위해 20 개의 프롬프트 (10 개의 benign, 10 개의 harmful) 를, 개입 실험을 위해 100 개의 harmful 프롬프트를 활용했습니다. 분석은 세 가지 수준에서 진행되었습니다:

• 전문가 수준: $k_{80}$, $k_{90}$, $k_{95}$(점수 질량의 80~95% 를 커버하는 데 필요한 쌍의 수) 및 엘보 컷오프와 같은 지표를 사용하여 256 개의 레이어 - 전문가 쌍 (32 레이어 × 8 전문가) 전반에 걸친 점수 분포를 분석.
• 레이어 수준: 32 개 레이어 각각에 대해 집중도 지표 (주도 점수, 상위 2 개 합, 엔트로피, 유효 전문가 수) 계산.
• 전문가 분류: 그룹 평균 간의 차이와 최소 크기 임계값을 기반으로 레이어 - 전문가 쌍을 "benign-우세", "malicious-우세", 또는 "공유"로 분류.
• 개입: 100 개의 harmful 프롬프트에 대한 생성 중 각 방법에 의해 식별된 상위 5 개 benign-우세 전문가를 억제하여 거절 행동의 변화 (제한된 응답 vs. 제한되지 않은 응답) 측정.

주요 기여

1. 통합 프레임워크: 안전 관련 조건 하의 Mixtral 내부 라우팅 행동을 분석하기 위한 이중 신호 (활성화 및 기울기) 프레임워크 도입.
2. 신호 분기: 활성화 기반 라우팅은 광범위하고 긴 꼬리를 가진 반면, 기울기 기반 중요도는 실질적으로 더 집중되어 있음을 증명.
3. 레이어별 선택성: 활성화 기반 선택성은 중간후반 레이어 (815) 에서 정점을 이루는 반면, 기울기 기반 중요도는 최종 레이어에 급격히 집중됨을 식별.
4. 전문가 중첩: 대부분의 전문가가 benign 및 harmful 그룹 간에 공유되며, 명확한 그룹 선호도를 보이는 소수의 부분집합만 존재함을 보여주는 분류 결과.
5. 인과적 증거: 식별된 전문가를 억제하면 거절률이 감소한다는 초기 개입 결과를 통해 라우팅 행동과 안전 출력 간의 메커니즘적 연결을 제공.

결과

• 전문가 수준 분포: 활성화 점수는 모델의 상당 부분에 걸쳐 분포되어 있어 (질량의 80% 를 커버하는 데 약 150 개 이상의 쌍 필요) 반면, 기울기 점수는 매우 집중되어 있음 (약 50~60 개의 쌍 필요). 이러한 분포적 차이에도 불구하고, benign 및 harmful 그룹의 전체 라우팅 분포는 여전히 근접하며 약간의 분리만 보입니다.
• 레이어 수준 역학:
  • 활성화: 가장 선택적인 영역은 레이어 815 입니다. harmful 프롬프트는 최종 레이어 (2431) 에서 약간 더 확산됩니다.
  • 기울기: 중요도는 네트워크 끝으로 갈수록 급격히 증가하며, 최종 레이어 (레이어 31) 에서 가장 강한 집중을 보입니다. 유효 전문가 수는 두 그룹 모두에서 이러한 최종 레이어에서 크게 감소합니다.
• 분류 및 중첩:
  • 활성화 분류는 256 개 중 22 개의 benign-우세 전문가와 18 개의 malicious-우세 전문가를 식별했습니다.
  • 기울기 분류는 6 개의 benign-우세 전문가와 5 개의 malicious-우세 전문가만 식별했습니다.
  • 결정적으로, 기울기 점수로 순위가 매겨진 상위 10 개 전문가는 benign 및 harmful 그룹 간에 강한 중첩을 보였습니다 (10 개 중 8 개 공유), 반면 활성화 상위 10 개는 제한된 중첩을 보였습니다 (10 개 중 3 개 공유). 이는 기울기 중요도가 두 프롬프트 유형을 공통된 후기 레이어 코어로 집중시킨다는 것을 시사합니다.
• 개입 결과:
  • 활성화 억제: 제한된 응답을 24 개에서 14 개로 감소시켰으나 (41.7% 감소), 8 건의 의도치 않은 반전 (제한되지 않은 것에서 제한된 것으로) 을 초래했습니다.
  • 기울기 억제: 제한된 응답을 34 개에서 22 개로 감소시켰으며 (35.3% 감소), 의도치 않은 반전이 적었습니다 (3 건).
  • 두 개입 모두 보편적인 행동 붕괴를 초래하지 않았으며, 이는 안전 행동이 고정된 전문가 단일 부분집합에 의해 제어되지 않음을 나타냅니다.

의의 및 주장
본 논문은 Mixtral 의 안전 관련 라우팅이 고정된 "harmful" 전문가 세트에 의해 지배되는 것이 아니라 미묘하고, 깊이에 의존하며, 분산되어 있다고 주장합니다. 연구 결과는 harmful 프롬프트가 내부 라우팅 행동을 변화시키지만, 이러한 변화는 단일 지표로 포착되지 않음을 시사합니다. 대신, 활성화 신호는 광범위한 라우팅 선호도를 드러내는 반면, 기울기 신호는 후기 레이어의 손실 민감 집중을 강조합니다.

저자들은 단일 내부 지표에 의존하는 것이 MoE 안전에 대한 불완전한 그림을 제공한다고 결론지었습니다. 더 정보적인 접근법은 라우팅 빈도, 손실 민감 중요도, 개입 행동을 공동으로 분석하는 것을 포함합니다. 본 연구는 식별된 전문가가 거절 행동에 기여한다는 초기 인과적 증거를 제공하지만, 메커니즘이 복잡하며 네트워크 깊이 전반에 분산되어 있음을 강조합니다.