From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models

기술 요약: 관찰에서 개입으로

문제 정의
기계 학습의 해석 가능성 방법론들은 흔 часто 논리적 비약에 의존한다. 즉, 관찰된 모델 행동의 모집단 수준 요약 통계량을 표적 개입(targeted intervention)의 결과에 대한 유효한 예측 인자로 취급하는 것이다. 혼합 전문가(Mixture-of-Experts, MoE) 모델의 맥락에서, 이는 전문가 제거를 위한 순위를 매길 때 활용률, 활성화 노름(activation norms), 라우팅 가중치 분포와 같은 관찰적 지표를 사용하는 프루닝 파이프라인에서 나타난다. 여기서 내재된 가정은 관찰 점수가 높은 전문가가 더 중요한 작업을 수행하며, 따라서 낮은 점수의 전문가를 제거하더라도 모델 기능이 저하되지 않을 것이라는 점이다. 그러나 어텐션 가중치(Jain & Wallace, 2019) 및 살리언시 맵(Adebayo et al., 2020)에 관한 선행 연구에서 지적되었듯, 연관적 증거(Pearl의 '1단계')가 자동으로 개입적 결론('2단계')을 뒷받침하는 것은 아니다. 본 논문은 MoE 모델의 관찰된 라우팅 통계량이 실제로 토큰 수준에서 인과적 전문가 중요도를 예측할 수 있는지 조사한다.

방법론
저자들은 세 가지 고중복성 MoE 아키텍처(OLMoE-1B-7B-0924, Qwen1.5-MoE-A2.7B, DeepSeek-V2-Lite)에 대해 "인과적 감사(causal audit)"를 수행한다. 이 모델들은 서로 다른 로드 밸런싱 전략, top-k 활성화 비율(6.7%–12.5%), 훈련 패러다임(scratch vs. upcycled)을 포함한 다양한 설계 차원을 포괄한다.

감사 프로토콜은 다음 단계로 구성된다:

1. 지표 선택: 네 가지 정형적인 관찰 지표를 테스트한다: 활용률(utilization rate), 활성화 노름(activation norm), 활성화 시 평균 라우팅 가중치, 활성화 표준 편차.
2. 개입적 진실(Interventional Ground Truth): 각 지표에 대해 저자들은 토큰별 절제(ablation) 실험을 수행한다. 샘플링된 200개의 토큰 위치당, 활성화된 전문가 집합을 식별하고, 대상 지표에 따라 순위를 매긴 뒤, 가장 높은 순위와 가장 낮은 순위의 전문가를 절제(zero out)한다.
3. 인과적 측정: 전문가의 "기능적 중요도"는 절제로 인한 손실 변화($\Delta L$)와 잔차 스트림 변위(gap norm)에 의해 측정된다.
4. 통계 검정: 관찰된 높은 순위의 전문가를 절제하는 것이 낮은 순위의 전문가를 절제하는 것보다 유의미하게 더 큰 손실 변화를 일으키는지 결정하기 위해 대응 표본 t-검정(paired t-test)과 윌콕슨 부호 순위 검정(Wilcoxon signed-rank test)을 사용한다. 효과 크기는 코헨의 $d$(Cohen's $d$)로 측정한다.
5. 대조군(Controls):
   • 다중 비교 교정: 테스트된 60개의 지표-레이어 조합(4개 지표 $\times$ 5개 레이어 $\times$ 3개 모델)에 대해 본페로니 교정(Bonferroni correction)을 적용한다.
   • 라우팅 가중치 대조군: 토큰별 라우팅 가중치($g_i(x_t)$)를 직접 순위 기준으로 사용하는 병렬 실험을 수행한다. 이는 모집단 평균이 아닌 토큰 조건부(token-conditioned)이므로, 예측 신호의 상한선 역할을 한다.
   • 점진적 절제: OLMoE에 대한 실험을 통해 초기 레이어의 중복 버퍼를 평가하기 위해 $k$개의 최고 가중치 전문가를 제거한다.

주요 결과
연구는 관찰 지표에 대해 "깨끗한 세 모델 널(clean three-model null)" 결과를 도출한다:

• 예측력 부재: 네 가지 관찰 지로 지표 중 어떤 것도 60개의 지표-레이어 셀에서 본페로니 교정된 유의성($p < 0.0025$)에 도달하지 못했다. 효과 크기는 모든 조합에서 코헨의 $d = 0.17$ 미만이었다.
• 일관성 없는 부호: 효과의 방향(양 또는 음)은 동일한 지표 내에서도 레이어 간에 일관되지 않았으며, 이는 약한 실제 효과보다는 널 분포(null distributions)의 특징이다.
• 라우팅 가중치 대조군: 직접적인 토큰별 라우팅 가중치를 사용한 대조군 실험은 OLMoE의 마지막 MoE 레이어(Layer 15, $d = +0.231, p = 0.0013$)에서 단 하나의 본페로니 유의적 신호를 회복했다. 이는 실험 설정이 신호를 탐지할 충분한 통계적 검정력을 갖추고 있음을 나타내지만, 모집단 수준의 통계에서는 그러한 신호가 부재함을 보여준다.
• 중복 체제(Redundancy Regime): OLMoE에 대한 점진적 절제 결과, 초기 레이어(0–9)에서는 8개의 활성 전문가 중 7개를 제거하더라도 손실 변화가 미미했다. 이는 초기 레이어의 중복성이 대부분의 선택 기준을 상호 교환 가능하게 만든다는 점을 확인시켜 준다. 즉, 프루닝이 성공하는 이유는 지표가 폐기 가능한 전문가를 식별하기 때문이 아니라, 이 레이어들의 거의 모든 전문가가 폐기 가능하다는 사실 때문이다.
• OLMoE 후기 레이어 이상 현상: OLMoE에서 발견된 단 하나의 유의미한 신호는 초기 레이어에 비해 41배 증가한 잔차 스트림 변위와 일치한다. 그러나 이 신호는 OLMoE에 국한되며 Qwen이나 DeepSeek에서는 나타나지 않으므로, 고중복성 MoE의 일반적인 특성은 아님을 시사한다.

의의 및 주장
본 논문은 겸손하지만 엄격한 주장을 펼친다: 모집단 수준의 관찰적 요약으로부터 토큰 수준의 개입적 전문가 중요도에 대한 추론으로 넘어가는 일반적인 추론 단계에 대한 명시적인 반례를 제공한다.

• 추론의 실패: 결과는 관찰된 라우팅 통계량이 토큰 수준의 개입적 예측을 허용하지 않음을 입증한다. 기존 프루닝 방법의 성공은 지표가 사용된 전문가를 선택하는 타당성보다는 구조적 중복성에 기인한다.
• 인과적 계층: 이 연구는 Pearl의 1단계(연관)와 2단계(개입) 사이의 경계에서의 실패를 보여준다. 어텐션 가중치와 살리언시 맵이 선행 연구에서 개입 결과를 예측하는 데 실패했듯이, MoE 라우팅 통계 또한 유효한 대리 지표로서 역할을 하지 못한다.
• 범위 제한: 저자들은 본 감사가 토큰 수준이며 단일 절제에 초점을 맞추고 있음을 명시한다. 이는 (종종 미세 조정을 포함하는) 배치된 프루닝 파이프라인 자체를 반증하는 것은 아니지만, 그러한 파이프라인이 가정하는 토큰별 메커니즘적 정당성을 제거한다. 이 결과는 고중복성 아키텍처에 특화된 것이며, 저중복성 모델(예: Switch, Mixtral)에서의 지표 유효성은 여전히 미해결 과제로 남아 있다.

결론적으로, 본 논문은 일반화를 요구하는 해석 가능성 주장은 반드시 개입적 증거에 의해 뒷받침되어야 하며, MoE 프루닝의 경우 표준적인 관찰 대리 지표들이 이 테스트를 통과하지 못한다고 주장한다.