기술 요약: 라우팅 가중치를 넘어: 기여도 대조를 통한 혼합 전문가(Mixture-of-Experts) 보상 모델의 충실한 응답 수준 해석

1. 문제 정의

보상 모델은 인간의 선호도에 따라 대규모 언어 모델(LLM)을 정렬하는 강화 학습(RLHF)의 핵심입니다. 그러나 이들의 예측을 구동하는 구체적인 속성을 이해하는 것은 여전히 어려운 과제입니다. 최근의 희소 혼합 전문가(sparse Mixture-of-Experts, MoE) 보상 모델은 프롬프트를 특화된 전문가에게 라우팅하여 해석 가능성을 높이려 시도하고 있지만, 현재의 해석 방법들은 불충분합니다.

Wang 등(2026)의 연구와 같은 기존 방식은 **라우팅 가중치(routing weights)**가 가장 높은 예시들을 통해 전문가를 특징짓습니다. 이 방법은 전문가가 어떤 프롬프트(프롬프트 수준의 도메인)를 받는지에 대해서는 밝혀내지만, 해당 전문가가 응답을 어떻게 판단하는지에 대해서는 설명하지 못합니다. 결과적으로, 이러한 해석은 모델의 결정에 직접적인 영향을 미치는 응답 수준의 선호도 차원(response-level preference dimensions)보다는 입력 할당의 맥락만을 포착함으로써, 전문가 행동에 대한 부분적인 설명만을 제공합니다. 또한, 점수 기반 랭킹(score-based ranking)과 같은 대안적 방법들은 라우팅 가중치를 무시하기 때문에, 전문가가 전체 보상에 미치는 영향력은 낮으면서도 점수 분산만 높은 예시들을 강조할 위험이 있습니다.

2. 방법론: 기여도 대조(Contribution-Contrast, CoCo)

저자들은 MoE 보상 모델 내 전문가의 역할을 충실하게 특징짓기 위해 설계된 응답 수준 해석 방법인 **기여도 대조(CoCo)**를 제안합니다.

핵심 개념

CoCo는 라우팅 가중치나 단순한 점수 차이만을 넘어서는 것을 목표로 합니다. 대신, **기여도 대조(contribution contrast)**를 주요 해석 신호로 사용합니다. 주어진 선호 쌍 $(x, y_w, y_l)$과 전문가 $k$에 대해, 부호가 있는 기여도 대조는 다음과 같이 정의됩니다:
$$\Delta c_k(x, y_w, y_l) = \pi_{\phi,k}(x) [r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$$
여기서 $\pi_{\phi,k}(x)$는 라우팅 가중치이며, $[r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$는 선택된 응답과 거부된 응답 사이의 점수 차이입니다. 크기 $c_k$는 전문가가 응답을 얼마나 강력하게 구별하는지를 측정하며, 부호는 해당 전문가가 어떤 응답을 지지하는지를 나타냅니다.

해석 추출

전문가를 해석하기 위해, CoCo는 기여도 대조 크기가 가장 큰 상위 10개의 검증 예시를 선택합니다. 그 후, LLM에 프롬프트를 제공하여 이 쌍들 사이의 공유된 대조 패턴을 요약하게 함으로써, 해당 패턴이 공유된 맥락과 관련이 있는지, 일관된 선호 차원과 관련이 있는지, 혹은 둘 다인지 식별합니다.

정규화(Regularization)

기여도 패턴을 희소하고 다양하게 만들기 위해, 저자들은 Wang 등(2026)의 기존 해석 정규화 기법(국소 희소성, 전역 균형, 전문가 다양성)을 채택했습니다. 이들은 이를 라우팅 가중에 적용하는 대신, 선호 쌍의 **기여도 대조 프로필(contribution contrast profiles)**에 적용합니다. 이러한 경량화된 적응 방식은 근본적인 MoE 아키텍처를 변경하지 않으면서 해석적 제약을 대조적 기여 신호와 일치시킵니다.

베이스라인(Baselines)

본 논문은 CoCo를 다음 모델들과 비교합니다:

1. 라우터 기반(Router-based): 라우팅 가중에 따라 예시를 순위 매김 (프롬프트 수준의 도메인을 포착).
2. 점수 기반(Score-based): 절대적인 전문가 점수 차이에 따라 예시를 순위 매김 (응답 수준의 차원은 포착하지만 라우팅의 영향력을 무시함).
3. SAE 기반(SAE-based): 특징 추출을 위해 희소 오토인코더(Sparse Autoencoders)를 사용하는 SARM 및 WIMHF와 같은 방법.

3. 주요 기여

• 새로운 해석 신호: 본 논문은 라우팅 동작과 선호 동작을 결과적으로 결합하여 포착하는 기여도 대조를 도입함으로써, 라우팅 가중치만으로는 설명할 수 없는 응답 수준의 결정 간극을 해결합니다.
• 응답 수준의 특징화: 프롬프트 도메인을 식별하는 라우터 기반 방법과 달리, CoCo는 모델의 실제 의사결정 과정에 충실한 응답 수준의 선호 차원(예: "길이 긴 목록보다는 간결한 추천")을 식별합니다.
• 체계적인 연구: 이 연구는 MoE 보상 모델을 위한 해석 방법(라우터 기반, 점수 기반, SAE 기반 대안)을 비교하는 최초의 체계적인 연구를 제시합니다.
• 정규화 적응: 라우팅 가중치가 아닌 기여도 대조에서 작동하도록 희소성 및 다양성 정규화 기법을 적용하는 방법을 입증하여, 전문가 역할의 차별성을 강화했습니다.

4. 실험 결과

저자들은 3B 파라미터 MoE 보상 모델을 사용하여 700K(Dong et al., 2024) 및 Reddit(Ethayarajs et al., 2022) 두 데이터셋에서 CoCo를 평가했습니다.

자동 평가

CoCo는 여러 지표에서 기존 베이스라인(SARM, WIMHF, SMoE) 및 대안적 신호(라우터 기반, 점수 기반)보다 우수한 성능을 보였습니다.

• 해석 품질(Interpretation Quality): CoCo는 높은 충실도(Fidelity)(신호와 예시가 해석을 따르는지에 대한 LLM 판단 간의 상관관계)를 달성했습니다. SMoE가 700K 데이터셋에서 낮은 중복성(Redundancy)을 보인 반면, CoCo는 높은 충실도와 성실성을 바탕으로 차별성과 높은 충실도 사이의 균형을 맞추며 전반적으로 강력한 해석 가능성을 보여주었습니다.
• 의사결정 충실성(Decision Faithfulness): CoCo는 우수한 전문가-모델 일치도(Expert-Model Agreement)(전문가와 전체 모델이 일치하는 상위 예시의 비율) 및 제거 반전율(Removal Flip Rate)(전문가를 제거했을 때 모델의 예측이 바뀌는 비율)을 나타냈습니다.
• 전문가 특화(Expert Specialization): CoCo 전문가는 다른 방법들에 비해 상위 랭크된 예시에서 더 높은 **전문가 정확도(Expert Accuracy)**와 **상대적 전문가 우위(Relative Expert Advantage)**를 보였습니다.

인간 평가

5명의 어노테이터가 Reddit 데이터셋에 대해 5개 전문가당 상위 10개 예시를 평가했습니다. CoCo는 **패턴 일관성(Pattern Coherence)**과 설명 품질(Description Quality) 모두에서 가장 높은 점수를 받았으며, 이는 CoCo의 해석이 라우터 기반 또는 SAE 기반 방법보다 더 일관되고 전문가의 역할을 더 잘 설명함을 나타냅니다.

절제 연구(Ablation Studies)

서로 다른 정규화 목적 함수로 학습된 동일한 MoE 모델 내에서의 비교를 통해, 기여도 대조(Contribution Contrast) 신호가 정보가 풍부한 예시 집합을 선택하는 데 가장 효과적임을 확인했습니다. 라우터 기반 또는 점수 기반 목적 함수로 학습된 모델에 적용하더라도, CoCo의 해석은 다른 신호로부터 도출된 해석보다 더 충실하고 특화된 모습을 유지했습니다.

5. 의의 및 주장

본 논문은 CoCo가 기존의 대안들보다 MoE 보상 모델 전문가에 대해 더 일관되고, 충실하며, 특화된 해석을 제공한다고 주장합니다. 라우팅과 선호 동작을 결합함으로써, CoCo는 라우팅 가중치나 전문가 점수만을 개별적으로 사용하는 것보다 모델의 결정을 이해하는 데 더 유익한 기초를 제공합니다.

저자들은 자신의 주장에 대해 신중한 태도를 유지합니다:

• CoCo는 근본적인 MoE 모델이 학습한 구조에 의존하며, 학습된 전문가가 "깨끗하거나" 의미론적으로 명확한 선호 차원에 대응한다는 것을 보장할 수 없음을 인정합니다.
• CoCo는 데이터 중심적 접근 방식이므로, 훈련 데이터에 존재하지 않거나 약하게 표현된 패턴을 복구하지 못할 수 있음을 언급합니다.
• 저자들은 자신들의 지표(충실도, 성실성 등)가 근본적인 디엔탱글먼트(disentanglement)의 증거가 아니라, 행동적 일관성과 결정 정렬의 증거로 기능함을 명시합니다.
• 윤리적으로, 저자들은 CoCo를 바람직한 인간 가치를 검증하는 도구가 아닌 감사(auditing) 도구로 위치시키며, 해석이 기초 데이터에 존재하는 편향을 반영할 수 있음을 명시합니다.

결론적으로, 이 논문은 기여도 대조를 MoE 보상 모델을 해석하기 위한 우월한 신호로 확립하며, 이러한 모델이 인간의 선호도와 어떻게 정렬되는지에 대한 보다 투명하고 실행 가능한 통찰력을 제공하는 경로를 제시합니다.