Sparse Mixture-of-Experts Reward Models Learn Interpretable and Specialized Experts for Personalized Preference Modeling

기술 요약: 개인화된 선호도 모델링을 위한 희소 전문가 혼합(Sparse Mixture-of-Experts) 보상 모델

문제 정의

인간 피드백을 통한 강화 학습(RLHF)은 대규모 언어 모델(LLM)을 인간의 가치에 정렬시키기 위해 보상 모델에 의존한다. 그러나 기존 방식은 일반적으로 단일한 전역적 보상 함수를 훈련하며, 이는 통합된 인간 가치 개념을 암묵적으로 가정한다. 이러한 가정은 인간 선호도의 내재적 다원성과 이질성을 포착하는 데 실패하며, 개인화된 정렬의 효과를 제한한다.

이질적인 선호도를 모델링하려는 이전의 시도들은 다면적 속성 주석이나 사용자별 레이블과 같은 추가적인 감독 신호를 포함하는 방법을 탐구했다. 이러한 방법들은 효과적이긴 하지만, 높은 주석 비용이 발생하고 사전에 정의된 선호 차원에 의존해야 하므로 확장성과 유연성이 제한된다. 대안적인 데이터 기반 접근 방식은 추가적인 주석 없이 이진 선호 데이터로부터 직접 여러 선호 구성 요소를 학습하려고 시도한다. 그러나 해석 가능성을 위한 명시적인 설계 없이는, 이렇게 학습된 구성 요소들이 얽히고 불일치하는 패턴을 포착하여 감사하기 어렵고 투명한 개인화를 구현하는 데 비효효율적일 수 있다.

방법론

저자들은 표준 이진 선호 데이터만을 사용하여 훈련되는 희소 전문가 혼합(Sparse Mixture-of-Experts, MoE) 보상 모델을 제안한다. 이 아키텍처는 $K$개의 전문가 보상 함수 $\{r_{\theta_k}\}$와 입력 프롬프트 $x$에 대해 전문가들에 대한 소프트맥스 분포를 생성하는 라우터 $\pi_\phi(x)$로 구성된다. 최종 보상은 전문가 점수들의 가중 평균이다.

모델이 해석 가능하고 전문화된 전문가를 학습하도록 보장하기 위해, 훈련 목적 함수에는 표준 브래들리-테리(Bradley-Terry) 선호 손실($L_{RM}$)에 세 가지 특정 정규화 항을 더한 것이 포함된다:

1. 국소 희소성 ($L_{ls}$): 개별 입력에 대한 라우팅 가중치의 엔트로피를 최소화한다. 이는 라우터가 특정 프롬프트에 대해 단일(또는 매우 적은 수의) 전문가를 선택하도록 유도하여 균등한 분포를 방지한다.
2. 전역 균형 ($L_{gb}$): 배치 전체의 평균 라우팅 분포에 대한 엔트로피를 최대화한다. 이는 라우터가 모든 입력에 대해 단일 전문가에만 의존하여 모델이 붕괴되는 현상을 방지하며, 전문가 풀의 균형 잡힌 활용을 보장한다.
3. 전문가 다양성 ($L_{div}$): 서로 다른 전문가 간의 보상 차이($\Delta_k = r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)$)에 대한 쌍별 피어슨 상관계수를 페널티화한다. 이는 전문가들이 구별되고 얽히지 않은 선호 신호를 포착하도록 강제한다.

전체 손실 함수는 다음과 같이 정의된다:
$$L = L_{RM} + \lambda_{ls}L_{ls} + \lambda_{gb}L_{gb} + \lambda_{div}L_{div}$$

해석 및 적응:

• 해석: 전문가들은 LLM을 사용하여 상위 활성화 예시들을 요약함으로써 해석되며, 이를 통해 각 전문가가 전문화된 특정 도메인이나 작업에 대한 자연어 설명을 얻는다.
• 개인화: 테스트 시점에 전문가들은 고정되며, 라우터는 개인의 선호도에 맞추기 위해 소량의 적응 예시(예: 50개)를 사용하여 미세 조정된다. 적응 후 전문가 가중치의 변화는 모델이 어떻게 적응하는지를 분석하는 질적 렌즈 역할을 한다.

주요 기여

1. 아키텍처: 추가적인 속성 주석이나 사용자 레이블 없이 이진 선호 데이터로부터 분리되고 전문화된 전문가를 학습하는 희소 MoE 보상 모델을 도입한다.
2. 해석 가능성 메커니즘: 희소성과 다양성을 강제하는 것이 라우팅 패턴을 인간이 해석 가능한 의미 구조(예: 특정 주제, 작업 유형 또는 도메인)와 일치시킨다는 것을 입증한다.
3. 개인화 효능: 이러한 분리된 전문가들이 효과적인 테스트 타임 개인화 구성 요소로 작용하여, 최소한의 데이터로 개인의 선호도에 빠르게 적응할 수 있음을 보여준다.
4. 진단 능력: 적응 후 전문가 가중치의 변화가 모델의 적응 동작에 대한 투명한 관점을 제공하며, 특정 전문가 활성화와 목표 선호 속성을 연결함을 확립한다.

실험 결과

저자들은 통제된 환경과 실제 환경 모두에서 이 방법을 평가했다:

• 통제된 실험 (카테고리 복구): 잠재적 카테로리(학술, 전문, 요리, 소설)가 알려진 Stanford Human Preferences (SHP) 데이터셋에서, Sparse MoE는 네 가지 카테고리를 모두 성공적으로 복구했다. 이는 85.60%의 전문가 순도(베이스라인의 약 50% 대비)와 5.77%의 전문가 전문성을 달성하여, 일관된 라우팅 패턴을 학습하는 데 있어 Vanilla MoE 및 MiCRo보다 크게 앞섰다.
• 속성 스티어링: Reasonable Preference Reversal (RPR) 데이터셋에서, 저자들은 라우팅 가중치를 조작함으로써 모델의 행동을 특정 속성(예: "창의성" 대 "과학적 엄밀성")으로 효과적으로 유도할 수 있음을 보여주었다. Sparse Moate는 **43.83%의 플립 비율(flip rate)**을 기록하며 가장 강력한 베이스라인보다 4.52% 높은 성능을 보였다.
• 실제 세계의 해석 가능성: preference-700K 데이터셋에서, Sparse MoE는 가장 높은 **설명 충실도(Description Fidelity, 0.38)**와 전문가 전문성(Expert Specialization, 15.13) 점수를 기록했다. 인간 평가 결과, Sparse MoE의 라우팅 패턴이 베이스라인보다 훨씬 더 일관적임이 확인되었다.
• 개인화 성능: RPR에서의 테스트 타임 개인화에서, Sparse MoE는 단 50개의 적응 예시만으로 전체 정확도를 25.81 포인트 개선하여, 10포인트 미만의 개선을 보인 모든 베이스라인을 크게 압도했다. PersonalLLM 데이터셋의 사용자 수준 적응에서도 유사한 이점이 관찰되었다.

의의 및 주장

본 논문은 Sparse MoE 보상 모델이 비용이 많이 드는 사전 정의된 주석에 의존하지 않고도 개인화된 선호도 모델링을 위한 확장 가능한 솔루션을 제공한다고 주장한다. 분리된 전문가를 직접 학습함으로써 이 접근 방식은 다음을 가능하게 한다:

• 투명한 개인화: (전문가 가중치 변화를 통해) 모델이 어떻게 적응하는지에 대한 명확한 이해를 유지하면서 LLM을 개인의 선호도에 적응시키는 능력.
• 분리된 표현: 전역 보상 모델에서는 가려져 있는 잠재적 의미 구조의 복구.
• 효율성: 매우 적은 수의 적응 예시(최소 5개)만으로도 효과적인 개인화를 수행하여, 사용자 데이터가 부족한 실제 배포 환경에서 실용적으로 사용 가능함.

저자들은 이 방법이 하이퍼파라미터 튜닝의 복잡성을 증가시키고 범용 선호도 모델링 정확도를 약간 저하시킬 수 있다는 한계를 인정하였다. 또한, 모델이 해로운 행동을 강화하거나 안전 제약을 우회하도록 적응될 수 있는 윤리적 위험을 강조하며, 실제 배포 시 신중한 윤리적 감독을 권고한다.