Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
この論文は、大規模な基礎モデルにおける不確実性の定量化と計算コストの両立を実現するため、混合専門家(MoE)層のルーティング段階にベイズ推論を限定した「変分混合専門家ルーティング(VMoER)」を提案し、較正誤差の大幅な削減と分布外データに対する性能向上を、計算コストの増加を最小限に抑えながら達成することを示しています。