技術要約: ExPLoRe (Expert Patch-Level Loss Routing for Multi-Objective Masked Image Modeling)

問題提起

マルチオブジェクティブ（多目的）Masked Image Modeling (MIM) は、トークンレベルの蒸留、グローバルなCLSアライメント、およびピクセルレベルの再構成といった、互いに補完的な学習シグナルを組み合わせることで、堅牢な視覚表現を学習することを目指している。既存の手法はこれらの目的を統合することには成功しているが、通常、すべての空間位置に対して一様に適用されるグローバルなスカラー重みを用いてこれらをバランスさせている。

このアプローチは空間的な不均一性を無視している。すなわち、意味的に豊かな前景パッチは教師モデルによる蒸留に適しており、テクスチャが豊富な背景領域はピクセル再構成により適しているといった具合である。GradNormや不確実性重み付け（uncertainty weighting）のようなグローバルなバランシング手法は、このような変動を捉えることができず、目的関数が空間的に不均一な重要性を持つ場合に、性能の壊滅的な低下を招くことさえある。これまで、マスク画像モデリングにおけるパッチごとの適応的な損失重み付けに対処した研究は存在しなかった。

手法: ExPLoRe

著者らは、Soft Mixture of Experts (Soft-MoE) のディスパッチ重みを、学習可能なパッチごとの損失係数として転用するフレームワークであるExPLoRe (Expert Patch-Level Loss Routing) を提案している。

コアメカニズム: Loss-Coupling（損失結合）

容量のスケーリングやタスク固有のエキスパート割り当てのためにルーティングを使用する従来のMoEの応用とは異なり、ExPLoReは**損失結合（loss-coupling）**を導入している：

1. ディスパッチ重みを損失係数として利用: 本フレームワークは、Soft-MoEルーターによって生成されるディスパッチ重み（$D$）を利用する。各パッチが各エキスパートにどの程度寄与するかを決定するこれらの重みは、その特定のパッチに対する損失をスケールさせるために使用される。
2. 勾配の流れ: 決定的なことに、損失目的からの勾配は、これらのディスパッチ重みを通じてルーターのパラメータへと逆伝播する。これにより、ルーターは**コンテンツ依存の特化（content-dependent specialization）**を学習し、コンテンツに基づいて各パッチに対する異なる目的（例：蒸留 vs 再構成）への強調度を動的に調整することが可能になる。
3. 正規化戦略: 著者らは、（エキスパートごとのパッチに対して正規化された）**結合重み（combine weights）**ではなく、ディスパッチ重み（パッチごとのエキスパートに対して正規化されたもの）を使用している。この選択は、ルーターが困難なパッチの重みをゼロにすることで損失を最小化できてしまうという退化問題を防止するためである。パッチごとの正規化により、ルーターは損失を崩壊させるのではなく、パッチ全体に注意を分散させることが強制される。

アーキテクチャと学習

• フレームワーク: 学習済みCLIP教師モデルが意味的なターゲットを提供する一方で、学生エンコーダ（ViT-Base）は可視パッチ（スパースエンコーディング）を処理する。
• 目的関数: システムは、トークンレベルの蒸留（Huber損失）、グローバルCLSアライメント（コサイン類似度）、およびピクセル再構成（MSE）を組み合わせる。
• エントロピー正則化: エキスパートの崩壊（一つのエキスパートがすべてのパッチを処理してしまう現象）を防ぐため、ディスパッチ重みにエントロピー正則化項が適用される。この正則化の最適な重みは、エキスパート数に依存することが判明している（例：2つのエキスパートの場合は $\lambda=0.5$、64つの場合は $\lambda=5.0$）。
• 配置: Soft-MoEレイヤーは、ViT-Baseの交互のブロック（1, 3, 5, 7, 9, 11）においてMLPを置き換え、損失結合は最終的なMoEブロック（Block 11）に適用される。

下流転移レシピ

MoEモデルの学習済みルーティングパターンを上書きせずに、MoEモデルを下流タスクへ転移させるという課題に対処するため、著者らは3つの補完的な適応戦略を提案している。

1. Freeze Routing (FR): ルーターのパラメータ（$\Phi, s$）を凍結し、事前学習されたパッチ・エキスパート割り当てを保持する。
2. Freeze Attention (FA): アテンションの重みを凍結し、転移可能な視覚構造を保持する。
3. Expert Dropout (ExD): エキスパートの出力にドロップアウトを適用し、支配的なエキスパートへの過度な依存を防ぐ。
   FR + FA + ExD の組み合わせは、高密度予測タスクにおいて、MoEと非MoEモデルの性能差を埋めるために不可欠であることが示されている。

主な貢献

1. ディスパッチ重みによる損失重み付け: Soft-MoEのディスパッチ重みをパッチごとの損失係数として転用し、複数の目的関数にわたるコンテンツ依存の特化を可能にするメカニズムの導入。
2. 損失結合の検証: ディスパッチ重みを通じて勾配が流れることが、特化を駆動するコアメカニズムであることを実証した。「detach」によるアブレーション（勾配の遮断）は、性能を1.6%低下させ、重み付けのないMoEバリアントは非MoEベースラインを下回る。
3. ルーティングのダイナミクス分析: ルーティング挙動の特性評価を行い、エントロピー正則化によって制御される、安定したルーティングと壊滅的な崩壊の間の急激な遷移を明らかにした。本研究は、最適な正則化がエキスパート数に依存することを特定している。
4. 下流適応レシピ: 分類およびセマンティックセグメンテーションの両方において、MoEモデルが非MoEベースラインと同等またはそれを上回ることを可能にする複合戦略（Freeze Routing, Freeze Attention, Expert Dropout）の開発。

実験結果

ImageNet-1Kを用いたViT-Baseおよび凍結CLIP教師による評価：

• 分類性能:
  • Token+CLS: ExPLoReは、64エキスパートで**80.6%**のリニアプローブ精度、**85.3%**のファインチューニング精度を達成し、CAE v2やBEiT v2などの最先端手法に匹敵する。
  • Token+Pixel: 32エキスパートで**73.7%**のk-NN精度を達成し、非MoEベースラインに対して+2.2%の向上を示した。
  • メカニズムの分離: 損失重み付けメカニズム自体が、重み付けのないMoEバリアントに対して+1.3%（2エキスパート時）および+0.9%（64エキスパート時）の寄与をしており、単なるパラメータのスケーリングを超えたルーティングメカニズムの価値を裏付けている。
• 高密度予測 (ADE20K):
  • 適応レシピなしでは、MoEモデルは非MoEベースラインを2.5–2.9 mIoU下回る。
  • 完全な FR+FA+ExD レシピを用いることで、MoEモデルはこの差を埋め、52.8 mIoU (Token+Pixel) および 51.1 mIoU (Token+CLS) に達し、非MoEベースラインと同等またはそれをわずかに上回る。
• 効率性: 最大1.86Bのパラメータ（64エキスパート）を持つにもかかわらず、Soft-MoEはパラメータ数と推論コストを切り離している。ExPLoReの設定は、標準的なViT-B/16の比較対象（17.45 GFLOPs）よりも少ないGFLOPs（11.93–13.86）を必要とし、良好なコスト・品質のトレードオフを提供している。

意義と主張

本論文は、ExPLoReが視覚におけるマルチタスク学習の根本的なギャップ、すなわち空間的な不均一性を扱うことができないグローバルな損失バランシングの問題に対処していると主張している。**損失結合（loss-coupling）**が特化の不可欠な推進力であることを示すことで、本研究は、ルーティングメカニズムが単なる容量確保だけでなく、動的な損失変調のために転用できることを確立した。

著者らは、絶対的なk-NNの利得はわずかであるものの、リニアプローブ精度の著しい向上は、近傍探索による評価では完全には捉えきれない方法で、損失結合されたルーティングが特徴空間を再形成していることを示唆している。さらに、本研究は、MoEモデルが本質的に下流転移において優れているわけではなく、特に標準的なファインチューニングが失敗しやすい高密度予測タスクにおいて、その潜在能力を実現するためには特定の適応レシピ（Freeze Routingなど）が必要であることを強調している。

結論として、ExPLoReは従来のメソッドに欠けていたコンテンツ依存のパッチごとの損失強調を提供し、表現の質を損なうことなく、分類および高密度予測の両方において競争力のある結果を達成しつつ、より効率的な推論プロファイルを提供すると述べている。