技術要約：基盤モデルが増えることは、減ることを意味する

問題定義：大規模プールにおけるビューセット構成

従来のマルチビュー学習は、補完的な少数の既定のビュー（例：異なるセンサーや手作りの特徴量）が識別的な表現を向上させるという仮定の下で動作しています。しかし、学習済み基盤モデルの普及により、候補となるビューの空間は根本的に拡大しました。凍結エンコーダの設定において、各学習済みモデルは個別の表現ビューを誘導し、多様なアーキテクチャ、事前学習目的、モダリティにわたる大規模で不均質なエンコーダのプールを形成します。

この変化により、設計問題は単に固定されたビューの集合を融合することから、**ビューセット構成（view-set composition）**へと変貌しました。すなわち、大規模なプールの中から「どの」エンコーダを組み合わせ、「いくつ」含めるかを決定することです。経験的な観察によれば、ダウンストリームの性能は、融合するエンコーダの数に対して単調に向上するわけではありません。実際には、性能は少数のサブセットを含めた後にピークに達し、その後は低下するのが一般的です。この「ピーク後の低下」現象は、以下の2つの失敗モードによって引き起こされます。

1. 表現の冗長性（Representation Redundancy）： 新しいエンコーダが、現在のセットですでに捉えられている情報を繰り返す。
2. タスクとモデルの不一致（Task-Model Misalignment）： 多様性だけでは有効性に結びつかず、新しいエンコーダがタスクに無関係な手がかりを導入してしまう。

既存の選択戦略は、このレジームにおいては不十分です。エンコーダごとの転移可能性スコアはエンコーダ間の相互作用を無視しており、多様性に基づく基準は有用性よりも差異を優先し、網羅的なサブセット探索は大規模なプールに対して計算量的に不可能です。本論文は、ビューセット構成は**順序付けの問題（ordering problem）**であると断定しています。高品質な順序付けとは、様々な計算予算の下で競争力のある融合セットを提供できるように、有用なエンコーダを優先することです。

手法：KAGES (Kernel-Alignment Greedy Encoder Selector)

トレーニングフリーのセットレベルの選択基準の必要性に対処するため、著者らはKAGESを提案しています。KAGESは、ダウンストリームの分類器の学習や組合せ的なサブセット探索を必要とせずに、エンコーダの順序を構築する、ラベル認識型の貪欲なセレクターです。

コア目的

KAGESは、その表現カーネルとラベルカーネルの間のアライメントに基づいて、融合セット $S$ の有用性を定義します。具体的には、**中心化カーネル・ターゲット・アライメント（Centered Kernel-Target Alignment: CKA）**を利用します。

• 有用性関数: $J(S) = U(\bar{F}_S, Y) - \tau \sum_{s \in S} \frac{d_s}{n}$。ここで、$U$ は結合表現カーネル $K_S$ とラベルカーネル $K_Y$ の間のCKAです。第2項は、エンコーダ次元 $d_s$ に基づくオプションの複雑性ペナルティです。
• 加法性: 線形カーネル融合（特徴量結合）の下では、融合カーネルは加法的（$K_S = \sum K_s$）になります。これにより、KAGESは、各候補サブセットに対してモデルを再学習することなく、カーネルレベルで直接、限界利得を評価できます（ステップごとに $O(n^2)$）。

選択メカニズム

KAGESは貪欲に動作します：

1. 空の集合 $S$ を初期化する。
2. 各ステップにおいて、すべての候補エンコーダ $m \notin S$ を、セットレベルの有用性の限界利得 $\Delta J(m | S) = J(S \cup \{m\}) - J(S)$ によって評価する。
3. 最大の限界利得を持つエンコーダを選択し、$S$ に追加する。
4. すべての候補が順序付けられるまで繰り返す。

この限界利得の基準は、関連性と冗長性の解釈を許容します。このアルゴリズムは、ラベルとよくアライメントされている（関連性）一方で、すでに選択されたエンコーダとのカーネルの重なりが限定的である（冗長性）候補を優先します。決定的なことに、冗長性の重みは固定されるのではなく、現在のセットのアライメントと質量によって適応的に決定されます。

理論的保証

本論文は、条件付きの理論的保証を提供しています。アライメントの有用性が単調であり、劣モジュラ比（$\gamma$）を満たす場合、サイズ $k$ の貪欲なプレフィックスは、最適なサイズ $k$ のサブセットに対して $(1 - e^{-\gamma})$ の近似を実現します。さらに、本論文は、順序依存のピークを説明する「単一の利得－コスト交差（single gain-cost crossing）」メカニズム（定理1）を確立しています。これは、エンコーダが追加されるにつれて、限界利得は減少する一方で有限サンプルのコストが蓄積し、最終的に性能の低下を引き起こすことを示しています。

主な貢献

1. 新たな枠組みの提示： 大規模なプールにおける凍結基盤モデルの融合を、スケールされたマルチビュー学習として再構成し、ビューセット構成を中心的な設計問題として定式化した。
2. 理論的特性付け： 「多ければ良い」という仮定が失敗する理由について、限界効用の観点から説明を行い、順序依存の性能ピークとそれに続く低下をもたらす利得－コストの交差を特定した。
3. スケーラブルな選択手法 (KAGES)： カーネルアライメントを通じて候補を評価する、トレーニングフリーでラベル認識型のセレクターを導入した。これは、候補となるすべてのサブセットに対してダウンストリームの予測器を繰り返し適合させる計算コストを回避し、条件付きのプレフィックス単位の近似保証を提供する。
4. 広範な実証的検証： 画像分類、画像検索、および凍結LLMの融合にわたってアプローチを検証し、ピーク後の低下現象が構造的であり、汎用的なものであることを示した。

実験結果

著者らは、5つの認識レジーム（一般的な物体、細粒度、テクスチャ、地理空間、構造化シンボル）において、5つの事前学習パラダイム（言語教師あり、自己教師あり、生成、クラス教師あり、タスクエキスパート）にわたる10〜15個の凍結エンコーダのプールを用いてKAGESを評価しました。

• 性能： KAGESは、フル融合（Fuse-All）、ランダムな順序、多様性ベースの選択、および強力なサブセット選択ベースライン（DPP, Submodular）を含む競合手法を一貫して上回りました。
• 指標： AULC（k-精度曲線下の面積）および Acc@k*（ピーク精度）によって測定。KAGESは、すべてのプロトコル（16-shot、大きなプールを用いた8-shot、およびフルデータ）において最高のAULCを達成しました。
• 具体的な利得： 構造化シンボルタスク（GTSRB）において、KAGESはフル融合に対して+8.9から+15.5ポイント改善しました。フルデータプロトコルでは、フル融合を平均+3.3ポイント上回りました。
• 挙動： KAGESは、高有用なエンコーダ（DINOv2のような自己教師ありモデルやResNet-50のようなクラス教師ありモデルなど）を適切に「フロントロード（前方に配置）」し、分類タスクとアライメントしていない敵対的なパラダイム（生成モデルやタスクエキスパートモデル）を正しく拒絶しました。
• 汎用性： ピーク後の低下パターンとKAGESの優位性は、画像検索および凍結LLMの融合（MMLUおよびARC-Challenge）においても観察され、標準的な画像分類を超えた本手法の適用可能性を裏付けました。

意義と主張

本論文は、基盤モデルのプールに対する効果的なマルチビュー学習は、より多くのエンコーダを融合することではなく、コンパクトで補完的なビューのセットを選択することにかかっていると主張しています。著者らは、公開モデルのハブが拡大するにつれ、マルチビュー学習の中心的な問いは「固定された少数のものをいかに融合するか」から「どのエンコーダを融合するか」へとシフトすると述べています。

KAGESは、この問いに対するトレーニングフリーで理論に裏付けられた回答を提供します。カーネルアライメントを活用することで、候補となるすべてのサブセットに対してダウンストリームの予測器を訓練するという計算コストをかけることなく、高品質なエンコーダの順序付けを行うスケーラブルなセットレベルの基準を提供します。本研究は、「多ければ良い」という仮定は構造的に欠陥があり、異種混合のエンコーダプールから潜在能力を引き出すには、明示的なビューセット構成が必要であることを示唆しています。