🤖 AI

Continual Model Routing in Evolving Model Hubs

本論文は、継続的モデルルーティング（CMR）設定を形式化し、大規模な CMRBench ベンチマークを導入し、多様なモデルおよびタスクにおけるルーティング精度において既存のベースラインを大幅に上回る対照的埋め込み手法 CARvE を提案することで、急速に拡大する AI ハブにおけるモデル選択の拡張に伴う課題に取り組む。

原著者： Jack Bell, Giacomo Carfì, Gerlando Gramaglia, Vincenzo Lomonaco

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jack Bell, Giacomo Carfì, Gerlando Gramaglia, Vincenzo Lomonaco

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で常に拡大し続ける図書館に入場したと想像してください。毎日、異なる著者によって書かれ、ありとあらゆるトピックを網羅する何千もの新しい本（AI モデル）が到着します。あなたには特定の質問があり、それに対する完璧な答えを見つけるために、たった一冊の「最適な本」を見つける必要があります。

過去には、図書館員に数冊の本を読んでどれが最良か確認してもらうかもしれませんでした。しかし、数百万冊の本がある状況では、数冊を読むだけでも時間がかかりすぎ、コストも高すぎます。あなたは、質問を受けると、どの本も開くことなく瞬時にたった一冊の最良の本を指し示すことができる「超高速な図書館員」を必要としています。

この論文は、AI モデルの世界におけるその超高速な図書館員の構築について取り上げており、特定の課題を解決します：「図書館が本を探している間も成長し続ける場合、何が起こるのでしょうか？」

以下に、簡単なアナロジーを用いた論文のアイデアの概要を示します。

1. 課題：図書館は決して成長を止めない

現在、Hugging Face などの AI モデルハブは、新しい棚を追加し続ける図書館のようです。

課題: 2023 年の本を知るように図書館員を訓練した場合、2024 年に 5,000 冊の新しい本が到着すると、彼らは混乱します。
「破滅的忘却」の問題: 新しい本について図書館員に教えようとすると、彼らはしばしば古い本を忘れてしまいます。新しい数学のテストの勉強をしているうちに、突然基本的な足し算のやり方を忘れてしまうようなものです。
規模: 図書館は数冊の本を追加しているだけでなく、何千冊も追加しています。単純な「検索」では速すぎず、「すべて読む」アプローチでは遅すぎます。

2. 解決策：「CARvE」（賢く適応する図書館員）

著者たちは、CARvE（Continual Anchored Router with Contrastive Embeddings）と呼ばれる新しいシステムを提案しています。CARvE を、特別な「記憶のアンカー」システムを使用する図書館員と想像してください。

「アンカー」の比喩: 図書館員が既知の本に結びつけられた重くて恒久的なアンカーのセットを持っていると想像してください。新しい本が到着すると、図書館員はそれらのアンカーを引き抜くことなく、新しい本について学びます。これにより、古い本は図書館員の頭の中で正確に元の位置に留まりながら、新しい本は自分自身の場所を見つけることができます。
「地図」（埋め込み）: 本全体を読む代わりに、CARvE は各本が何をするかに基づいて、すべての本に小さな「地図の座標」（埋め込み）を作成します。質問をすると、システムは単にどの座標が質問に最も近いかを確認します。これは地図を読む代わりに GPS 位置を確認するようなものです。
「練習」（リプレイ）: 図書館員が古い本を忘れないようにするため、システムは定期的に、慎重に選ばれた古い質問と答えの小さなサンプルを彼らに見せます。これは、記憶を新鮮に保つために、教師が古い教材に関する簡単な小テストを与えるようなものです。

3. 試験：「CMRBench」（シミュレーション）

彼らの図書館員が機能することを証明するために、著者たちは CMRBench と呼ばれる巨大なシミュレーションを構築しました。

彼らは、モデルリリースの 4 つの異なる「時代」をシミュレートする、時間とともに成長する架空の図書館を作成しました。
多くのトピックにわたる 2,000 以上の異なるモデル（本）が含まれています。
彼らは、タイトルで検索するだけの方法や、システム全体を最初から再訓練しようとする方法など、他の方法に対して彼らの図書館員をテストしました。

4. 結果：なぜ CARvE が勝つのか

この論文は、CARvE が他の方法よりも優れている主な 3 つの理由を示しています。

忘れない: 他の方法は混乱し、新しいものが到着するにつれて古いモデルを忘れてしまいましたが、CARvE は古い本に関する記憶をそのまま維持しました。
高速で効率的: 答えを見つけるために図書館全体を読む必要はありません。「地図の座標」を使用して瞬時に正しい本を見つけます。
「ファミリー」の問題に対処する: 時には、全く同じ本ではなく、同じ「ファミリー」（例えば、モデルの特定のバージョン）の本が必要になることがあります。CARvE は正確なタイトルだけでなく、正しいモデルの「ファミリー」を見つけるのが得意であり、これは現実世界ではより有用であることが多いです。

5. 彼らが行わなかったこと（重要な限界）

この論文は、このシステムが現時点で「できない」ことについて非常に明確に述べています。

新しい本への「ゼロショット」なし: 図書館員が一度も見たことがなく、例もない全く新しい本が到着した場合、CARvE は瞬時にそれをルーティングする方法を知ることはできません。その新しい本の使用方法の例をいくつか見てからでないと、地図に追加することはできません。
事前選択: このシステムは、本を読む前に本を選びます。答えが良いかどうかを確認するために本を読むのではなく、タイトルと説明に基づいて、どの本が最も正しい答えを持っている可能性が高いかを推測するだけです。

まとめ

要約すると、この論文はこう述べています：「私たちは、古いものを忘れることなく、巨大で成長し続ける AI モデルのコレクションを管理できる賢いシステムを構築しました。」

彼らはこれをテストするためのベンチマーク（CMRBench）と、新しいことを学びながら古い知識を安定させるために「アンカー」を使用する CARvE という手法を作成しました。これは、システム全体を最初から再訓練したり、キーワードで検索したりする試みよりも優れており、モデルが絶えず変化している AI の未来にとって実用的な解決策となります。

技術概要：進化するモデルハブにおける継続的モデルルーティング

1. 問題定義

AI モデルハブ（例：Hugging Face）の急速な拡大により、中心的な課題はモデルの構築から、特定のクエリに対する適切な事前学習済みモデルの選択へと移行した。Mixture-of-Experts（MoE）アーキテクチャやオーケストレーションパイプラインはルーティングの価値を実証してきたが、既存のアプローチは、現実世界の進化型ハブに適用される際、以下の 2 つの根本的な限界に直面している：

スケーラビリティ：ルーティングは数千の候補エキスパートにスケールする必要があり、推論後の包括的評価や単純なランキングの実行は非現実的となる。
非定常性：モデルハブは動的である。新しいエキスパートが追加され、既存のものが更新され、他のものは時代遅れとなる。静的な検索手法（例：モデルカードの類似性によるランキング）は、大規模で進化する空間において脆く、標準的な検索拡張トレーニング（RAT）は、対象空間が変化するにつれて安定したルーティング性能を保証しない。

著者らは、この設定を**継続的モデルルーティング（CMR）**として形式化し、事前推論におけるモデル選択を、ラベル空間（利用可能なモデルの集合）が時間とともに拡大する継続的分類タスクとして扱う。目標は、ゼロから再トレーニングすることなく、新しいモデルに漸進的に適応しつつ、以前に観測されたモデルに対する能力を保持できるルーターを設計することである。

2. 手法：CARvE

CMR に対処するため、著者らはCARvE（Contrastive Embeddings を用いた継続的アンカー付きルーター）を提案する。モデルカード（自然言語記述）に依存するか、候補モデルを実行するベースラインとは異なり、CARvE はユーザークエリと学習されたモデル埋め込みのレジストリとの間の埋め込み類似性に基づいてルーティングを行う。

コアコンポーネント

埋め込みベースのルーター：ルーターは、各経験でトレーニングされた LoRA アダプターを備えた凍結されたバックボーン言語モデル（例：LLaMA2-7B）を使用する。トークン化されたクエリを固定次元の埋め込み空間（ $\mathbb{R}^d$ ）に投影し、温度スケーリングされたコサイン類似度を用いて、学習されたモデル埋め込みのレジストリと比較する。
非対称アンカリング：破滅的忘却を軽減するため、CARvE はチェックポイントベースのアンカリング機構を採用する。各経験 $t$ の開始時に、 $t-1$ からのルーターパラメータ（投影ヘッドとモデル埋め込み）のスナップショットを取得する。 $E_t$ でのトレーニング中、損失関数は以前に観測されたモデル ID の埋め込みのドリフトにペナルティを課すが、新たに導入されたモデルの埋め込みはアンカリングされず、自由に適応する。これにより、既存のレジストリの幾何学的安定性が維持される。
候補集合トレーニング：数千のモデル全体にわたる完全な softmax の計算コストを回避するため、トレーニングは固定サイズの候補集合（ $K$ ）上で行われる。これらの集合には、真のモデル、現在のプールから採掘されたハードネガティブ、セマンティックネガティブ（同じドメイン）、およびファールネガティブ（異なるドメイン）が含まれる。
構造化リプレイ：この手法は、ドメイン–モデル共核心（coreset）リプレイバッファを利用する。ランダムサンプリングの代わりに、ドメインごとにリプレイ割当を割り当て、ドメイン内で最遠点サンプリング（FPS）を用いて多様な例を選択し、モデルの長尾分布を網羅する。

3. ベンチマーク：CMRBench

著者らは、継続的モデルルーティングのために特別に設計された最初のベンチマークであるCMRBenchを導入する。

構造：APIBench、ToolMMBench、および新しいデータセットである HuggingBench を統合し、4 つの連続した経験を通じて現実的なハブの拡大をシミュレートする。
規模：このベンチマークは、複数のドメインにわたる 2,000 以上の候補モデルに及ぶ。
指標：標準的なモデル ID およびドメイン精度に加えて、著者らはモデルファミリー精度を導入する。この中間粒度の指標は、機能的に類似したバリエーション（例：同じアーキテクチャの異なる量子化レベル）をグループ化し、正確なモデル識別子に対して過度に厳格であることなく、セマンティックなルーティングの品質をよりよく捉える。

4. 実験結果

広範な実験において、CARvE はゼロショット微調整、検索のみの手法（BM25、BGE-M3）、モデルマージ（TIES、DARE）、およびさまざまな継続的学習戦略（EWC、LwF、ランダムリプレイ）を含む強力なベースラインと比較された。

性能：CARvE はすべてのベースラインを大幅に上回る。10% のリプレイ予算において、CARvE は標準的なランダムリプレイの 75.9% の精度と 13.1% の忘却に対し、80.7% のドメイン精度とわずか5.9% の忘却を達成する。20% のリプレイでは、82.9% の精度と 3.0% の忘却に達する。
上限との比較：CARvE は、全データを同時にトレーニングするジョイントトレーニングとのギャップを狭め、一部のドメインレベルの指標においては、より厳格な継続的制約下で動作しながらもそれを上回る。
アブレーション研究：
- アンカリング：投影アンカリングを無効化すると、精度が大幅に低下し、忘却が急増し、埋め込み空間を安定化させる上でのその決定的な役割が確認される。
- リプレイ戦略：ドメイン層化された共核心リプレイは、特に低いリプレイ予算（5-10%）において、ランダムリプレイを上回る。
- 初期化：モデルカードの埋め込みからウォームスタートするよりも、モデル埋め込みのランダム初期化が優れている。これは、カードテキストがルーティングの判別性ではなく、言語的類似性を符号化するためである。
効率性：CARvE は、累積的またはゼロからの再トレーニングと比較して、計算コスト（TFLOPs および GPU 時間）を約 45–60% 削減し、大規模展開を可能にする。

5. 意義と主張

本論文は、大規模ベンチマークと分析を通じて、モデルルーティングにおける継続的学習の中心的役割を実証的に示す最初の研究であると主張する。主な貢献は以下の通りである：

形式化：ルーターが数千のエキスパートにスケールし、非定常なプールに適応しなければならないクラス増分学習問題として CMR を定義する。
ベンチマーキング：静的な候補プールを超えて、コミュニティのための再現可能な参照点として CMRBench を提供する。
手法：CARvEが、対照的埋め込み、構造化リプレイ、および非対称アンカリングを通じて、スケーラブルで堅牢なエキスパート選択を可能にすることを示す。

著者らは、このアプローチが、遅延とコストを削減するために推論前に専門モデルを選択するという実用的なシステムボトルネックに対処していると強調する。CARvE は生ユーザー履歴の保存への依存を減らすものの、プライバシーリスクを排除するものではなく、安全ポリシーと組み合わされない場合、より良いルーティングが意図せずバイアスを増幅する可能性があると指摘する。この研究は、モデル選択の未来は単一の巨大モデルにあるのではなく、継続的学習システムによって管理される進化し、相互作用するモデルの生態系にあることを示唆している。