🤖 machine learning

Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts

本論文は、300 以上のタスクからなる極めて長いタスクシーケンスを効果的に処理するためのバイレベルルーティング混合エキスパート機構を活用したスケーラブルな継続学習フレームワーク CaRE を提案し、評価用の挑戦的な OmniBenchmark-1K データセットの導入を伴う。

原著者： Meng Lou, Yunxiang Fu, Yizhou Yu

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Meng Lou, Yunxiang Fu, Yizhou Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、新しいカテゴリを一つずつ、数千もの異なる物体を認識させることを想像してみてください。問題は、新しいもの（例えば「コーギー」）を教えるにつれて、以前学んだ古いもの（例えば「ハンバーガー」）を忘れがちになることです。これを「破滅的忘却」と呼びます。

本論文は、この問題を解決するために設計された新しいシステム、CaRE（Continual Learner with efficient Bi-Level Routing Mixture-of-Experts：効率的な二階層ルーティング混合エキスパートを備えた継続学習器）を紹介しています。その仕組みを簡単に説明します。

1. 問題点：「万能型」の罠

現在のほとんどの AI システムは、既存の「脳」を微調整することで新しいタスクを学ぼうとします。犬について教えると、猫を認識するルールが誤って上書きされてしまう可能性があります。

論文の洞察： AI にすべてのタスクで同じ「脳」を使うことを強制するのではなく、CaRE は AI に膨大な専門ツール類のライブラリを与えます。新しいタスクが到来すると、AI は単に学ぶだけでなく、ライブラリから適切なツールを選ぶ方法を学びます。

2. 解決策：「賢い司書」システム（BR-MoE）

CaRE は、**二階層ルーティング混合エキスパート（BR-MoE）**と呼ばれるメカニズムを使用します。AI の脳を、内部に多くの専門的な「エキスパート」（ミニ脳）を持つ巨大な図書館と想像してください。

レベル 1：ヘッド司書（ルーティング選択）
新しい画像（例えばコーギーの写真）が入力されると、システムは単に推測するわけではありません。一連の「ヘッド司書」（クラスパーセプトロンと呼ばれる）に画像を見て、「あなたの特定のセクションに属していることにどの程度自信がありますか？」と尋ねます。
- 「犬の司書」が非常に確信を持っている（不確実性が低い）場合、それが選ばれます。
- 「車の司書」が混乱している（不確実性が高い）場合、無視されます。
- 工夫点： システムは、ただ一つだけでなく、最も関連性がありそうな上位の司書たちを数人選びます。これにより、AI は主要な概念に焦点を当てつつ、関連する概念（他の動物など）も考慮することができます。
レベル 2：専門エキスパート（動的エキスパートルーティング）
上位の司書たちが選ばれた後、それぞれが自身のチームである専門エキスパート（小規模で効率的なアダプター）を呼び出します。
- 各エキスパートは、過去の特定のタスクに特化して訓練されたミニ脳です（例えば、あるエキスパートは犬についてすべてを知っており、別のエキスパートは鳥についてすべてを知っています）。
- 司書たちは、現在の画像に最も役立つ上位のエキスパートたちを活性化させます。
- 「共有エキスパート」： さらに、これまでに学んだことすべてについて少しだけ知っている「スーパーエキスパート」が一人存在します。これにより、AI は一般的な知識を失うことがありません。

3. 「すべての層」の利点

通常、AI システムは最終段階でのみ意思決定を行います。CaRE は異なります。この「司書＋エキスパート」システムが、脳内のすべての層に組み込まれています。

比喩： 工場の生産ラインを想像してください。通常の工場では、最終的な管理者が製品に対して何をするか決定します。CaRE では、ライン上のすべての作業員（すべての層）が、その場でどの特定のツールを使用するかを決定する独自のミニ司書を持っています。これにより、AI は物体の非常に詳細で正確なイメージを、段階的に構築することができます。

4. 新しい課題：「OmniBenchmark-1K」

これが機能することを証明するために、著者たちは既存のテストが簡単すぎると気づきました。ほとんどのテストは 20 タスク（例えば 20 種類の動物を学ぶなど）のみを含んでいました。

彼らは、OmniBenchmark-1Kと呼ばれる、新しい超難易度の高いテストを作成しました。
このデータセットには、1,000 種類の異なるクラス（カテゴリ）と、約 20 万枚の画像が含まれています。
彼らは、CaRE を 100、200、そして連続して301 タスクという順序で学習させることでテストしました。
結果： 他の AI システムはタスク数が増えるにつれて失敗し、何かを忘れ始めましたが、CaRE はさらに良くなり続けました。タスクリストが信じられないほど長くても、CaRE は他のすべての手法を大幅に上回りました。

まとめ

CaRE は、単に事実を暗記するのではなく、状況に応じて適切な記憶を呼び出す方法を学ぶ学生のようなものです。

自信を確認して、最も関連性の高い「記憶の部屋」を見つけます（レベル 1 ルーティング）。
その部屋から特定の「ツール」を取り出して問題を解決します（レベル 2 ルーティング）。
これは思考プロセスの最終段階だけでなく、すべての段階で行われます。

これにより、CaRE は古いものを忘れることなく数百の新しいものを学ぶことを可能にします。この規模で成功裏に実証されたシステムは他にありません。

技術サマリー：Bi-Level Routing Mixture-of-Experts (CaRE) による 300 以上のタスクへの継続学習の拡張

1. 問題定義

継続学習、特にクラス増分学習（CIL）は、モデルが過去の知識を忘却することなく、新しいタスクを逐次的に学習することを目的としています。最近の手法は、事前学習済みモデル（PTM）とパラメータ効率型微調整（PEFT）を活用して有望な結果を示していますが、非常に長いタスク系列（例：数百のタスク）に拡張する際には重大な課題に直面しています。

特定された核心的な困難点は以下の通りです：

識別性と包括的表現のバランスの取れた生成： 既存の手法は、特定のクラスに対して高い識別性を持つ表現と、意味的に関連する過去のタスクからの補完的知識を活用するのに十分な包括的な表現の両方を生成することにしばしば苦労します。粗粒度の戦略（例：グローバルプロンプト）は、微細な補完的手がかりを効果的に活用できません。
多レベルの局所的意思決定： ビジョンモデルは、ネットワークの深さによって異なる抽象化レベルを持っています。静的なルーティング戦略では、各中間層において過去の知識を選択的に取り込むための最適な局所的意思決定を行うことができません。
スケーラブルなベンチマークの欠如： 既存の CIL ベンチマークのほとんど（例：CIFAR-100、標準的な ImageNet サブセット）は、少数のクラス（通常 100 未満）に限定されており、長い系列（100〜300 以上のタスク）における性能評価には不適切です。これにより、現実世界の制約のないタストリームに対する既存手法のスケーラビリティは、ほとんど未探索のままとなっています。

2. 手法：CaRE と BR-MoE

著者は、凍結された Vision Transformer (ViT) バックボーンに基づいた、効率的な Bi-Level Routing Mixture-of-Experts を備えた継続学習器 CaRE を提案します。中核的な革新は、すべての ViT 構築ブロックに統合される Bi-Level Routing Mixture-of-Experts (BR-MoE) モジュールです。

2.1 アーキテクチャ概要

各増分タスク $t$ について、CaRE はすべての BR-MoE モジュール内でパラメータ効率型コンポーネントのトリプレットを学習します：

クラスパーセプトロン ( $C_t$ )： クラスレベルの識別情報を抽出します。
ルーターネットワーク ( $R_t$ )： 専門家選択のためのゲーティング係数を生成します。
専門家/アダプター ( $E_t$ )： 特徴変換のためのタスク固有のアダプターです。
さらに、すべてのタスクにわたって指数移動平均（EMA）で更新され、統合されたタスク間知識を符号化する 共有専門家 ( $\bar{E}$ ) が維持されます。

2.2 Bi-Level ルーティング機構

ルーティングプロセスは、各層における入力特徴 $z_a$ に対して、2 つの動的な段階で行われます：

段階 1：動的ルーター選択

入力特徴の [CLS] トークンは、学習されたすべてのクラスパーセプトロン $\{C_t\}$ に供給されます。
各パーセプトロンは、そのタスクのクラスに対する確率分布を生成します。
これらの分布の エントロピー が計算されます。エントロピーが低いことは、入力がそのタスクに属しているという高い確信度を示します。
システムは、最低のエントロピー値（最も可能性の高いタスク）に関連する Top-M ルーターネットワークを選択します。これにより、モデルは意味的に最も関連性の高い過去のタスクから知識を取得することが保証されます。

段階 2：動的専門家ルーティング

選択された $M$ 個のルーターのそれぞれは、関連するタスク固有の専門家（アダプター）のセットに対してゲーティングスコアを生成します。
各ルーターについて、ゲーティングスコアが最も高い Top-K 個の専門家が活性化され、集約されます。
共有専門家 ( $\bar{E}$ ) は常に活性化され、一般的なタスク間知識で表現を豊かにします。
最終出力は、集約されたタスク固有の特徴と共有専門家の出力の和です。

2.3 学習目的

分類損失： 最終層において、標準的な角損失（angular penalty loss）が適用されます。
クラスパーセプトロン監督： 中間層における堅牢な意味的ガイダンスを確保するため、各層 $\ell$ のクラスパーセプトロンは、自身の分類損失だけでなく、最終層のソフトマックス確率に対する KL 発散損失 によっても監督されます。これにより、中間層が高レベルの意味的抽象化を模倣し、効果的な局所的意思決定を可能にします。

3. 主要な貢献

3.1 CaRE フレームワーク

CaRE は、非常に長いタスク系列（100 から 300 以上の非重複タスク）に効果的に拡張するように設計された最初の継続学習器です。Bi-Level ルーティング機構を採用することで、識別性と包括的な表現の両方を動的に各中間ネットワーク層に注入し、異なる抽象化レベルでのカスタマイズされた知識取得を可能にします。

3.2 OmniBenchmark-1K

長い系列の評価に適したプロトコルの欠如に対処するため、著者は OmniBenchmark-1K を導入します。OmniBenchmark-V2 から選定されたこのデータセットは、21 の視覚領域にまたがる 1,000 クラス、約 190,000 枚の画像を含みます。これは、CIFAR-100 などの既存のベンチマークの限界を克服し、数百のタスクによるスケーラブルな CIL 評価を促進するように特別に設計されています。

3.3 実証的検証

広範な実験により、CaRE が多様な設定において最先端の PTM ベースの CIL 手法（L2P、DualPrompt、TUNA、MOS、MIN など）を上回る性能を示すことが実証されました：

長い系列： OmniBenchmark-1K において、CaRE は 100、151、200、301 タスクの設定において、ベースラインに対して最終精度（ $A_B$ ）で大幅な改善を達成しました。例えば、100 タスクおよび 151 タスクの設定において、それぞれ $A_B$ で TUNA を 8.23%、MIN を 8.68% 上回りました。
短い系列： CaRE は、5〜20 タスクの古典的なベンチマーク（CIFAR-100、ImageNet-R、ImageNet-A、VTAB）においても優れた性能を維持し、系列長全体にわたる堅牢性を示しています。
効率性： CaRE は、性能と計算コストの間の有利なトレードオフを達成し、MOS や TUNA などの手法と比較して、はるかに少ない学習可能パラメータと低い推論遅延で、より高い精度を実現しています。

4. 意義と主張

本論文は、CaRE が非定常なデータストリームと潜在的に制約のないタスク系列を伴う現実世界のシナリオにおいて、継続学習を実用的にするための重要な前進であると主張しています。

スケーラビリティ： この研究は、明確な性能優位性を維持しながら、300 以上の非重複タスクに CIL を成功裏に拡張した最初の取り組みとして提示されています。
機構の有効性： 著者は、Bi-Level ルーティング機構が、ルーター選択を通じて関連する過去の知識を動的に取得し、専門家ルーティングを通じて各層で補完的な特徴を統合することで、「安定性 - 可塑性」のジレンマを効果的に解決すると主張しています。
コミュニティへの影響： CaRE のコードと OmniBenchmark-1K データセットの両方を公開することで、著者は以前は適切なベンチマークとスケーラブルな手法の欠如によって妨げられていた領域である、極めて長いタスク系列に関するさらなる研究を鼓舞することを目指しています。

論文は、CaRE が 300 以上のタスクに拡張可能である一方で、モデルの複雑さは新しいモジュールの追加に伴いタスク数に対して線形に増加する点について謙虚に認め、今後の研究はアーキテクチャのさらなる簡素化と、これらのプロトコルをビジョン・言語モデルへの拡張に焦点を当てる可能性があると結論付けています。