🤖 machine learning

GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging

GLAMは、各タスクに対して重要度スカラーを用いた軽量なLoRAアダプタを学習させた後、それらを剪定、再スケーリング、およびグループ化されたモジュールへとマージすることで、学習パラメータ数と訓練時間を大幅に削減しつつ、長いタスクシーケンスにおいて最先端の精度を達成する効率的な継続学習フレームワークである。

原著者： Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

公開日 2026-08-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、賢いロボットに、愛猫から珍しい鳥、さらには特定の車種の車に至るまで、世界のあらゆるものを認識させる方法を教えていると想像してください。ロボットは、すでに多くのことを知っている巨大なプリロード済みの脳を持っています。しかし、ここからが厄介なところです。新しいことを教えるたびに、ロボットは少し「物忘れ」をしてしまい、昨日学んだことを誤って消去してしまう傾向があるのです。これはコンピュータサイエンスにおける有名な問題で、「破滅的忘却（catastrophic forgetting）」と呼ばれます。通常、これを修正するには、ロボットの脳全体を最初から再学習させる必要があり、それには膨大な時間がかかり、多額の電気代もかかります。科学者たちは、人間と同じように、毎日大規模なメモリのアップグレードを必要とせずに、ロボットが継続的に学習できるようにする方法を見つけようとしてきました。

そこに登場したのが、ロボットの脳の賢く整理された司書のように振る舞う、新しい手法「GLAM」です。GLAMは、新しいレッスンをすべて別々の、場所を取るかさ高い本として詰め込むのではなく、各タスクに対して非常に軽量で小さなメモ（「アダプター」と呼ばれます）を書くようにロボットに教えます。しかし、ここには魔法のようなトリックがあります。GLAMは、何千ものメモをそのまま保持するのではなく、似たようなメモをグループ化し、乱雑で重要でない落書きを削ぎ落とし、それらを一つの整然とした要約へと統合するのです。これは、50冊もの異なる旅行記の束を受け取り、それらを読み通して、重すぎず、かつ最高のヒントがすべて詰まった一つの完璧な旅行ガイドへと凝縮するようなものです。

研究者たちは、このアプローチが驚異的に効率的であることを発見しました。最大50の異なるタスク（例えば、50種類の異なる画像セット）に対してGLAMをテストしたところ、単にうまく学習しただけでなく、学習スピードも非常に速かったのです。実際、競合する最高の手法よりも約3倍速く学習し、他の手法が必要とする「学習可能な脳の力（パラメータ）」のわずか20%程度しか使用しませんでした。他の手法がタスクが増えるにつれて苦戦する一方で、GLamは鋭さを保ち、実施したすべてのテストで最高の精度を達成しました。これにより、過去のことを忘れることなく、またスーパーコンピュータによる膨大な計算を必要とすることなく、長期間にわたって新しいことを学び続けることができるということが証明されました。

問題点：ロボットの短期記憶

現代のAIモデルを、インターネット上のすべてを読み終えた巨大な「学習済み脳」と考えてみてください。それは素晴らしいものですが、欠陥があります。例えば、特定の犬種を認識する方法といった新しいことを教えようとすると、以前に覚えた猫の認識方法を混乱して忘れてしまうことがあるのです。これが「忘却」の問題です。

これを防ぐために、科学者たちは通常、脳の主要な部分を凍結（固定）し、小さな特別なセクションだけに新しいことを学習させようとします。これは「LoRA（Low-Rank Adaptation）」と呼ばれます。脳を巨大な図書館だとすると、LoRAは本全体を書き換える代わりに、特定の棚に小さな付箋を貼るようなものです。これは効率的ですが、もし50の異なるタスクがあれば、50枚の異なる付箋があることになります。50枚のメモを管理するのは煩雑ですし、それらすべてを一度に読もうとすると、ロボットの動作は遅くなってしまいます。

GLAMの解決策：グルーピング・ゲーム

GLAM（Grouped LoRA Adapter Merging）は、これらの付箋をチームに編成することで状況を変えます。その仕組みは以下の通り、ステップごとに説明します。

新しいレッスン： ロボットが新しいタスクを学ぶとき、GLAMはその仕事専用の、非常に軽量なメモ（アダプター）を作成します。また、そのメモがどれほど重要であるかを示す「重要度スコア」も付与します。
グルーピング： すべてのメモをバラバラに保持する代わりに、GLAMは新しいメモをいくつかの「グループ」のいずれかにランダムに割り当てます（例：新しい本を5つの特定の棚のいずれかに置くようなものです）。
クリーニング（プルーニング）： メモが追加される前に、GLAMは素早いクリーニングを行います。メモの内容を確認し、弱くて重要でない部分（「ノイズ」）を捨て、強く明確な情報だけを残します。これにより、メモが乱雑になったり、互いに干渉したりするのを防ぎます。
マージ（統合）： クリーニングされた新しいメモは、その後、グループの既存の要約へと優しくブレンドされます。グループの要約は、新しい情報を取り込みつつ更新されますが、依然として「一つのメモ」としての形を保ちます。
最終結果： 最終的に、すべてのグループの要約は、一つの超効率的なモジュールへと結合されます。ロボットは50個のメモを見る必要はなく、学んだすべてが含まれた、一つのコンパクトな要約を見るだけで済みます。

なぜこれが大きな意味を持つのか

研究者たちは、これを3つの異なる画像データセット（100種類の物体を含むCIFAR-100、200種類の鳥を含むCUB-200、200種類の芸術的な画像を含むImageNet-R）でテストしました。彼らは、通常の10タスクのテストよりもはるかに長い、最大50タスクのシーケンスでロボットに学習させました。

結果は目覚ましいものでした。

スピード： GLAMは、最高の競合手法（CL-LoRA）よりも約3倍速く学習しました。
サイズ： 最良のベースラインが使用した学習可能パラメータのわずか**16〜19%**しか使用しませんでした。
精度： すべてのデータセットで最高スコアを記録しました。例えば、CUB-200鳥データセットでは**70.96%**の精度に達し、次に優れた手法を大幅に上回りました。
忘却： 他の手法よりも忘却が少なかったです。同じデータセットにおいて、一部の手法が学習内容の約33%を忘れてしまったのに対し、GLAMの忘却は約**20%**にとどまりました。

この論文は、「グルーピングとマージ」という戦略こそが、AIが足かせを負うことなく継続的に学習するための鍵であることを示唆しています。アクティブなメモの数を低く抑え、進行しながら整理していくことで、GLAMは、一つひとつの詳細を個別に記憶する必要なく、長い一連のタスクを効率的に学習することを可能にします。これは、私たちと同じように、時間をかけて学び、成長することができる機械への一歩です。

=== 技術要約: GLAM – グループ化されたLoRAアダプター・マージングによる効率的な大規模継続学習 ===

問題提起

継続学習（Continual Learning, CL）は、モデルが以前に獲得した知識を保持しながら、一連のタスクから逐次的に学習することを可能にすることを目的としており、破滅的忘却という永続的な課題に対処するものである。大規模な学習済み基盤モデルは、豊かな表現力を提供することで忘却を部分的に緩和できるが、膨大な計算コストをかけることなく進化するデータ分布に適応することには苦慮している。

既存のパラメータ効率の良い微調整（Parameter-Efficient Fine-Tuning, PEFT）手法、特に低ランク適応（Low-Rank Adaptation, LoRA）は、通常、静的な単一タスクのシナリオ向けに設計されている。LoRAをCLに適用する場合、以下の3つの主要な課題が生じる：

破滅的忘却: 前のタスクからの知識の喪失を防ぐこと。
知識転移: 関連するタスク間での効果的な転移を可能にすること。
スケーラビリティ: タスク数が増加するにつれて、パラメータを効率的に割り当てること。

現在のLoRAベースのCLアプローチは、各タスクに対して個別のアダプターを保存する（推論時にタスク識別子を必要とする）、あるいは知識転移を制限する複雑な隔離戦略を採用することが多い。あるいは、事後的なマージ手法は、学習フェーズ中の転移を制限し、手動で調整された最適とは言えない係数に依存することが多い。さらに、多くの既存手法はアダプターを独立したものとして扱い、共有学習や適応的な再利用をサポートできておらず、タスクシーケンスが長くなるにつれて高い学習コストが発生する。

手法: GLAM

著者らは、GLAM（Grouped LoRA Adapter Merging）を提案する。これは、クラス増分継続学習のために設計されたフレームワークであり、過去のタスクのサンプルにアクセスすることなく、タスクが進展するにつれてアダプターを動的にグループ化およびマージするものである。本手法は、3段階のパイプラインを通じて動作する。

1. タスク固有のLoRAトレーニング

各新しいタスク $T_i$ に対して、GLAMは、関連する重要度スカラー $\alpha_i$ を伴う軽量なタスク固有のLoRAアダプター $\Delta W_i = B_i A_i$ を学習する。

最適化: アダプター $\Delta W_i$ とそのスカラー $\alpha_i$ は、現在のデータセット $D_i$ 上で最適化される。
凍結: 基盤となる学習済み重み $W_0$ および以前に学習されたグループアダプター $\{\Delta W_{G_j}\}$ は凍結されたままとなる。
動的スケーリング: 新しいタスクの学習中、既存のグループアダプター $\{\alpha_{G_j}\}$ のスケーリング係数は、バランスの取れた相対的重要性を維持するために更新される。
分類器マスキング: 現在のタスク以外のクラスに対するロジットをマスクし、関連する分類器パラメータのみを最適化する。

2. アダプターのグルーピング

パラメータの無制限な増加を防ぐため、GLAMは、すべてのタスクに対して個別のモジュールを保持するのではなく、動的なグルーピング戦略を採用する。

グループの関連付け: タスク $T_i$ のトレーニング完了時、新しいアダプターは、利用可能なグループスロットの集合（最大 $G_{max}$ まで）からのランダムサンプリング戦略を通じて、グループ $G_j$ に割り当てられる。スロットが空の場合は新しいグループが初期化され、そうでなければアダプターは既存のグループに加わる。
重要度の集約: 各グループは、自身に割り当てられた全アダプターの重要度因子の移動平均として更新される、単一のスケーリング係数 $\alpha_{G_j}$ を保持する。
マグニチュードに基づくプルーニング: マージの前に、入力されるアダプターはマグニチュードに基づくプルーニングを受ける。行列 $B_i$ および $A_i$ における上位 $k\%$ の重み（絶対値による）のみが保持される。このステップは、Fisher基準のような高い計算コストをかけることなく、弱すぎる、あるいは冗長なコンポーネントからの干渉を軽減する。
グループ内マージ: プルーニングされたアダプターは、グループサイズに基づいた加重平均を用いて、現在のグループアダプター $\Delta W_{G_j}$ と線形にマージされる。これにより、複数のタスク固有の更新が単一のグループレベルの表現へと集約される。

3. 分類器のアライメントと最終結合

分類器のアライメント: 最近学習されたクラスへのバイアスを軽減するため、分類器アライメント段階が行われる。これには、すべての既知のタスクのクラス特徴量の保存されたガウス統計量（平均と分散）からサンプリングされた合成特徴量が使用される。最終的な線形分類器は、これらの合成特徴量を用いて再学習されるが、特徴抽出器は凍結されたままである。
最終結合: 推論時には、すべてのグループアダプターが単一の統一されたモジュールへと結合される。これは、各グループアダプターをその重要度因子 $\alpha_{G_j}$ でスケーリングし、ランク次元に沿って結合することによって達成される。結果として得られるモデルは、単一のコンパクトなアダプター $\Delta W_{final}$ を持ち、タスク数に関わらず一定の計算コストを保証する。

主な貢献

スケーラブルなCL手法: PEFT技術を活用し、タスク固有の適応と、LoRAモジュールおよびその重要度係数を共同学習するメカニメントを組み合わせた、基盤モデルのための新しいアプローチ。
漸進的なマージ・パイプライン: タスク固有のアダプターを、限定された数のグループアダプターへと集約する戦略。これは、逐次的なグルーピングとマグニチュードに基づくプルーニングを通じて、パラメータの増加を制御し、長いタスクシーケンスにおけるマージ干渉を軽減する。
実証的検証: 多様なベンチマーク（CIFAR-100, CUB-200, ImageNet-R）を用いた広範な実験により、長いタスクシーケンス（最大50タスク）を伴う動的なCLシナリオにおいて、強力なベースラインと比較して、最先端の性能を示すとともに、学習時間と学習パラメータを大幅に削減できることを示した。

実験結果

著者らは、標準的なベンチマークを用いて、最大50のタスクのシーケンスという、近年の文献で見られる典型的な10タスクのプロトコルよりも大幅に過酷な設定でGLAMを評価した。

精度と忘却: GLAMは、これら3つのベンチマークすべてにおいて最高の平均精度を達成した。最も強力なベースライン（データセットや指標によって異なる。例：CIFAR-100ではCL-LoRA、ImageNet-RではSEMA）と比較して、GLAMは平均で 6% の精度向上と 8% の忘却減少を達成した。例えば、CIFAR-100において、GLAM (84.73%) は CL-LoRA (77.56%) を大幅に上回り、CUB-200においては GLAM (70.96%) が CL-LoRA (61.49%) を凌駕した。
効率性: GLAMは優れた計算効率を示した。最も強力なベースラインと比較して、約 3倍の学習スピードアップを達成しつつ、使用される学習可能パラメータは、そのベースラインのわずか 16–19% であった（例：CIFAR-100において、GLAMの約3.6Mパラメータに対し、CL-LoRAは約19.2Mパラメータ）。
スケーラビリティ: タスク数が10から50に増加しても、競合する手法が顕著な精度の低下を示す一方で、GLAMは最小限の劣化で堅牢な性能を維持した。
アブレーション研究: 逐次的かつ二段階のマージ戦略の有効性を分析により確認した。ランダムなグルーピングは、より複雑なクラスタリング戦略と同等の効果があることが判明し、マグニチュードに基づくプルーニングは干渉を減らす上で効果的であることが証明された。

重要性と主張

本論文は、GLAMを基盤モデルにおける**生涯学習（Lifelong Learning）**への重要な一歩として位置づけている。既存のPEFTベースのCL手法におけるスケーラビリティのボトルネックに対処することで、GLAMは、パラメータや計算コストの線形的な爆発を起こすことなく、新しい知識の継続的な追加を可能にする。

著者らは、GLAMが、モデルが制約された時間とリソースの予算内で長いタスクシーケンスに適応しなければならない現実世界のシナリオにおいて、実用的なソリューションを提供すると主張している。本手法は、安定性と可塑性のトレードオフをうまく制御し、以前のタスクからの知識を保持しながら、新しい情報を効率的に統合し、最終的なアダプター結合を通じて一定の推論コストを維持している。本研究は、動的なグルーピングとマージが、静的な隔離や事後的な集約よりも、効率的な大規模継続学習への実行可能な道であることを示唆している。