🤖 AI

HERMAN: Hierarchical Representation Matching for CLIP-based Class-Incremental Learning

HERMANは、LLMを活用して階層的なテキスト記述を生成し、それらをマルチレベルの視覚表現に適応的に適合させることで、微細な差異をより良く捉え、破滅的忘却を軽減し、最先端の性能を達成するCLIPのための新しいクラス増分学習フレームワークである。

原著者： Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢く、旅慣れた司書（AI）に新しい動物の識別方法を教えていると想像してください。まず、猫と犬から始めます。司書はこれらを簡単に区別できるようになります。

次に、オオカミを紹介します。これは厄介です。なぜなら、オオカミは見た目が犬にとても似ているからです。もしあなたが単に「ねえ、オオカミは尖った耳を持っていることを覚えておいて」と伝え、一度に司書の全知識を更新させようとしたら、司書は「犬」の定義を誤ってしまうかもしれません。突然、ゴールデンレトリバーが尖った耳を持っているという理由だけでオオカミだと判断し始めたり、猫と犬の見分け方を完全に忘れてしまったりするかもしれません。これは**破滅的忘却（Catastrophic Forgetting）**と呼ばれます。つまり、新しいことを学ぶことで、すでに知っていたことが台無しになってしまう現象です。

この論文は、この問題を解決するためのHERMANという新しいシステムを紹介しています。その仕組みを、簡単な比喩を使って説明しましょう。

1. 問題点：「一律的な対応」の間違い

現在のAIの手法は、一つの巨大で散らかった棚しか持たない司書のようです。彼らは、「猫と犬」の大きな違いを、「犬とオオカミ」の微細な違いと同じ棚に詰め込もうとします。そして「オオカミ」の詳細を追加しようとすると、誤って「猫と犬」の書物を倒してしまうのです。システムは、すべてを同じ詳細レベルで処理しようとするため、混乱してしまいます。

2. 解決策：多層構造のライブラリ（階層的表現）

HERMANは、ライブラリの構造を変更します。一つの散らかった棚の代わりに、多層的な階層構造を構築します。

上の棚（粗いレベル）： 「動物」「乗り物」「果物」といった、大きく広範なカテゴリーを保持します。ここは非常に安定しています。
真ん中の棚： 「毛が生えている」「車輪がある」「赤い」といった、中程度の詳細を保持します。
下の棚（細かいレベル）： 「尖った耳」「錆びたハブキャップ」「小さな茎」といった、極めて微細で具体的な詳細を保持します。

HERMANがこれを構築する方法：
単に司書に「オオカミとは何か？」と尋ねるのではなく、HERMANは非常に賢い助手（LLM）を使って、あらゆる動物の記述を、非常に一般的なものから非常に具体的なものまで、リストとして作成させます。

一般的： 「それはイヌ科である」
具体的： 「それは長い鼻と厚い毛を持っている」

AIは、これらの記述を自分自身の「脳」（視覚レイヤー）の異なる層にマッチングさせます。脳の上層部は全体像を捉え、下層部は微細な詳細を捉えます。これにより、「猫と犬」のルールは上の棚で安全に守られ、「犬とオオカミ」のルールは下の棚の専用スペースに収まるのです。

3. スマートなマネージャー：適応型ルーター

では、AIはどの棚を見ればよいのかをどうやって判断するのでしょうか？

もし車と自転車を見せられたら、彼は「上の棚」（車輪があるか、ないか）だけを必要とします。
もしスズメとヒワを見せられたら、彼は「下の棚」（微細な模様）を必要とします。

HERMANには**スマートなマネージャー（ルーター）**が備わっています。このマネージャーは画像を見て、「よし、この特定の写真については、上の棚の音量を80%、下の棚の音量を20%にする必要があるな」と判断します。彼は、見ているものに応じて、各詳細レベルのボリュームを動的に調整します。

4. セーフティネット：投影ベースの更新

ここが最もトリッキーな部分です。マネージャーが新しいタスクのために新しいルールを学習するとき、どうすれば古いルールを忘れないようにできるのでしょうか？

マネージャーの脳を、家具（知識）でいっぱいの部屋だと想像してください。

従来の方法： 新しい家具（新しい知識）を持ち込むとき、ただ中に押し込み、古い椅子を倒してしまう。
HERMANの方法： 新しい家具を持ち込む前に、マネージャーは古い椅子が置かれている空きスペースの「スナップショット」を取ります。新しい知識を追加するとき、それは古い椅子に触れないように、空いているスペースに収めるか、あるいは積み重ねるように強制されます。

技術的には、これは**投影ベースの戦略（projection-based strategy）**と呼ばれます。これは、新しい学習が古い知識に対して「直交（垂直）」な方向で行われることを保証し、古い知識が完璧に保たれるようにするものです。

結果

知識を層（階層）に整理し、適切な詳細レベルを選択するスマートなマネージャーを用い、古い記憶を守るセーフティネットを使うことで、HERMANはAIが（例えば100種類の新しい車や鳥を追加しても）古いことを忘れることなく、新しいクラスを学習することを可能にします。

この手法は、標準的なテストにおいて従来の手法を凌駕し、AIがいかに賢く、忘却しない状態を維持できるかにおいて最高の結果（SOTA）を達成したと論文は主張しています。これは、古い写真を保存しておく必要はなく、記憶を整理するためのこれらの巧妙な数学的トリックを用いることで実現されています。

技術要約: クラス増分学習のための HERMAN

問題提起

クラス増分学習（Class-Incremental Learning: CIL）は、過去に学習したカテゴリの知識を保持しながら、新しいクラスを継続的に獲得することを目的としている。主要な課題は破滅的忘却（catastrophic forgetting）であり、これは新しい情報の学習が古いタスクの性能を低下させる現象である。近年の手法は、強力なクロスモーダルな整合性と事前知識を提供するCLIPのような学習済みモデルを活用しているが、既存のCLIPベースのCIL手法には、以下の2つの決定的な限界が存在する：

脆弱な知識表現: ほとんどの手法は、最終的な視覚層と固定されたテキストテンプレート（例：「[CLASS]の写真」）との間の、単一レベルかつ粗粒度な整合性に依存している。これにより、微細な更新（例：「オオカミ」と「犬」の区別）が、粗い分離（例：「イヌ科」対「ネコ科」）に使用されるのと同じセマンティック空間へと強制的に押し込まれてしまう。その結果、新しい詳細に関する更新が、意図せずして古いクラスの決定境界をシフトさせ、性能を低下させてしまう。
階層的セマンティクスの未活用: CLIPの視覚およびテキストエンコーダは、本質的に、粗い概念から微細な属性に至るまでのマルチレベルの特徴量や記述子を捉えている。しかし、既存の手法は通常、これらの中間表現を無視し、最終層のみに焦点を当てている。

手法: HERMAN

著者らは、CLIPベースのCILにおける階層的なセマンティクスを構造化、整合、および適応的にルーティングするために設計されたフレームワークであるHERMAN（HiErarchical Representation MAtchiNg）を提案する。この手法は、3つのコアコンポーネントで構成されている：

1. 階層的表現マッチング（Hierarchical Representation Matching）

単一の固定プロンプトを使用する代わりに、HERMANは**大規模言語モデル（LLM）**を活用して、各クラスに対して、粗い粒度のアイデンティティ・キューから微細な視覚的詳細に至るまで、 $M$ 個のテキスト記述子のセットを生成する。

テキスト生成: クラス $i$ に対して、LLMは記述子の集合 $T_i = \{t_{i,1}, \dots, t_{i,M}\}$ を再帰的に生成する。例えば、「アストンマーティン・ヴィレッジ」の場合、記述子は「スポーツカー」（粗い）から「彫刻的なサイドパネル」（細かい）まで多岐にわたる。
マルチレベルの整合: これらの記述子は、CLIPテキストエンコーダを通じてエンコードされ、階層的なテキスト空間を形成する。モデルは、これらのテキスト埋め込みを（最終層だけでなく）CLIP視覚エンコーダの中間視覚層と明示的に整合させる。
Top-K 集約: ノイズを低減するため、モデルは各視覚層に対して最も整合性の高い上位 $K$ 個の記述者を選択し、それらをコンパクトなテキスト埋め込み $h_i^b$ として集約する。

2. 適応的階層ルーティング（Adaptive Hierarchy Routing）

異なる階層レベルの重要性は入力やタスクによって異なることを認識し、HERMANは入力条件付きの適応型ルーターを導入している。

動的な重み付け: 軽量な線形層が、最終的な視覚表現に基づいて非負の重み $\beta_i$ を生成する。これらの重みは、異なる層からの統合された階層的テキスト埋め込みの寄与を動的にバランスさせ、最終的な表現 $\tilde{h}_i$ を形成する。
投影ベースの更新（アンチ忘却）: ルーターが以前のタスクで学習したポリシーを忘れるのを防ぐため、ルーターの重みは投影ベースの戦略を用いて更新される。
- 重み行列 $W_r$ は、特異値分解（SVD）によって分解される。
- 以前のタスクのルーティングパターンを含む部分空間を保持するために、投影行列 $P_{old}$ が構築される。
- 新しい更新は、保存された部分空間内の成分（安定性）と直交方向（可塑性）に分解される。最終的な更新はこれらを組み合わせ、確立された知識を乱すことなく新しいタスクに適応する。

3. クロスモーダル・マッチングと学習

このフレームワークは、軽量な視覚アダプタとコントラスティブな目的関数を採用している。

混合埋め込み: 最終的な予測は、集約された階層的埋め込み $\tilde{h}_i$ と標準的なテンプレート埋め込み $e_i$ の凸補間を利用し、これは因子 $\lambda$ によって制御される。
生成的リプレイ: 生の画像を保存することなく忘却をさらに軽減するために、手法は特徴レベルの生成的リプレイを使用する。各クラスの最終的な視覚トークン ( $x_{cls}^B$ ) の分布をガウス分布としてモデル化し、増分学習中に疑似特徴量をサンプリングすることで、過去の知識を安定させる。

主な貢献

階層的セマンティクス構造化: 本論文は、単一層の整合を超え、マルチレベルのテキスト記述子を中間視覚特徴量と生成・整合させる手法を導入し、構造化されたセマンティック空間を構築する手法を提示している。
適応的ルーティングメカニズム: 新しい記述的要素を必要に応じて優先できるよう、インスタンスごとに階層的寄与を動的にバランスさせる新しいルーターを導入している。
投影ベースの継続的適応: ルーターに対する投影ベースの更新戦略により、新しいタスクの学習が古いタスクに不可欠なルーティングポリシーを上書きしないことを保証し、破滅的忘却を効果的に緩和する。
最先端の性能: これらのコンポーネントの統合により、継続学習シナリオにおける識別性と堅牢性を高めるフレームワークを実現している。

実験結果

著者らは、9つのベンチマークデータセット（CIFAR100、ImageNet-R、CUB200、StanfordCars、SUN397を含む）を用い、様々な増分設定（Base0 Inc10、Base50 Inc10など）の下でHERMANを評価した。

性能: HERMANは、平均精度 ( $\bar{A}$ ) および最終精度 ( $A_B$ ) において、既存の最先端手法（L2P、DualPrompt、CODA-Prompt、RAPF、PROOFを含む）を**1%から5%**一貫して上回っている。
堅牢性: 本手法は、クラス分割の異なるランダムシードに対しても安定性を示し、ハイパーパラメータ（Top-K記述子、混合因子 $\lambda$ 、および投影パラメータ $\delta, \rho$ ）の変化に対しても堅牢である。
効率性: HERMANは、優れた性能を維持しながら、競合する手法よりも少ない学習時間を必要とし、大規模なタスクにおいて計算効率が高い。
アブレーション研究: 実験により、各コンポーネント（LLM記述子、適応的ルーター、および投影更新）が最終的な性能にプラスに寄与していることが確認された。特に投影メカニズムは、投影のない手法が急速な劣化に陥るのに対し、時間の経過とともに古いクラスの視覚的埋め込みとテキスト的埋め込みの間のコサイン類似度を高く維持できることを示している。

意義と主張

本論文は、HERMANが**セマンティクスの粒度ごとに学習をデカップリング（分離）**することにより、既存のCLIPベースのCIL手法の根本的な脆弱性に対処することを主張している。粗い分離を固定しつつ、微細な更新を特定の階層レベルに隔離することで、破壊的な境界シフトを防ぐ。著者らは、彼らのアプローチが学習済みモデルに備わる階層的な能力を効果的に活用し、それらを、過去の知識を忘れることなく新しいカテゴリに適応できる、より堅牢な継続的学習器へと変貌させることを主張している。この研究は、LLMによって生成された豊かなセマンティクスと、視覚・言語モデルにおける構造化された適応的整合性を組み合わせることの可能性を強調している。