技術要約：クラス増分学習のためのプロトタイプ潜在世界モデル・リプレイ

1. 問題提起

クラス増分学習（Class-Incremental Learning: CIL）は、過去のタスクの生データにアクセスすることなく、新しいカテゴリを継続的に学習することをモデルに要求する。主要な課題は**破滅的忘却（catastrophic forgetting）**であり、これは新しいクラスの学習が、古いクラスの決定領域や特徴表現を上書きしてしまう現象である。既存の解決策には以下の具体的な限界がある：

• 正則化ベースの手法はパラメータの変化を抑制するが、古いクラスの特徴分布を明示的に保持するものではない。
• リハーサルベースの手法は生の模範例（exemplars）を保存するが、これはストレージ容量の制限、プライバシー、あるいは過去のデータを保持できないデプロイメント環境において制約となる。
• 生成リプレイ手法は古い画像を合成しようと試みるが、計算コストが高く不安定になりやすく、分類器の学習を阻害するアーティファクト（不自然な生成物）を生じさせることが多い。

本論文は中心的な問いを提示している：モデルは、古い画像を保存したり再生成したりすることなく、古いクラスを記憶できるか？ 著者らは、生画像は利用できなくても、古いクラスは安定した潜在空間内におけるそのセマンティックな状態として表現できると主張している。

2. 手法：プロトタイプ潜在世界モデル・リプレイ

提案されたフレームワークである**プロトタイプ潜在世界モデル・リプレイ（Prototype Latent World Model Replay）**は、旧来の知識を保持しつつ新しいタスクに適応するために、学習システムを2つの異なる空間へと分離する。

2.1 コア・アーキテクチャ

1. 安定した潜在状態空間 ($\mathcal{H}$):
   • ImageNetで事前学習された凍結されたエンコーダ ($E$) が、入力画像を潜在状態空間 $\mathcal{H}$ へと写像する。
   • エンコーダは増分学習中に凍結され、座標系が固定されることを保証する。これにより、新しいタスクを学習しても、保存されたプロトタイプのセマンティックな意味がドリフト（変質）することを防ぐ。
2. 適応型分類空間 ($\mathcal{Z}$):
   • 軽量で学習可能なアダプタ ($A$) が、安定した潜在状態 $h \in \mathcal{H}$ を、タスク適応型の特徴空間 $z \in \mathcal{Z}$ へと写像する。
   • 分類器 ($G$) は $z$ 上で動作し、観察されたすべてのクラスに対するロジットを出力する。
   • 増分学習中に更新されるのはアダプタと分類器のみであり、これにより、基礎となる「世界の記憶（world memory）」を安定させたまま、新しいクラスへの可塑性を実現する。

2.2 プロトタイプ潜在世界メモリ

本手法は、生の画像を保存する代わりに、クラスを潜在状態上の分布として保存する。

• マルチプロトタイプ表現: 各クラス $c$ について、潜在状態 $\{h_i\}$ は $K$ 個のグループにクラスタリングされ、クラス内の変動（例：異なるポーズや背景）を捉える。
• 分布モデリング: 各クラスター $k$ は、平均 $\mu_{c,k}$ と対角分散 $\sigma^2_{c,k}$ によって要約される。
• メモリ構造: クラスのメモリは、これらプロトタイプを中心とした分布の混合体として構成される：
  $$p(h | c) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(h; \mu_{c,k}, \text{diag}(\sigma^2_{c,k}))$$
  これは、ピクセルを再構成することなく、クラスの起こりうるセマンティックな状態を記述する「潜在世界モデル（latent world model）」を構成する。

2.3 学習手順

新しいタスク $t$ が到着した際：

1. 潜在リプレイ（Latent Replay）: 各古いクラスについて、モデルは保存されたプロトタイプ分布から合成された潜在状態 $\tilde{h}_{old}$ をサンプリングする。これらの状態は、凍結されたエンコーダをバイパスして、直接アダプタと分類器に投入される。
2. 新クラス学習: 現在のタスクの実際の画像が、凍結されたエンコーダとアダプタを通じて処理される。
3. 目的関数: 全体の損失関数は以下の3つの項を組み合わせる：
   • $L_{new}$: 新しいクラスに対する標準的なクロスエントロピー。
   • $L_{replay}$: サンプリングされた古い潜在状態に対するクロスエントロピーであり、分類器が古いクラスの信号を保持することを確実にする。
   • $L_{con}$: アダプタ空間 $\mathcal{Z}$ に適用される教師ありコントラスティブ損失（supervised contrastive loss）。この項は、同じクラスの特徴（実在する新しい特徴とリプレイされた古い特徴の両方）を引き寄せ、異なるクラスの特徴を押し離すことで、新旧のクラス間の幾何学的な分離を明示的に強制する。

3. 主な貢献

1. 潜在世界モデルのフレームワーク: 生のデータを保存する代わりに、安定した事前学習済み潜在状態上の分布として古いクラスを保持する、メモリフリーのCILフレームメント。
2. プロトタイプベースのクラスメモリ: 各クラスを複数の潜在プロトタイプと分散で表現するメカニズム。これは、マルチモーダルなクラス内変動を捉え、潜在リプレイと教師ありコントラスティブ分離を組み合わせている。
3. 実証的検証: Split CIFAR-100を用いた包括的な評価により、安定した潜在状態のリプレイが性能向上の主要な要因であり、コントラスティブ分離が決定幾何学を洗練させる役割を果たすことを実証した。

4. 実験結果

本手法は、3つの増分プロトコル（Inc5：各ステージで5つの新クラス、Inc10、Inc20）の下で Split CIFAR-100 に対して評価された。

• ファインチューニングとの比較: フルモデル（Ours-LWM+Con）は、生の模範例を保存しない標準的なファインチューニングを大幅に上回る性能を示した。
  • Inc5: 最終精度（Last Accuracy）が 4.55%（ファインチューニング）から 31.64% へ向上。
  • Inc10: 最終精度が 9.06% から 37.06% へ向上。
  • Inc20: 最終精度が 16.96% から 43.10% へ向上。
• ベースラインとの比較:
  • 本手法は、メモリフリーのベースライン（LwF, FeTrIL, SimpleCILなど）を凌駕し、生の画像を一切保存していないにもかかわらず、強力な模範例ベースの手法（DER, iCaRLなど）に匹敵する性能を発揮した。
  • 平均精度（AvgAcc）は、Inc5で 45.86%、Inc10で 52.19%、Inc20で 56.18% を達成した。
• アブレーション研究:
  • 安定したH空間（Stable H-Space）: 最も大きな利得は、安定した潜在状態空間からもたらされる。これを除去すると（標準的なファインチューニングに戻すと）、最終精度は一桁台まで低下する。
  • コントラスティブ損失: 教師ありコントラスティブ項を追加することで、旧来と新しい決定境界を分離する上で、わずかではあるが一貫した改善（例：Inc10の最終精度で +0.12%）が得られた。これは、主たる利得を駆動するのではなく、幾何学的な精緻化を行っていることを示している。

5. 意義と主張

本論文は、破滅的忘却は、生のデータを保存したり、単に可変的な重みに依存したりするのではなく、安定した潜在空間におけるクラス分布を保持することによって軽減できると主張している。

• メモリ・パラダイムの転換: 本研究は、CILにおける「模範例ベース（exemplar-based）」の学習（過去の観測のサブセットを保存すること）から、「状態分布ベース（state-distribution-based）」の学習（セマンティック空間におけるクラスの所在を示すコンパクトなモデルを保存すること）へのシフトを示唆している。
• 行動的証拠: 解釈可能性の分析（t-SNE可視化およびタスク保持ヒートマップ）によれば、ファインチューニングは古いタスクの精度をほぼゼロまで崩壊させる一方で、提案手法は古いタスクに対する非ゼロの精度を維持している。これは、保存された潜在分布が、多くの新しいタスクが学習された後でも、依然としてクエリ可能で意味のある状態であることを示している。
• 限定的な範囲: 著者らは、本手法が凍結された事前学習済みエンコーダの品質に依存していることを認めている。もしエンコーダがセマンティックに類似したクラスを分離できない場合、潜在分布が重なり合い、性能が制限される可能性がある。現在の実装は単純なガウスサンプリングを使用しており、より表現力豊かな密度推定器や自己教師あり目的関数を用いた将来的な探索の余地を残している。

結論として、本論文は、プロトタイプ潜在世界モデルが、生の模範例の保存を必要とせず、継続的な認識のためのコンパクトで再利用可能なメモリとして機能し、事前学習済み表現学習、潜在リプレイ、およびクラス増分認識を効果的に橋渡しできることを示している。