テクニカル・サマリー：ACIL – 画像分類のための能動的クラス増分学習（Active Class Incremental Learning）

1. 問題提起

本論文は、コンピュータビジョンにおける**クラス増分学習（Class Incremental Learning: CIL）の課題に取り組んでいる。これは、ディープニューラルネットワーク（DNN）がエピソード形式のデータから新しいクラスを逐次的に学習しつつ、以前に学習したクラスの知識を保持しなければならないシナリオである。CILにおける主要な障害は破滅的忘却（catastrophic forgetting）**であり、これは新しいクラスに対してネットワークを最適化することで、古いクラスの知識が消去されてしまう現象である。

既存のCIL研究は主に忘却の軽減に焦点を当てているが、それらは多くの場合、すべてのエピソード内の訓練サンプルが完全にアノテーションされているという仮定に基づいている。著者らは、この仮定は以下の2つの理由から非現実的かつ非効率であると主張している：

1. 高いアノテーションコスト： 手動によるアノテーションは、時間、労力、専門知識の面でコストが高い。
2. アノテーションの無駄： エピソード形式の設定では、現在のエピソードのデータの大部分は将来のエピソードではアクセス不能となる。したがって、エピソード内のすべてのサンプルをアノテーションすることは、その後のステップで忘却を防ぐために必要な一部のサンプル（エグゼンプラー）のみを考慮すると、努力の無駄となる。

本論文は、各エピソードにおいてごく一部のデータのみがアノテーションされ、残りの大部分はラベルなしのままとなる新しい設定を提案している。目標は、アノテーションコストを削減しつつ、破滅的忘却を効果的に防ぐために、最小限の**エグゼンプラー・サンプル（exemplar samples）**のセットを選択して将来のエピソードへと伝播させるフレームワークを開発することである。

2. 手法：ACILフレームワーク

著者らは、能動学習（Active Learning: AL）戦略をCILパイプラインに統合したフレームワークである**ACIL（Active Class Incremental Learning）**を提案している。コアとなるメカニズムは、各エピソードにおいて、手動でアノテーションを行い次のエピソードのデータに付加するための、固定サイズ $k$ のエグゼンプラー・セットを選択することである。

2.1 問題設定

• データの流れ： 訓練データは $N$ 個の連続するエピソードとして到着する。各エピソード $n$ には、小さなラベル付きセット（$X^L_n$）、大きなラベルなしセット（$X^U_n$）、および前回のエピソードからのエグゼンプラー・セット（$E_{n-1}$）が含まれる。
• 制約： モデルは $X^L_n$ と $E_{n-1}$ を用いて訓練される。現在のエピソードから、システムは新たにアノテーションを行うためのサイズ $k$ のエグゼンプラー・セット $E_n$ を選択しなければならない。
• 選択ソース： $E_n$ は、$X^U_n$（現在のラベルなしデータ）、$E_{n-1}$（前回のエグゼンプラー）、および場合によっては $X^L_n$（ただし、著者はサイズの関係で $X^U_n$ が優先されると述べている）からサンプルを選択することで構築される。

2.2 バジェット分割戦略

新しいクラスの学習と旧知の知識の保持のバランスを取るため、ACILはアノテーション・バジェット $k$ を、現在のラベルなしセット（$X^U_n$）と前回のエグゼンプラー・セット（$E_{n-1}$）の間で分割する。

• 分割は、それぞれのセットに含まれるクラス数（$|C_{episode}|$ 対 $|C_{exemplar}|$）に比例する。
• 公式：
  $$k_{unlabeled} = \left( \frac{|C_{episode}|}{|C_{episode}| + |C_{exemplar}|} \right) \cdot k$$
  $$k_{exemplar} = \left( \frac{|C_{exemplar}|}{|C_{episode}| + |C_{exemplar}|} \right) \cdot k$$
• これにより、エグゼンプラー・セット $E_n$ がこれまでに見たすべてのクラスの表現を維持し、忘却を軽減することを保証する。

2.3 能動的サンプリング戦略

割り当てられたバジェット内での具体的なサンプルの選択は、**不確実性（uncertainty）と多様性（diversity）**を組み合わせた基準によって駆動される。

• 不確実性： モデルの予測におけるシャノン・エントロピーを用いて測定される。
• 多様性： 候補セットを $B$ 個のクラスター（$B$ はバジェット）に分割し、各クラスター内の分散を最小化することで達成される。
• 最適化： 著者らは、予測の不確実性を重みとする、パーティション内の重み付き分散を最小化する重み付き集合分割問題を定式化している。
  $$\text{argmin}_P \sum_{b=1}^{B} \sum_{x \in X_b} I(x) ||F(x) - c_b||^2$$
  ここで、$I(x)$ は不確実性（エントロピー）であり、$F(x)$ は特徴量埋め込みである。
• アルゴリズム： **重み付きK-means（Weighted K-Means）**を用いて近似されるNP困難な問題である。各パーティションにおいて、重み付き重心に最も近いサンプルがアノテーション用に選択される。

2.4 損失関数

DNNは、以下の組み合わせを用いて訓練される：

1. 重み付きクロスエントロピー損失（$L_{WCE}$）： クラスの不均衡に対処するため、クラス頻度に反比例する重みを適用して、ラベル付きデータ（$X^L_n \cup E_{n-1}$）に適用される。
2. 知識蒸留損失（$L_D$）： 前のモデル（$M_{n-1}$）から現在のモデル（$M_n$）へ知識を転送し、忘却を防ぐために、エグゼンプラー・セット $E_{n-1}$ に適用される。
   $$L = L_{WCE} + \lambda L_D$$

3. 主な貢献

1. 新しい学習パラダイム： エピソードデータの完全なアノテーションを前提としないCIL設定を導入し、現在のCILベンチマークにおける高いコストと非効率性の問題に対処した。
2. ACILフレームワーク： 不確実性と多様性の二重の基準に基づき、新旧両方のクラスの網羅性を確保するためのバジェット分割戦略を利用してエグゼンプラーを選択する特定のアルゴリズム。
3. 効率性と性能： ACILが、フル・アノテーションを前提とする最先端のCIL手法と同等の性能を達成しつつ、人間によるアノテーションが必要なサンプル数を劇的に削減できることを示した。

4. 実験結果

本フレームワークは、MNIST、SVHN、CIFAR-10、CIFAR-100、COIL、Tiny ImageNetの6つのビジョン・データセットで評価された。

• 精度： ACILは、現在のラベルなしセットからのみサンプリングすることで過去の知識を保持できなかった能動学習のベースライン（Random, Coreset, BADGE）を大幅に上回った。ACILは、フル・アノテーションを用いたCILのベースライン（iCaRL, GDumb, Rainbow Memory）と同等、あるいは場合によってはわずかに優れた精度を達成した。
• アノテーションの労力： ACILは、すべての手法の中で最も低いアノテーション・エフォートを実現した。例えば、CIFAR-10において、ACILは同様の精度を維持しながら、CILベースラインと比較してエピソードあたり約4.13倍少ないアノテーションで済んだ。
• 保持能力： ACILは、第1エピソードからの知識の強力な保持を示し、リプレイベースのCIL手法に匹敵する結果となった。これは、破滅的忘却を軽減する能力を裏付けている。
• 堅牢性： エグゼンプラー・セットのサイズ（バジェット）を変化させた実験では、ACILが異なるメモリ制約の下でもCILベースラインと一貫した性能傾向を維持していることが示された。

5. 意義と主張

本論文は、ACILが以下のような実世界の増分学習アプリケーションに対する実用的な解決策を提供すると主張している：

• メモリが制約されている： エグゼンプラー・セットのサイズが固定されており、ストレージの制限をシミュレートしている。
• アノテーションが高価である： 本フレームワークは、時間を経てモデルを訓練するために必要な人間の労働力を劇的に削減する。
• データが一時的である： 各エピソードにおける限定的なアノテーション済みデータから学習する能力は、過去のデータを完全に保持できないプライバシーやストレージの制約に適合する。

著者らは、情報量の多い少数のサンプルを賢明に選択して伝播させることにより、ACILがアノテーションコストとモデル性能のトレードオフをうまくバランスさせ、リソース制約のある環境において継続的学習をより実現可能なものにすると結論付けている。今後の課題として、このフレームワークを回帰タスクへ拡張する可能性についても言及されている。