技術要約：時系列データにおける能動的クラス増分学習のためのTypiCore

問題定義

本論文は、多変量時系列分類における**能動的クラス増分学習（Active Class-Incremental Learning: ACIL）**を取り上げている。この設定には、以下の2つの困難な制約が組み合わされている：

1. クラス増分学習（Class-Incremental Learning: CIL）： モデルは、推論時にタスク識別子にアクセスすることなく、新しいクラスを逐次的に学習しながら、以前に見たすべてのクラスを分類する能力を保持しなければならない。
2. 限られたアノテーション予算： ラベルが付与されたデータストリームを前提とする標準的なCILとは異なり、現実世界の時系列アプリケーション（ヘルスケア、産業モニタリングなど）では、データの自動取得は可能であるものの、専門家による高コストな手動アノテーションが必要となることが多い。

核心となる課題は、厳格なラベル付け予算の下で、メモリバッファが可塑性（plasticity）（新しいクラスの学習）と安定性（stability）（古い知識の保持）の両方をサポートできるようにするような、未ラベルサンプルを選択するためのクエリ戦略を設計することである。

手法

ACILフレームワーク

著者らは、リハーサルベースの継続学習と統合された**能動的クラス増分学習（ACIL）**フレームワークを提案している。各タスク $t$ のプロセスは以下を含む：

• 初期化： モデルは前のタスクからパラメータを継承する。
• 能動学習サイクル： タスクの未ラベルデータセット $D_t$ は $q$ 個のスライスに分割される。モデルは $N_a$ 回のサイクルを実行し、各サイクルでは以下が行われる：
  1. クエリ戦略が、現在の未ラベルプールから $b$ 個のサンプルバッチを選択する。
  2. オーラクル（人間のアノテーター）が、これらのサンプルに対してラベルを提供する。
  3. モデルは、現在のタスクの累積ラベルセットと、前のタスクからのメモリリトリーバルバッチを組み合わせて学習を行う。
• メモリの集約（Memory Consolidation）： タスクの全サイクルが完了した後、次のタスクに備えて、新たにラベル付けされたデータを使用してメモリバッファが更新される。

このフレームワークは、2つの基礎となるリハーサルメカニズムを評価している：

• 経験再生（Experience Replay: ER）： メモリのリトリーバルには一様ランダムサンプリングを、メモリの更新にはリザーバーサンプリングを使用する。
• ASER（Adversarial Shapley Value Experience Replay）： 情報量の多いサンプルを優先するために、リトリーバルと更新の両方においてシャプレー値に基づく重要度駆動型の選択を使用する。

評価されたベースライン・クエリ戦略

本論文では、3つのカテゴリのクエリ戦略を体系的に評価している：

1. 不確実性ベース（Uncertainty-Based）： モデルが最も不確実であるサンプルを選択する（エントロピー、マージン、最小信頼度）。
2. 分布認識（多様性/Diversity-Aware）： Core-Set。特徴空間の幾何学的な被覆を最大化するために、貪欲なk-centerアルゴリズムを使用する。
3. 分布認識（典型性/Typicality-Aware）： TypiClust。代表性を確保するために、高密度でプロトタイプ的なサンプルを選択する。

提案手法：TypiCore

著者らは、単一の戦略では可塑性と安定性の間の堅牢なバランスを実現できないことを指摘している。そこで、単一のタスク内での能動学習サイクルにおいて、典型性ベースの選択と多様性ベースの選択を交互に行うハイブリッド・クエリ戦略としてTypiCoreを導入する：

1. 初期化（TypiClust）： 新しいタスクの最初のサイクルはTypiClustから始まる。モデルはまだ新しいクラスのラベル付き例を見ていないため（コールドスタート）、プロトタイプ的で高密度なサンプルを選択することで、安定した基盤を提供する。
2. 交互適用（Core-Set）： 後続のサイクルではCore-Set選択と交互に切り替わる。このステップは、特徴空間の幾何学的な被覆を最大化するサンプルを特定し、メモリバッファが多様な領域と過小評価されている領域を捉えることを確実にする。

この厳格な交互適用により、メモリバッファが代表的（クラスの核となる構造を捉える）かつ多様（より広い特徴空間をカバーする）であることを同時に保証し、メモリが狭いサブセットに崩壊したり、境界付近のサンプルばかりで構成されたりすることを防ぐ。

主要な結果

実験は、4つの多変量時系列データセット（UCI-HAR、UWave、GRABMyo、WISDM）を含むTSCILベンチマークを用いて実施された。

ベースラインの性能

• 不確実性ベースの手法： 一貫してランダム選択を上回ることができなかった。多くのケース（例：GRABMyoおよびWISDMにおけるエントロピー）において、これらはランダムベースラインと比較して性能を著しく低下させており、境界に焦点を当てた選択は、低予算下のリハーサル学習のニーズとは一致していないことが示唆された。
• 分布認識ベースの手法：
  • Core-Set： 高い可塑性（学習精度）を達成したが、致命的な忘却（高い平均忘却）に苦しんだ。これは、メモリが非典型的な境界隣接サンプルで満たされてしまうためである。
  • TypiClust： 高い安定性と低い忘却を達成したが、特にASERメカニズムと組み合わせた場合、最適な可塑性に必要な多様性が欠けることがあった。

TypiCoreの性能

• 優位性： TypiCoreは、複数のデータセットにおいてすべてのベースラインに対して統計的に有意な改善を達成した。
• バランスの取れたトレードオフ： TypiCoreは、可塑性 vs 安定性のトレードオフ図において一貫して右上の領域を占めており、古い知識の保持を犠牲にすることなく、新しいタスクを効果的に学習できることを示した。
• フル監督学習との比較： いくつかのデータセットにおいて、TypiCoreは（すべてのラベルにアクセスできる）フル監督型の継続学習手法と同等、あるいはそれを上回る性能を発揮した。これは、利用可能なラベルのわずかな割合（例：1%から30%のアノテーション予算）のみを使用しているにもかかわらず実現された。
• リプレイメカニズムとの相互作用： 一貫した発見として、能動学習戦略と組み合わせた場合、複雑な重要度駆動型のリハーサルであるASERよりも、単純なランダムリハーサルであるERの方が優れた性能を示した。ラベルプールが小さい、あるいは初期サイクルにおいて代表性が低い可能性がある場合、ASERの複雑さは頑健性に欠ける傾向がある。

意義と主張

本論文は、TypiCoreが時系列の継続学習におけるラベル不足の設定に対して、斬新な解決策を提供すると主張している。その意義は以下の通りである：

1. 標準的な戦略の限界の提示： 標準的な不確実性ベースの手法がACIL設定においては有害であること、また、単一目的の分布認識手法（純粋な多様性または純粋な典型性）では不十分であることを明らかにしている。
2. ハイブリッド戦略の有効性： 典型性と多様性の選択を動的に交互に切り替えることが、忘却に対して頑健であり、かつデータの複雑さを捉えるのに十分な表現力を持つメモリバッファを作成することを証明している。
3. 実用的な適用可能性： 本手法は、エキスパートによるラベル付けがボトルネックとなる現実世界の領域において、アノテーションコストを大幅に削減しながら高性能な継続学習を可能にする。

著者らは、知的なラベル選択が、学習プロセスを不安定にする可能性のあるノイズの多い、あるいは冗長なサンプルを排除する暗黙的な正則化として機能すること、そして単純なリハーサルメカニズム（ER）が、複雑な価値駆動型（ASER）よりも能動学習の制約と親和性が高い可能性があると結論付けている。