HydraCIL: Decoupled Class-Incremental Learning through Prototype-Guided Multi-Head Classifiers

技術要約: HydraCIL

問題提起
クラス増分学習（Class-Incremental Learning: CIL）は、AIシステムが以前に獲得した知識を忘れることなく、ストリーム形式のタスクから逐次的に学習することを目的としている。しかし、既存の最先端のCIL手法の多くは、強力なハードウェアと長い再学習サイクルに依存しており、理論的な研究と、リソース制約のある環境（組み込みシステム、エッジデバイス、ロボティクスなど）における持続可能なAIの展開との間に大きな隔たりを生じさせている。動的ネットワーク、データリプレイ、知識蒸留といった従来のアプローチは、精度、スケーラビリティ、および計算コストの間でしばしばトレードオフに直面する。多くの手法は、バックボーンと新しいコンポーネントの共同最適化を必要とするため、高いエネルギー消費、長い学習時間、およびエッジ展開における禁止的なメモリ使用量を引き起こす。さらに、一部の手法は、特権的な初期条件（例：大規模な第1タスク）に依存しており、これはデータ可用性が限定的でクラス分布が未知である現実世界のシナリオでは実現不可能である。

手法
本論文では、持続可能でリソースを意識した展開のために設計された、デカップル（分離型）クラス増分学習システムであるHydraCILを提案する。その核心となるアーキテクチャの革新は、特徴抽出器（バックボーン）と分類器（ヘッド）の厳格な分離にある。

• 凍結されたバックボーン（Frozen Backbone）: 大部分の層を更新するファインチューニング手法とは異なり、HydraCILはバックボーン全体を凍結する。新しいタスクが到着すると、バックボーンは入力サンプルを正確に一度だけ処理して、固定された特徴表現を生成する。これにより、コストのかかる反復的なバックボーンの再学習を排除できる。
• マルチヘッド分類器（Multi-Head Classifiers）: 各増分タスクに対して、軽量でタスク固有の分類器ヘッドが生成され、その特定のタスクの特徴のみを用いて訓練される。これにより、ネットワークアーキテクチャ全体を拡張することに伴う計算量の増加を回避できる。
• プロトタイプ誘導型ルーティング（Prototype-Guided Routing）: テスト時にタスク識別子が利用できない場合（タスク非依存の推論）を実現するために、システムはタスク特徴量に対してk-meansクラスタリングを行い、クラスごとに$k$個のプロトタイプを生成する。推論時、モデルは特徴を抽出し、ユークリッド距離を用いてすべてのクラスプロトタイプと比較する。プロトタイプが最もよく一致する分類器ヘッドが、最終的な予測を行うために選択される。もしサンプルが複数のタスクのプロトタイプに意味的に近い場合、システムは複数のヘッドによる推論を許可し、最も信頼度の高い予測を選択する。
• 生データのリプレイなし（No Raw Replay）: 本手法はプロトタイプを生成するが、従来のデータリプレイ手法とは異なり、過去のタスクからの生の画像は保存もリプレイもしない。

主な貢献

1. デカップル・アーキテクチャ: バックボーンを凍結し、軽量で孤立したヘッドのみを訓練することで、学習時間とエネルギー消費を劇的に削減する設計。
2. プロトタイプベースの推論: プロトタイプを利用してクラス内の変動性を処理しながら、タスクIDを必要とせずに適切な分類器ヘッドを動的に選択する、類似度ベースのルーティングメカニズム。
3. リソース効率: 本アプローチは、低レイテンシ、最小限のエネルギー使用量、および低減されたカーボンフットプリントを優先し、組み込みおよびエッジ環境向けに明示的に設計されている。
4. 公平な評価: 本研究は、ほとんどの比較において$B=0$の設定（一様なタスク難易度）を採用しており、最近のプロトタイプベースの手法に見られる「特権的な初期タスク」の仮定を回避し、現実世界の適用可能性に対するより公平な評価を保証している。

実験結果
HydraCILは、ResNet-34バックボーンを用い、CIFAR-100、ImageNet-100、CoRe50、Flowers102の4つのベンチマークで評価された。RMM-FOSTER、DER、CIFNet、FeTrILを含むトップパフォーマンスのベースラインと比較された。

• 精度: HydraCILは、最先端の手法と同等またはそれ以上の性能を示した。ImageNet-100（20タスク）において、86.26%の精度を達成し、CIFNetを8ポイント以上上回った。CoRe50では、72.29%の精度を達成し、CIFNetと同等であり、DERよりも大幅に高かった。
• 学習時間: 本手法は大幅な高速化を実現した。ImageNet-100（20タスク）において、HydraCILは6.94分で学習を完了したが、これはDERの1,354分やRMM-FOSTERの935分と比較して、それぞれ195倍および135倍の高速化である。CoRe50では、DERよりも500倍以上高速であった。
• エネルギーおよびカーボンフットプリント: HydraCILは環境への影響を大幅に削減した。ImageNet-100の20タスクシーケンスにおいて、DERが9.972 kWhおよび1.736 kg CO2-eqを消費したのに対し、HydraCILは0.020 kWhおよび0.003 kg CO2-eqしか消費しなかった。
• スケーラビリティ: タスク数（5から50まで）を変化させた実験では、学習時間が劣線形にスケールすることが示された。ヘッドの数を10倍に増やしても、学習時間は42%の増加にとどまった。
• ハードウェア独立性: HydraCILはCPU上で訓練された際にも、いくつかの確立されたベースラインのGPU加速訓練時間を上回る効率性を達成した。

意義と主張
本論文は、HydraCILを「グリーンAI」および現実世界の組み込み設定における持続可能な展開のための実用的なソリューションとして位置づけている。その主要な意義は、高パフォーマンスな継続学習と、エッジデバイスの厳格な制約との間のギャップを埋めることにある。バックボーンの再学習と生のデータのリプレイを排除することで、HydraCILは最小限のエネルギーと計算オーバーヘッドで、新しいドメインへの迅速な適応を可能にする。著者らは、この効率性が堅牢な性能と組み合さることで、自律ロボティクスやエッジAIのような、エネルギー効率と迅速な適応が極めて重要となるアプリケーションにおいて、主要な候補になると主張している。本研究は、これらのシナリオにおいて複雑なTransformerベースのモデルは必ずしも必要ではなく、注意深く設計されたデカップル型のCNNベースのシステムが、精度を損なうことなく優れた持続可能性を提供できることを示唆している。