技術要約：デプロイ後に何が変わるのか？ TinyMLにおけるオンデバイス学習に関する調査

1. 問題提起

マイクロコントローラ級のデバイス（TinyML）にデプロイされた機械学習モデルは、**デプロイ後の分布変化（post-deployment distribution change）**という根本的な課題に直面している。厳選されたデータセットでオフライン学習されたモデルは、デプロイ後にデータ分布が変化する実世界の条件下では、性能が低下することが多い。**オンデバイス学習（ODL）**は、デバイス上で直接学習プロセスを実行することでこの問題に対処するが、既存の文献には、分布の変化がどのように発生するかについての統一的な特徴付けが欠けている。従来の調査では、異なる種類の分布変化レジームを明示的に区別できておらず、根本的に異なる制約や仮定の下で動作するソリューションが混同されている。さらに、手法的なベンチマーク（多くは画像中心）と実世界のデプロイメントシナリオ（多くはセンサ中心）との間には根強い乖離が存在し、アルゴリズムの進歩を実用的なアプリケーションへ転用することを妨げている。

2. メソドロジー

本論文は、TinyML領域における約70件のODL研究に関する包括的な調査を提示している。本調査は、主要な組織原理として**分布変化レジーム（distribution change regime）**に基づいている。著者らは、デプロイ後の時刻 $T$ におけるデータ生成プロセス ($P$) の性質に基づいて、文献を以下の3つの明確なレジームに分類している：

1. 単一変化レジーム（Single-Change Regime）： 分布がデプロイ時に正確に一度だけシフトし（$p_{T-1} \neq p_T$）、その後は安定している。課題は、デバイスの残りの寿命において、新しい条件への迅速かつ効率的な適応である。
2. コンセプトドリフト・レジーム（Concept Drift Regime）： 分布が継続的かつ予測不可能な形で複数回変化する（$p_{t-1} \neq p_t$）。焦点は、新しい条件に素早く適応しつつ、過去の無関係な知識を破棄または重み付けを減らすことにある。
3. 継続学習レジーム（Continual Learning Regime）： 新しい概念が時間の経過とともに逐次的に導入される。解決策は、以前に学習した情報を忘れることなく（破滅的忘却への対処）、新しい知識を蓄積しなければならない。形式的にはコンセプトドリフトと同様の分布変化を扱うが、過去の知識の重要性と評価基準に関する仮定が大きく異なる。

各レジームについて、本調査は以下の3つの補完的なレンズを通して文献を分析している：

• アプリケーション・レンズ（Application Lens）： 取り組まれている実世界のコンテキストとタスク（例：キーワードスポッティング、センサ校正、ブレイン・マシン・インターフェース）。
• ハードウェア・レンズ（Hardware Lens）： 超制約的なプロセッサ（例：Cortex-M0, ISPU）から、標準的なMCU（Cortex-M4/M7）、および並列超低消費電力（PULP）プラットフォームに至るターゲットデバイス。
• ソリューション・レンズ（Solution Lens）： ODLソリューションの技術的構成を、以下の4つのコンポーネントに分解したもの：
  • $R(\cdot)$： 次元削減（例：凍結されたCNN、統計的特徴抽出器）。
  • $B$： データ管理（バッファリング戦略、採用/トリガー条件）。
  • $f_t(\cdot)$： 機械学習アルゴリズム（例：DNN, SVM, KNN）。
  • $L$： 学習メカニズム（例：バックプロパゲーション、フォワードのみの更新、プロトタイプ生成）。

また、本調査はODL問題を定式化し、メモリ ($M_D$)、クロック周波数 ($F_D$)、電力、および実行時間 ($E$) に関する制約を定義し、各レジームに特化した評価プロトコル（例：コンセプトドリフトに対するプレクエンシャル評価、継続学習に対する縦断的評価）を確立している。

3. 主な貢献

• レジーム中心のタクソノミー（分類体系）： 本調査は、分布変化レジーム（単一変化、コンセプトドリフト、継続学習）に基づいてODLの全文献を整理した初めての調査であり、過去の知識や適応目標の仮定が異なるため、あるレジーム用に設計されたソリューションを別のレジームのものと直接比較することはできないと論じている。
• 包括的な範囲： 本調査は、先行研究（約10件を調査）を大幅に上回る約70件の著作をカバーしており、2023年以降に発表された膨大な研究内容を捉えている。
• マルチレンズ分析： アプリケーション、ハードウェア、ソリューションの各レンズを通じて同時に分析することで、ハードウェア能力とレジームの複雑さの相関関係や、手法指向の研究とアプリケーション指向の研究の間のミスマッチなど、横断的なパターンを明らかにしている。
• 構造的なギャップの特定： 手法的な貢献（多くは標準的なベンチマークにおけるバックプロパゲーションの最適化に焦点を当てている）と、アプリケーション指向の研究（ラベル効率と実世界の制約を優先するもの）との間の乖離を特定している。手法的な研究は、ラベル付きデータの不足や、フルパイプラインの制約（メモリ、レイテンシ、電力）を同時に扱っていないことを強調している。

4. 主な結果と知見

アプリケーションに関する知見

• タスクのミスマッチ： 手法指向の研究は、主に画像分類ベンチマーク（CIFAR, MNIST）を使用しているが、これらは実世界のTinyMLにとっては計算負荷が高すぎる場合が多い。対照的に、アプリケーション指向の研究は、キーワードスポッティング（KWS）、人間活動認識（HAR）、センサ校正などのタスクに焦にしているが、これらには標準化されたベンチマークが欠けている。
• ラベル取得戦略： 成功しているアプリケーション指向の研究は、ラベル取得を第一級のデザイン要件として扱っている。戦略には、少ショット学習、自己教師あり学習（補助センサの使用）、教師なし学習（異常検知用）、および構造化された刺激による暗黙的なラベリングが含まれる。
• レジームの分布： アプリケーション指向の研究は、単一変化レジーム（例：KWSのパーソナライゼーション、センサ校正）に大きく集中している。コンセプトドリフトおよび継続学習のレジームは、手法指向の研究によって支配されており、実世界のアプリケーションへのデプロイメント報告は極めて少ない。

ハードウェアに関する知見

• ハードウェアとレジームの相関： ハードウェアの能力とレジームの複雑さの間には、単調な関係が存在する。
  • 超制約的プロセッサ（Cortex-M0, ISPU）は、メモリと計算能力の厳しい制限により、ほぼ排他的に単一変化レジームに現れる。
  • 標準的なMCU（Cortex-M4/M7）は、3つのレジームすべてにまたがるが、リプレイバッファのためのメモリ制約により、継続学習においては過小評価されている。
  • PULPプラットフォーム（マルチコア、例：GAP9）は、継続学習アルゴリズムの高いメモリおよび計算需要をサポートできる唯一のクラスであるため、継続学習レジームを支配している。
• 報告のギャップ： ハードウェアの報告は一貫していない。ピークRAMやエネルギーといった指標は、インスタンスごと、バッチごと、あるいはエポックごとに報告されることが多く、標準化されていないため、研究間の比較が困難になっている。

ソリューションに関する知見

• コンポーネントのパターン：
  • 次元削減 ($R$)： 画像や音声入力に対しては、凍結された事前学習済みCNNが支配的であるが、低次元のセンサデータに対しては、恒等関数や統計的抽出器が使用される。
  • データ管理 ($B$)： 単一変化およびコンセプトドリフトのレジームでは、完全なオンライン動作（$|\Delta|=1$）が支配的である。継続学習においては、破滅的忘却を防ぐために明示的なバッファリングが構造的に必要となる。
  • 学習メカニズム ($L$)： 継続学習では、フルバックプロパゲーションが標準である（リプレイバッファによってサポートされる）。単一変化およびコンセプトドリフトにおいては、より軽量な代替案（フォワードのみの更新、プロトタイプベースの分類器、KNN）が普及している。
• 最適化のギャップ： 手法的な研究はバックプロパゲーション（スパース化、量子化）を高度に最適化しているが、これらの最適化がアプリケーション指向のデプロイメントに採用されることは稀である。これは、アルゴリズムの改善が、フルパイプラインの制約（ラベリング戦略、データバッファリングコストなど）に対して検証されていないという、乖離を示唆している。

5. 重要性と主張

本論文は、分布変化レジームこそが、ODLソリューションの実現可能性と設計を決定する、これまで見過ごされてきた重要な要因であると主張している。単一変化、コンセプトドリフト、継続学習を明示的に区別することで、本調査は、従来の文献に欠けていた意味のある比較のためのフレームワークを提供している。

著者らは、自らの研究がこの分野における構造的なギャップを浮き彫りにしていると控えめに主張している。すなわち、アルゴリズムの進歩とアプリケーションの開発が、相互作用を限定的にしながら並行して進んでいるということである。彼らは、以下の事項が必要であると論じている：

1. 標準化された評価フレームワーク： 公平な比較を可能にするために、ハードウェア予算、ソリューションコンポーネント、およびデプロイメント制約（ラベルの希少性を含む）を固定したベンチマーク。
2. エンドツーエンドのデザインツール： ODLパイプライン全体（$R, B, f, L$）を、個別に最適化されるのではなく、結合して最適化可能なオブジェクトとして扱うソフトウェアフレームワーク。
3. ODLのためのハードウェア： クラウド学習アーキテクチャを適応させるのではなく、ODLの制約（ラベルの希少性、オンデバイスでの検証不可、厳しい電力予算）に特化したハードウェアを設計することへのシフト。

本調査は、ODLがTinyMLの適用範囲を広げる一方で、そのビジョンを実現するためには、手法的なベンチマークと実世界のデプロイメントシナリオ（特にラベル効率と非定常学習レジームの固有の要求に関して）との間のミスマッチを解消する必要があると結論付けている。