MAUPITI: On-Device Prototype-Based Learning on a Smart Infrared Sensor

デバイスが写真を撮ることなく、あなたを「見る」ことができる世界を想像してみてください。これは、極めて微小で、かつエネルギー消費の激しいガジェットの中に、スマートで学習能力のあるアルゴリズムを押し込めることに捧げられた科学の一分野、「TinyML」の領域です。通常、コンピュータが新しい手のジェスチャーを認識するといった新しいことを学ぶには、クラウド上の巨大で強力なサーバーに接続されている必要があります。これは、新しい単語を学ぶたびに、超知能を持つ司書へ手紙を送るようなもので、時間とエネルギーがかかり、常に接続を必要とします。しかし、もしデバイスが、ごくわずかなメモリと電力だけを使って、その場にある場所で自律的に学習できるとしたらどうでしょうか？これが「オンデバイス学習」の課題です。目標は、インターネットに接続したり、重い計算によって電力を消耗したりすることなく、新しい環境に適応したり、新しい技術を習得したりできるセンサーを作ることです。鍵となるアイデアは、センサーの「脳」を非常に効率的にし、データを外部に送信することなくプライバシーを守りながら、知識を即座に更新できるようにすることです。

ここで、まさにそれを行う賢い小型スマートセンサー、「MAUPITI」が登場します。MAUPITIを、16×16の熱感知ピクセル（赤外線アレイ）と超効率的なマイクロコントローラで構成された、プライバシー重視の小さなセキュリティガードだと考えてください。誰であるかを明らかにする可能性のある高解像度の写真を撮る代わりに、それは人々の温かくぼやけた形とその動きだけを見ます。研究者たちが取り組んだ大きな問題は、このセンサーを製造した後に、クラウドにデータを送ったり、微小なメモリを使い果たしたりすることなく、新しいポーズやジェスチャーを教える方法でした。

論文では、「プロトタイプに基づく学習」と呼ばれる手法が紹介されています。ロボットにさまざまな種類の果物を認識させる方法を想像してみてください。リンゴやオレンジの写真を何千枚も見せて、あらゆる詳細を記憶させるのではなく（これは大規模なAIで使用される重い「バックプロパゲーション」のような方法です）、完璧な「プロトタイプ」のリンゴを1つと、完璧な「プロトタイプ」のオレンジを1つだけ見せるのです。新しい果物が現れたとき、ロボットは単に「これは私のリンゴのプロトタイプに近いか、それともオレンジのプロトタイプに近いか？」と問いかけます。これが「最近傍クラス平均（NCM）」のアプローチです。MAUPITIセンサーは、小さな事前学習済み「エンコーダー」（熱の形状を単純な数値に変換する翻訳機）を使用し、その後、各ポーズやジェスチャごとにこれらの単純な「プロトタイプ」を保存します。

ここが魔法の部分です。センサーが新しいポーズを学習する必要があるとき、脳全体を再学習させる必要はありません。単に新しいポーズの平均的な形状を計算し、それを新しいプロトタイプとして保存するだけです。論文では、このアプローチがMAUPITIのハードウェア上で驚くほどうまく機能することが示されています。5つの人間のポーズ（立っている、腕を上げているなど）を認識するためのデータセットと、9つの手のジェスチャー（拳、あるいは「シャカ」サインなど）のための別のデータセットという、2つの異なるデータセットを用いたテストにおいて、このセンサーは従来の重量級の手法とほぼ同等の精度を達成しました。

研究者たちは、この手法が非常に効率的であることを発見しました。センサーには合計32 kBのメモリ（命令用に16 kB、データ用に16 kB）しかありませんが、これはスマートフォンと比較すると極めて微小です。それにもかかわらず、このプロトタイプ・システムを使用することで、わずかな例（1つだけでも可能ですが、4つが最適でした）だけで新しいクラスを学習し、意思決定にかかる全時間の0.29%未満の時間でメモリを更新することができました。これは、センサーが遅延をほとんど感じさせることなく、リアルタイムで新しいジェスチャーを学習できることを意味します。

決定的なことに、論文は、効果的に学習するためにクラウドにデータを送ったり、複雑でメモリを大量に消費する「リプレイバッファ」（後で再学習するために古い画像を保存しておくもの）を使用したりする必要があるという考えを否定しています。彼らは、AIの標準的でエネルギー消費の激しい学習方法である「バックプロパゲーション」を完全にスキップできることを実証しました。代わりに、新しい形状の「平均」を更新するだけで、センサーは高速かつプライバシーを保ち、適応力を維持できるのです。この研究は、この「スマートセンサー」が自律的に継続学習を処理できることを裏付けており、ポケットの中や壁の上で進化し続けることができる、将来のプライバシー保護デバイスにとって強力なツールとなることを示しています。