Hardware-Aware On-Chip Learning with a Scalable Single-Transistor-based Neuromorphic Platform

現代のコンピュータは驚異的な能力を持っていますが、同時に非常に多くの電力を消費します。人工知能がより複雑になるにつれ、それを動かすために必要なエネルギーがボトルネックとなっており、特にロボットや野生のセンサーのように、小さなバッテリーで長期間動作する必要があるデバイスにおいてその傾向が顕著です。これを解決するために、科学者たちは従来の計算方法とは異なる、人間の脳を模倣した考え方に注目しました。情報を一定かつ連続的な流れとして処理する従来の計算機とは異なり、これらの「ニューロモーフィック」システムは、「スパイク」と呼ばれる、非同期的な情報の小さなバースト（突発的な塊）を使用します。この手法は、新しい情報を処理する必要がある時だけシステムが作動するため、はるかに効率的です。しかし、これらの脳のようなマシンに、稼働しながら新しいタスクを学習させることは、大きな障壁となってきました。ほとんどのデザインでは、ニューロンの内部状態、つまり「直前に何を受け取ったか」という記憶はハードウェアの内部に隠されており、高価でエネルギーを大量に消費する外部センサーなしに、システムが自らの接続を調整し、間違いから学ぶことはほぼ不可能です。

ソウル大学と韓国科学技術研究院の研究チームは、ニューロンの中を覗き見ることなく、これらのシステムを教える方法を実証しました。彼らは、学習プロセスが、すでに表面上で確認可能な信号、すなわちコンポーネント間を流れる電流とスパイクのタイミングのみに依存する、新しいタイプのチップを構築しました。ハードウェアと学習ソフトウェアを連携させるように設計することで、彼らは、単一のトランジスタがシナプス、ニューロン、そして学習信号発生器の役割を同時に果たすことができる、チップ上での学習が可能なシステムを作り上げました。このアプローチにより、ニューロンの隠れた内部電圧を読み取る必要がなくなり、以前は嵩高く電力を大量に消費する回路を必要としていたステップが排除されました。その結果、より小さくシンプルでありながら、すでに学んだことを記憶しつつ、新しい情報に適応しながら継続的に学習できる統一されたプラットフォームが実現しました。

この画期的な成果の核心は、研究者たちが「状態へのアクセス」という問題をどのように解決したかにあります。従来の人工的な脳では、ニューロンに適切なタイミングで発火するように教えるために、コンピュータは特定の瞬間にどれだけの電気電荷がその中に蓄えられているかを正確に知る必要があります。物理的なハードウェアにおいて、この電荷はデバイスの内部に閉じ込められており、それを測定するには複雑でエネルギー集約的な回路が必要となりますが、それは低電力システムの目的を損なってしまいます。研究者たちは、もしニューロンに流れ込む電流を代用（プロキシ）として利用できれば、この隠れた電荷を測定する必要はないことに気づきました。彼らは「電流ベースのサロゲート・グラディエント（代理勾配）」と呼ばれる手法を開発しました。システムは「ニューロンのバッテリーはどれくらい満タンか？」と問う代わりに、「今、どれくらいの電流が流れているか？」と問います。もし電流が特定の健全な範囲内であれば、システムはニューロンが正しく学習していると判断します。もし電流が高すぎたり低すぎたりすれば、調整が必要であると判断します。これにより、チップはニューロン間の接続点において自然に利用可能なデータのみを使用して、独自の学習信号を生成することができます。

これを実世界で機能させるために、チームは標準的な製造プロセスを用いつつも、巧妙な工夫を加えた特別なチップを製作しました。彼らは、構成に応じて3つの異なる役割をこなす単一の種類のトランジスタを使用しました。あるグループのトランジスタは、記憶の強度を保持する接続部である「シナプス」として機能しました。別のグループは、電気的な電荷を蓄積し、閾値に達するとスパイクを発する「ニューロン」として機能しました。そして3つ目のグループは、電流を監視し、いつ修正信号を送るべきかを決定する「学習メカニズム」として機能しました。これらすべてのコンポーネントが同じ基本的な構成要素から構築されているため、単一のチップ上に高密度に詰め込むことができます。研究者たちは、これらのトランジスタが、異なるレベルの重み（ウェイト）を確実に保持し、入力信号を時間の経過とともに統合し、生物学的なニューロンを模したパターンでスパイクを発することを示しました。決定的なのは、学習コンポーネントが、ニューロンの隠れた内部電圧にアクセスすることなく、電流を見るだけでシステムが正しく動作しているか、あるいは誤って動作しているかを検知できたことです。

チームは、物理的なチップの実測された挙動を用いた広範なコンピュータ・シミュレーションを通じて、このシステムをテストしました。彼らは、手書き数字の認識から、複雑な物体の識別、さらにはイベントベース・カメラからのビデオストリームの解釈に至るまで、多様なタスクに対してネットワークを訓練しました。これらのテストにおいて、新しい手法は、内部状態への完全なアクセスに依存する従来の学習手法と同等の性能を発揮しました。システムは、すでに習得したことを忘れることなく、新しいクラスの物体を学習することができました。これは「継続的学習（コンティニュアル・ラーニング）」として知られる能力です。これは重要な成果です。なぜなら、これまでの多くの試みにおけるチップ上での学習は、新しいことを学ぶと古い記憶が消えてしまう「破滅的忘却」を引き起こしていたからです。新しい学習信号を用いることで、ハードウェア自体が不完全でノイズが多い場合でも、システムが以前の知識を保持しながら新しい情報に適応できることを研究者たちは示しました。

エネルギー効率への影響は多大です。研究者たちの推定によれば、このアナログでスパイクベースのアプローチを使用することで、推論（新しいデータに基づいて意思決定を行うこと）を実行するために必要なエネルギーを、完全なデジタルシステムと比較して60パーセント以上削減できるとのことです。特定の構成においては、その節約率はさらに高く、85パーセント以上に達することもあります。これは、アナログ信号をデジタル数値に、またその逆へと変換する際の膨大なエネルギーコストを回避できること、そしてスパイクが発生した時にのみ電力を消費するためです。チップへの学習プロセスには、初期段階において依然としてエネルギーを消費する高電圧パルスが必要ですが、研究者たちは、このコストは一度限りのセットアップまたは稀なイベントであるのに対し、日常的な運用中のエネルギー節約は継続的かつ重要であると指摘しています。

この研究は、人工知能におけるあらゆる問題を解決したと主張するものでも、これらのチップが明日すぐにスマートフォン内のプロセッサに取って代わることを示唆するものでもありません。研究者たちは、学習信号はうまく機能するものの、完全に統合された学習システムの完全なエネルギーコストについては、まだ実世界のデバイスにおいて測定されていないことを慎重に指摘しています。製造のスケールアップや、これらのチップを管理するために必要な制御回路の統合には、依然として課題が残っています。しかし、この研究は、自分の「内部の思考」を見る必要なく、自律的に学習できる脳のようなコンピュータを構築することが可能であるという、明確な概念実証（プルーフ・オブ・コンセプト）を提供しています。ハードウェアを学習アルゴリズムと同じ言語で話すように設計することで、チームは、設計のモデルである生物学的な脳と同じように、現実世界で学び、進化することができる、適応型でエネルギー効率の高いマシンへの道を切り開いたのです。