Improving Performance of Spike-based Deep Q-Learning using Ternary Neurons

ロボットにビデオゲームを教えようとしていると想像してください。意思決定を行うために、ロボットには「脳」が必要です。そして、人工知能の世界では、私たちはしばしば「ニューラルネットワーク」を用いてこれらの脳を構築します。これらのネットワークは人間の脳から着想を得ており、そこではニューロンと呼ばれる微小なユニットが信号を互いに伝達しています。従来のコンピュータの脳では、これらの信号は電気の滑らかで連続的な波のようなものです。しかし、「スパイキングニューラルネットワーク（SNN）」と呼ばれる特別な種類の脳では、ニューロンは「スパイク」と呼ばれる電気の小さく鋭いバースト（突発的な放出）を使用して通信します。これは、実際の生物学的なニューロンが発火する仕組みによく似ています。この手法は非常にエネルギー効率が高いため、移動式のロボットや重いバッテリーを運ぶことができないデバイスにとって最適です。

しかし、一つ問題があります。ほとんどの効率的なスパイキング脳は、2つの状態しか持っていません。つまり、スパイクを発火させる（1）か、静止している（0）かのどちらかです。それは、オンかオフのどちらかしかない電灯のスイッチのようなものです。これは、ロボットが一度にどれだけの情報を頭の中に保持できるかを制限してしまいます。最近、科学者たちはこれらのスイッチを、3つの状態（正の方向に発火する（+1）、静止する（0）、負の方向に発火する（-1））を持つ「三値（ターナリー）」ニューロンへとアップグレードすることを試みました。負のスイッチを追加すればロボットはより賢くなると思うかもしれませんが、驚いたことに、ビデオゲームの設定でこれらを試したところ、ロボットの性能は実際には低下してしまいました。この論文はこの謎、つまり、なぜ選択肢を増やすことがロボットをより愚かにしてしまったのかという問いを掘り下げ、どのようにしてロボットを再びゲームのチャンピオンにするためにそれを修正したのかを解明しています。

愚かなロボットの謎

研究チームであるドレクセル大学のチームは、アタリのビデオゲーム（『ブレイクアウト』や『スペースインベーダー』のような古典的なアーケードゲーム）をプレイするように設計されたディープラーニング・システムにおいて、これら新しい「三値」ニューロンをテストすることにしました。彼らは、問題は追加された状態そのものではなく、「どのようにニューロンが学習しているか」にあるのではないかという仮説を立てました。

ロボットの訓練を、犬に芸を教えることに例えて考えてみましょう。命令を与え、犬が挑戦し、それに対して「ご褒美（報酬）」を与えるか、「ダメ（ペナルティ）」を与えます。AIの世界では、この「ご褒美」は、ロボットが期待していたことと実際に起こったことの差を見ることで計算されます。この差は「勾配（グラディエント）」と呼ばれ、ロボットに次回の改善のために脳をどのように調整すべきかを教える指標となります。

チームは、標準的な三値ニューロンが、間違いの「大きさ」ではなく、間違いの「方向」だけに注目する教師のようなものであることを発見しました。もしロボットが間違いを犯した場合、三値ニューロンは「間違った方向に進んだぞ！」（+1 または -1）と伝えることはできても、「どの程度間違えたのか？」（活動量）という問いを完全に無視してしまうのです。ビデオゲームの学習の初期段階では、ロボットはしばりの予測を外して無秩序に動いていることが多いため、「方向」のエラーは混乱しており、ランダムです。標準的な三値ニューロンは方向性に固執しすぎていたため、ノイズの中で迷子になり、学習を完全に停止してしまいました。それはまるで、コンパスがランダムに回転している中で、霧の立ち込める迷路をナビゲートしようとしているようなもので、ロボットはただ立ち尽くしてしまったのです。

非対称の解決策

この問題を解決するために、著者らは「深層非対称三値スパイキングQネットワーク（DATSQN）」と呼ばれる新しい設計を提案しました。彼らは、自然の中に答えがあることに気づきました。人間の脳では、すべてのニューロンが平等に作られているわけではありません。私たちのニューロンの約80%は「興奮性（エキサイタトリー）」であり（脳を動かす働き）、約20%は「抑制性（インヒビトリー）」です（脳に停止を命じる働き）。古い三値モデルは、これら2種類のニューロンを完璧な鏡合わせの存在として扱っていました。これは生物学的には非現実的です。

チームの新しいモデルはこの対称性を打破しました。彼らは、「正（興奮）」と「負（抑制）」の閾値が異なるニューロンを作成しました。これを可視化する一つの方法は、2つの異なる鍵を持つドアを想像することです。古いモデルには2つの同一の鍵がありました。どちらの側から強く押しても、ドアは同じように開きました。新しいモデルは、「停止」側の鍵は重くて開けにくく、「進行」側の鍵は軽くて開きやすいという設計になっています。この非対称性により、たとえロボットが間違いの「方向」について混乱していても、ニューロンは「どの程度活動すべきか」についての明確な信号を送ることができるようになりました。これにより、「方向を示す矢印」が回転していても、「音量つまみ」の機能が維持されるようになったのです。

結果：停滞からスーパースターへ

チームは、この新しい脳を7つの異なるアタリゲームでテストし、古いバイナリ（オン/オフ）のロボットおよび標準的な三値のロボットと競わせました。彼らは、学習をより困難にするために、シミュレーションの時間窓を（40ステップではなく20ステップという）短い設定にし、ロボットに素早い決断を強いることで、課題の難易度を上げました。

結果は驚くべきものでした。標準的な三値ロボット（DTSQN）は、非常に低いスコアしか出せず、基本的なバイナリロボットよりも性能が悪かったのです。彼らは確かに「学習の霧」の中に閉じ込められていました。しかし、新しい非対称ロボット（DATSQN）は、追いついただけでなく、躍進しました。6つのゲームにおいて、新しいモデルはバイナリの基準値を上回り、平均ゲームスコアで30%の向上を達成しました。例えば、『ビームライダー』では、新しいロボットはバイナリのロボットの2,069点に対し、4,000点を記録しました。『ブレイクアウト』では、252点対207点となりました。

研究チームはまた、トレーニングの「鼓動」についても確認しました。彼らは、新しいモデルの学習信号が強力かつ安定しており、ロボットが学習方法を忘れてしまう「勾配消失問題」を回避していることを見出しました。また、新しいモデルのニューロンは、実際のヒトの脳と同様に、自然に大部分が興奮性へと進化し、正のスパイクが負のスパイクを少なくとも60%の比率で上回っていることも観察されました。

これが意味すること

この論文は、ニューロンに単に多くの状態を追加するだけでは不十分であり、それらの状態が「どのように学習するか」を設計する必要があることを示唆しています。人間の脳における興奮性と抑制性のニューロンの不均衡を模倣することで、チームは、よりエネルギー効率が高く、かつ複雑なタスクの学習に優れたスパイキングネットワークを作り上げました。この研究はビデオゲームのシミュレーションで行われましたが、この「非対称」のアプローチが、将来のロボットやその他のデバイスのための、より優れた、より効率的なAIの脳を構築するための鍵となる可能性があることを示唆しています。著者らは、彼らのモデルはこれらのゲームにおいては非常にうまく機能しているものの、より良いシステムを構築するための一つの提案に過ぎないことを述べており、このアプローチが視覚や言語処理といった他の分野でも役立つかどうかは、今後の興味深い課題としています。