Multi-layer MIMO Relay as Deep Physical Neural Networks: Power Amplifiers as Activation Functions

インターネットを、データが交通量となる巨大で賑やかな都市だと想像してみてください。現在、この交通量の大部分は、巨大なデータセンターによって処理されています。それは、コンピュータが一つずつ数字を計算する、巨大な空調の効いた工場のようです。これは機能しますが、速度が遅く、大量の電力を消費します。現在、科学者たちはこう問いかけています。「もし、生のデータを工場へ送るのではなく、『道路』そのものに思考させることができたらどうだろうか？」と。このアイデアは「物理ニューラルネットワーク（Physical Neural Network）」と呼ばれています。デジタルコードの代わりに、これらのネットワークは光、音、あるいは電波といった、世界の自然な物理現象を利用して、瞬時に計算を行います。それは、遠くの事務所にある信号機のコントローラーを待つのではなく、道路自体がどの車を加速させ、どの車を減速させるかを決定できるようなものです。

この論文が探求している特定の科学領域は、「無線物理ニューラルネットワーク（Wireless Physical Neural Networks: WPNNs）」です。簡単に言えば、これは人工知能（AI）の背後にある数学的処理を、電波を用いて行う方法についてです。通常、AIはパターンの認識（例えば、写真の中の猫を識別するなど）を学習するために、数字を掛け合わせ、その結果を特別な曲線（「活性化関数」と呼ばれます）に通して押しつぶす作業を行います。通常のコンピュータでは、これはデジタルチップの中で行われます。しかし、無線ネットワークにおいては、電波が自然に混ざり合い、さらに信号を増幅する装置（パワーアンプ）には、信号が強すぎると少し「押しつぶされる（非線形になる）」という癖があります。長い間、エンジニアたちはこの「押しつぶれ」を、信号を台無しにするバグ（間違い）だと考えてきました。しかし、この論文は、システムを適切に設計すれば、その「バグ」が実は強力な武器になり、電波を空中に浮かぶ深い「思考する脳」へと変貌させることができる可能性を示唆しています。

論文の著者であるMeng Hua、Itsik Bergel、およびDeniz Gündüzは、一連のリレー局（中継局）を用いて、これらの無線脳を構築する新しい方法を提案しています。これは、メッセージを囁き合うのではなく、あるグループのリレー局が、あるソースからユーザーへと複雑な画像をパスしていく「伝言ゲーム」のようなものです。彼らのセットアップでは、各リレー局は単にメッセージを大きく叫ぶだけでなく、ニューラルネットワークの「層（レイヤー）」として機能します。リレー局は、入ってきた信号に対して特定の「利得（ゲイン）」（音量を上げるようなもの）と「バイアス」（わずかなオフセット）を適用し、その後、自身のパワーアンプを通過させます。論文では、そのアンプが持つ自然な非線形の「押しつぶれ」を、ニューロンが発火するかどうかを決定する部分である「活性化関数」として扱っています。これらのリレーをいくつも連鎖させることで、信号をデジタルとアナログの間で何度も変換することなく、通信環境そのもので情報を処理する「深い（ディープな）」ネットワークを作り出しています。

このアイデアをテストするために、研究者たちはFashion-MNISTデータセット（シャツ、ブーツ、バッグなどの衣類を描いた28x28ピクセルの画像集）を用いて、画像を認識するシステムをシミュレーションしました。彼らは、無線信号を管理する2つの異なる方法を比較しました。第一の方法は「LS（最小二乗法）」と呼ばれ、受信側がチャネルの状態を知っていることだけを必要とします。第二の方法は「SVD（特異値分解）」と呼ばれ、送信側と受信側の両方がチャネルを完全に把握していることを必要とします。結果は驚くべきものであり、直感に反するものでした。研究者が「LS」法を用いた場合、非線形な「押しつぶれる」アンプが、層が増えるにつれてシステムをより賢くする助けとなりました。層を増やせば増やすほど画像認識の精度は向上し、5つのリレーを用いた非線形システムは、完璧なデジタルコンピュータに肉薄する約92.6%の精度に達しました。

しかし、論文は、この手法がすべてのセットアップで機能するわけではないことを明確に否定しています。「SVD」法を用いた場合、つまり信号経路を完全に分離しようとする場合、非線形アンプは問題となりました。「押しつぶれ」が信号の繊細な分離を乱し、リレーが増えるにつれてパフォーマンスが悪化してしまったのです。これは、非線形ハードウェアの「魔法」が普遍的な解決策ではないことを物語っています。それは、システムがどのように設計されているかに完全に依存します。さらに、論文は、アンプが完璧で線形であることを前提として学習を行い、その後に実際の非線形アンプでテストを行うと、特にチェーンが長くなるにつれてパフォーマンスが著しく低下することも指摘しています。これは、これらの無線脳が現実世界で機能するためには、ハードウェアの癖を無視するのではなく、トレーニングプロセスの一部として組み込まなければならないことを示唆しています。

これらのシミュレーションにおいて、著者たちは、非線形アンプを用いた「LS」アプローチこそが、ディープネットワークにおける勝者であることを発見しました。つまり、従来のハードウェアの制限を、学習能力を高めるための特徴へと転換させたのです。彼らは単に示唆しただけでなく、ハードウェアの実際の挙動を考慮して学習を行えば、リレーの数が増えるにつれて精度が着実に向上することを、コンピュータモデルを通じて証明しました。論文は、このアーキテクチャは有望ではあるものの、今後の課題は、不完全なハードウェアや不確実な信号条件という、現実世界の厄介な実態に対して、いかにシステムを堅牢（ロバスト）にするかを見出すことであると結論付けています。現時点では、この研究は、私たちの無線機器の自然な非線形性を活用することで、空の上を移動しながら思考するAIを構築できる可能性があることを示しています。