Light-Field-to-Bits Computing via an Online-Trainable Cascaded Optoelectronic Neural Network

現代の世界において、私たちのデバイスは、より少ない時間とエネルギーで、より多くのことを行うよう常に求められています。自動運転車からスマートカメラに至るまで、機械は視覚情報を即座に処理する必要があります。従来のコンピュータは、光を取り込み、それを電気に変え、その電気に基づいて複雑な計算を実行することでこれを処理します。この、光をデジタル数値に変換し、再び元に戻すというプロセスがボトルネックとなり、速度を低下させ、電力を消費させます。しかし、光そのものは非常に速く動き、膨大な量の情報を同時に運ぶことができます。科学者たちは、電子的なステップによる遅延を回避するために、光を使って直接数学的な計算を行うコンピュータを作ることを長らく試みてきました。課題は、光は速い一方で、複雑なタスクに必要な精度で制御することが難しく、現実世界のハードウェアは決して完璧ではないということでした。

研究チームは、光の連続的な流れと、デジタルコンピュータの離散的なバイナリ言語との間の溝を埋める新しい方法を実証しました。彼らは、画像を取り込み、特別に設計された一連の層を光が通過させることで、元の画像を再構成したり重いソフトウェアプログラムを実行したりすることなく、直接的なデジタル回答を生み出すシステムを構築しました。画像を完璧なコピーとして作ろうとするのではなく、このシステムは光エネルギーを特定のゾーンへと分類します。あるゾーンにどれだけの光が降り注いだかを別のゾーンと比較することで、機械は特定の情報のビットが0であるか1であるかを判断します。研究者たちが「ライトフィールド・トゥ・ビッツ（光場からビットへ）」コンピューティングと呼ぶこのアプローチは、入力画像が歪んでいても、あるいは装置が不完全であっても、高い精度で視覚パターンを4桁のバイナリコードへと変換することに成功しました。

この研究の核心は、物理的な光学とデジタル電子工学を組み合わせたハイブリッドマシンです。数字や交通標識などの画像を含む光のビームがシステムに入射することを想像してください。この光はまず、光の波を精密に曲げることができる特殊な材料で作られた物理層に当たります。光が次のステージに向けて空中を進む間に、光は広がり、第2の層と相互作用します。実験では、第1の層は実際の物理的なデバイスであり、第2の層は柔軟なテストを可能にするためにコンピュータによってシミュレートされたものでした。光は最終的に、エネルギーが集まった場所を捉えるカメラのようなセンサーに到達します。重要な革新は、結果の写真を撮ることではなく、光がいかに整理されるかという点にあります。システムは、センサー上の8つの特定のスポットに光を集めるように設計されており、これらは4つのペアに分かれています。各ペアについて、システムは単にどちらのスポットがより明るいかをチェックします。もし左上のスポットが右下のスポットよりも明るければ「1」と記録し、その逆であれば「0」と記録します。この単純な比較が4回行われ、元の入力を表す4桁のバイナリコードが得られます。

これを現実世界で機能させるために、研究者たちは厄介な問題に取り組む必要がありました。それは、コンピュータモデルで使用される理想的な設計とは異なり、現実のハードウェアは決して完璧ではないということです。レンズはわずかにずれており、光源は完全に均一ではなく、材料には微細な欠陥があります。もしシステムが完璧なコンピュータシミュレーションのみで学習された場合、実際の部品を用いて組み立てた際に失敗してしまうでしょう。チームは、この問題を解決するために「カメラ・イン・ザ・ループ」というトレーニングプロセスを採用しました。彼らは物理的なデバイスを構築し、その後、コンピュータを使用して実際のデバイスが実際にどのように振る舞うかを学習させました。コンピュータは、実際の機械の中を移動する光を観察し、その結果を記録し、エラーを修正するために物理層の設定を調整しました。これは、テストと微調整の継続的なサイクルであり、機械が自身の不完全性を克服して動作することを可能にしました。この手法により、システムは理想化された環境ではなく、現実世界のノイズや歪みを処理できることが保証されました。

この実験の結果は堅牢なものでした。研究者たちは、0から9の数字とAからFの文字に相当する16種類のヘキサデシマル（16進数）記号を用いてシステムをテストしました。また、より複雑で多様な交通標識の画像についてもテストを行いました。どちらの場合も、システムは画像を正しい4ビットのコードへと変換することに成功しました。入力画像が揺れたり、回転したり、ぼやけたりして現実世界の条件をシミュレートした場合でも、システムは93パーセント以上の確率で正しい答えを出しました。研究者がカメラセンサーの多くのデッドピクセルや低品質なデジタル変換をシミュレートした場合でも、システムは精度を維持しました。このことは、この手法が脆弱なものではないこと、つまり、ハードウェアが著しく劣化しても意思決定能力を失うことなく動作できることを示唆しています。

この研究の最も驚くべき側面の一つは、光が行う計算の速度です。システムの電子部品は、カメラが画像を読み取り、コンピュータが次のステップを処理するのを待つ必要がありましたが、光自体は重い作業をほぼ瞬時に実行しました。研究者たちの計算によれば、光が短い距離を移動し、層を通り抜けて曲がるという光学的なプロセスは、わずか10億分の1秒強の間に510億回以上の数学的演算を行うことに相当します。これは、ほとんどエネルギーを消費せず、遅延もほとんどなく行われる膨大な量の仕事です。対照的に、電子的な部分は、8つのスポットの光レベルを比較するというごくわずかな作業を行うだけで済みました。この役割分担により、システムは高次元のデータを非常に効率的に処理でき、最も困難な部分の作業を光そのものへとオフロード（肩代わり）させているのです。

研究者たちは、現在のセットアップがレーザーやカメラのような大きくかさ高い部品を用いた、実験台の上での概念実証（プルーフ・オブ・コンセプト）であることに注意を払っています。光は20センチメートルの距離を移動しなければならず、システムはカメラと光変調デバイスが画像を更新する速度によって制限されていました。しかし、彼らが示した原理は拡張可能です。将来的には、これらの大きな部品は、非常に小さな平坦な光学チップや小さな光検出器アレイに置き換えることができます。もしシステムが小型化されれば、それはカメラの速度ではなく、光速によってのみ制限される速度で動作できる可能性があります。究極の目標は、ロボットやドローンに搭載され、従来のコンピューティングのような遅延やエネルギーコストを伴うことなく、見たものを即座にデジタル的な意思決定へと変換できるデバイスを作ることです。

この研究は、光の物理的世界とビットのデジタル世界を融合させるための、重要な一歩となります。光が直接的かつ信頼性の高い意思決定を行うように導けることを示すことで、研究者たちは、より高速で効率的なマシンへの道を切り開きました。このシステムは、人間のように画像を再現したり場面を理解したりしようとするのではなく、光の物理学を利用して、情報をデジタルシステムがすぐに利用できる形式へと分類します。この光からビットへの直接的なマッピングは、自動運転車やリモートセンシングなど、速度とエネルギー効率が極めて重要となるアプリケーションに対して、有望な解決策を提供します。不完全なハードウェアでも動作するようにシステムを訓練できるという事実は、このようなデバイスが、制御された研究所内だけでなく、現実世界の環境に構築され、展開できる可能性があることを示唆しています。技術が成熟するにつれ、それは機械が世界をどのように認識し、相互作用するかを根本的に変えることになるかもしれません。