ONNX-Net: Towards Universal Representations and Instant Performance Prediction for Neural Architectures

人工知能の世界において、最も強力なツールはしばなしば、人間の脳を緩やかにモデル化したシステムであり、パターンを認識したり、言語を翻訳したり、車を運転したりすることを学習するニューラルネットワークです。何十年もの間、科学者たちは、エンジンの調整を行うメカニックのように、その構造を微調整しながら、これらのネットワークを手作業で構築しようとしてきました。しかし、これらのシステムがより複雑になるにつれ、人間の直感はボトルネックとなりました。これにより、「ニューラルアーキテクチャ探索（Neural Architecture Search）」と呼ばれる分野が誕生しました。ここでは、コンピュータが自らのネットワークを設計する任務を負います。目標は、特定の仕事に対して最適な構造をマシンに見つけさせることです。しかし、このプロセスは壁に突き当たりました。設計が良いかどうかを知るためには、コンピュータがそれをゼロから構築し、訓練しなければならず、そのプロセスには大規模なスーパーコンピュータを用いて数日から数週間かかることもあります。これにより、探索は極めて遅く、高価なものとなり、実験ができる量に制限がかかっています。

研究チームは現在、より速いコンピュータを作るのではなく、設計の「語り方」を変えることで、このボトルネックを打破する方法を提案しています。彼らは、ニューラルネットワークのユニバーサルな翻訳機として機能する「ONNX-Net」と呼ばれる新しいシステムを導入しました。すべての新しい設計を、あらかじめ定義された硬直した箱に押し込めるのではなく、このシステムはネットワークの設計図を、まるで単純な文章であるかのように読み取ります。複雑な技術的図面を平易なテキスト記述に変換することで、研究者たちは、ネットワークを実際に構築したり訓練したりすることなく、そのテキストを読むだけで、そのネットワークがどれほど上手く機能するかを予測できる言語モデルを訓練しました。その結果、ネットワークの設計の成功を瞬時に推測できるツールが誕生し、膨大な時間とエネルギーを節費することができます。

研究者たちが取り組んだ核心的な問題は、これまでのスピードアップの試みが限定的すぎたことでした。以前の手法は、同じレゴブロックを積み重ねるような、小さくて繰り返されるブロックから構築されたネットワークに対してのみうまく機能していました。しかし、科学者がより柔軟で複雑なネットワークを設計し始めると、それらの古い手法は、新しい不規則な形状を理解できなかったために失敗しました。さらに、これらの予測ツールの訓練に使用されるデータは異なるフォーマットに分散していたため、あらゆるタイプのネットワークを扱える単一のスマートな予測器を作成することは不可能でした。これを解決するために、チームはまず「ONNX-Bench」と呼ばれる大規模で統一されたライブラリを構築しました。彼らは様々なソースから約65万種類の異なるニューラルネットワーク設計を集め、それらすべてを「ONNX」として知られる単一の標準ファイル形式に変換しました。このフォーマットは、ニューラルネットワークのためのユニバーサルな言語のようなものであり、どんなに複雑で珍しい構造であっても記述することができます。

この大規模で標準化された設計のコレクションを手に入れた後、研究者たちは、この情報をどのようにコンピュータプログラムに投入するかという課題に直面しました。彼らは、ネットワークを記述する最も柔軟な方法は、複雑なグラフや行列を通じてではなく、自然言語を通じることであると気づきました。彼らは、各ネットワークの技術的な詳細（どのような演算を行い、各パーツがどのように接続され、各コンポーネントの具体的な設定はどのようになっているか）を、読み取り可能なテキスト記述へと翻訳する方法を開発しました。ネットワークを指示書のセットだと想像してください。「入力を受け取り、フィルターを通し、次に補正を適用し、最後に結果を出力する」といった具合です。研究者たちは、ライブラリ内の65万個のネットワークすべてに対して、これらの指示を生成するソフトウェアを作成しました。

次に、彼らはこのテキストを使用して、人間の言語に精通している人工知能の一種である大規模言語モデルを、性能予測器として訓練しました。このモデルは、詩を書いたり質問に答えたりすることを学ぶのではなく、ニューラルネットワークを記述する技術的な「文章」を読み、その精度を予測することを学びました。その訓練は驚くほど効率的でした。モデルは、以前の手法で必要とされたデータのわずか1パーセント未満のデータを見ただけで、正確な予測を行うことを学習しました。このことは、ネットワークを明確なテキスト形式で記述することで、コンピュータは以前よりもずっと速く、設計の本質的な特徴を把握できることを示唆しています。

この新しいアプローチの真のテストは、それが未知のデザインに対して汎用性を持てるかどうかでした。研究者たちは、ある特定のファミリーから作られたネットワークでモデルを訓練し、その後、全く異なる他のファミリーのネットワークに対して性能を予測させることで、モデルをテストしました。結果は驚くべきものでした。モデルは、高い精度でこれらの未知のデザインの性能を予測することに成功しました。これは「ゼロショット転移（zero-shot transfer）」として知られる能力です。つまり、システムは新しいタイプのネットワークに合わせて再訓練や調整を行う必要はなく、テキスト記述から学んだことを新しい構造の理解にそのまま適用できたのです。これは大きな進歩です。なぜなら、以前のツールは、訓練された特定のタイプのネットワークに縛られやすく、より複雑な新しい設計に適応できなかったからです。

研究者たちはまた、モデルが予測を行うために具体的にどのような情報を必要としているのかについても調査しました。彼らはテキスト記述を、演算の名前、データの流れの形状、デザイナーによって設定された具体的なパラメータといった異なる部分に分解しました。その結果、ネットワークのパーツがどのように接続されているか、およびデータの形状に関する詳細を含めることが、成功のための最も重要な要因であることを発見しました。モデルは基本的な構造だけでも十分に機能しましたが、これらの具体的な詳細を加えることで、より鋭い予測が可能になりました。これは、テキストベースのアプローチが、無関係なコードのバリエナンスというノイズに惑わされることなく、ネットワーク設計の必要な詳細を捉えていることを裏付けています。

こうした成功にもかかわらず、研究者たちは自らの研究の限界についても慎重に言及しています。このシステムは、主に「CIFAR-10」と呼ばれる特定のデータセットを用いた画像認識タスク用に設計されたネットワークを用いて訓練およびテストされました。この手法は、彼らの標準フォーマットに変換できるあらゆるネットワークを扱う理論的な能力を持っていますが、現在の結果はこの特定の領域に限定されています。チームは、彼らの訓練データの多様性は膨大ではあるものの、依然として既存のベンチマークから得られたものであり、あらゆるタイプのニューラルネットワークやタスクをまだ網羅しているわけではないことを認めています。また、彼らのテキストベースの手法は、従来のグラフベースの手法よりも柔軟ではあるものの、非常に限定的で特殊なシナリオにおいては、それらの古い手法が依然として凌駕する場合があることも指摘しています。

この新しいベンチマークとそれに付随する予測ツールの公開は、人工知能におけるより効率的な探求への扉を開きます。設計を訓練する重いコストをかけることなく、即座に評価する方法を提供することで、研究者は以前の数回のテストにかかっていた時間で、数千のアイデアをテストできるようになります。この研究は、ニューラルネットワークの設計の未来は、より速いハードウェアを作ることではなく、設計そのものを記述し理解するためのより良い方法を見つけることにあるのではないか、ということを示唆しています。研究者たちは、自分たちのツールやデータを公開することで、特定のタイプのネットワークに限定されず、進化し続ける人工知能の展望に適応できるような検索手法を、他の人々が構築することを奨励したいと考えています。