LEMUR 2: Unlocking Neural Network Diversity for AI
LEMUR 2は、生成、評価、およびデプロイのパイプラインを統合し、包括的な性能メタデータを持つ14,000を超える多様なニューラルアーキテクチャを生成する、大規模かつ拡張可能なフレームワークを導入することで、マルチモーダルなタスクやヘテロジニアスなハードウェアにわたる、再現可能でデータ駆動型のAI設計およびLLM駆動型AutoMLのための新たな基盤を確立します。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、完璧な家を建てようとしていると想像してください。長年、建築家たち（AI研究者）は、レンガを一つずつ手作業で積み上げるように、設計図を手書きしてきました。彼らには好んで使う標準的な設計図がいくつかありましたが、異なる時代のレンガを混ぜ合わせたり、砂漠や熱帯雨林、あるいは雪山のどこでも等しく機能する家を作ろうとしたりといった試みは、あまり行われてきませんでした。
LEMUR 2 は、このゲームのルールを変える大規模な新プロジェクトです。研究者たちは、単に数枚のお気に入りの設計図を見るのではなく、14,000を超えるユニークなニューラルネットワークのデザイン（「家」）を生成し、それらすべてをテストする、巨大で自動化された「建設工場」を構築しました。
彼らがどのように行ったのか、簡単な比喩を用いて説明します：
1. 建設チーム（モデルの作り方）
チームは、たった一つの設計図を描いてそれをコピーしたわけではありません。彼らは6つの異なる「クルー」を使用して、コレクションが驚くほど多様になるように、これら14,000のデザインを生成しました。
- 遺伝子エンジニア（進化論）: デジタル生物の集団を想像してください。コンピュータは、多くの世代にわたって彼らを「交配」させ、「突然変異」させ、強いデザインを残して弱いものを排除します。これにより、約2,000の新しい強力なアーキテクチャが見つかりました。
- コード変異器（AST編集）: これは、既存の家の設計図を取り上げ、廊下の幅を変えたり窓のサイズを変えたりするロボットのようなものです。コードをわずかに微調整して、その家が依然として建っていられるかを確認します。
- フラクタル建築家: これらの建築家は、小さなデザインが何度も繰り返されて複雑で自己相似的な構造（シダの葉や雪の結晶のようなもの）を作り出す数学的パターンを使用します。
- スカベンジャー（NN-RAG）: これは、大量の公開コード（巨大なオンラインのハードウェアショップのようなもの）を探索するロボットのようなものです。有用な既製品のパーツ（特定のドアや窓など）を見つけ出し、それらをツールボックスに追加する前に、それらが機能するかどうかをチェックします。彼らはこの方法で900以上の再利用可能なパーツを見つけ出しました。
- AI建築家（LLMと強化学習）: 彼らは、超スマートなAI（大規模言語モデル）に、ゼロから新しい設計図を書くよう依頼しました。時には、いくつかの優れた家の例をコピーするように与え（Few-Shot）、またある時には、AIが家を建てようとして失敗し、「叱責（負の報酬）」を受け、正解するまで何度もやり直させる（強化学習）こともありました。
- データミキサー: 彼らは、料理を作る前に「材料の準備方法」（データ拡張）を6,000通りテストし、どのレシピが最も料理を美味しくするかを調べました。
2. テスト場（何をテストしたか）
以前のテストの多くは、写真の中の猫や犬をどれだけうまく識別できるかという点のみを見ていました。LEMUR 2はもっと広範です。彼らはこれら14,000のモデルを以下の項目でテストしました：
- 画像の記述: AIに写真についての文章を書かせる。
- 画像の描画: テキストの説明からAIに画像を作成させる。
- テキストの執筆: AIに物語の次の単語を予測させる。
- エキスパートの混合: 一つの大きなモデルに頼るのではなく、異なる小さなモデルの「チーム」を作り、答えに対して投票させる。
3. 実社会でのストレス・テスト（デプロイメント）
これがこの論文の最大の革新です。通常、研究者はラボ内の巨大で超高速なコンピュータ上でモデルをテストします。LEMUR 2はこう問いかけます：「このモデルは、実際のスマートフォンやVRヘッドセットで実際に動作するのか？」
- NN-Lite（スマホテスト）: 彼らは数千のモデルを取り上げ、それらをAndroidスマートフォンで動作するように縮小させました。そして、これらのモデルを使ってスマートフォンがどれだけ速く「思考」できるかを測定しました。
- NN-VR（VRテスト）: 彼らは、仮想現実ゲームエンジン（Unity）の中でこれらのモデルを実行しようと試みました。モデルが90HzのVRヘッドセットに追いつくのに十分な速さであるかを確認しました（これは、ユーザーが動きによる不快感を感じないために、モデルが1秒間に90回思考しなければならないことを意味します）。
4. 結果：巨大なライブラリ
最終的な出力は、以下の内容を含む巨大なデータベースです：
- 14,000以上の異なるモデルデザイン。
- 750,000以上のトレーニング記録（すべてのテスト実行ごとのログブックのようなもの）。
- スマートフォンやVRヘッドセットからの実世界の速度データ。
なぜこれが重要なのか？
これまでのAI研究を、小さなレゴブロックの箱を持っている状態だと考えてください。あなたはいくつかクールなものを作れるかもしれませんが、持っているブロックに制限されてしまいます。
LEMUR 2 は、さまざまなレゴブロック、さまざまな組み立て説明書、さらには、小さなバックパック（携帯電話）やヘルメット（VR）に収まるレゴのお城の作り方までをも含む、倉庫いっぱいの素材を投げ込みます。
この巨大で多様なライブラリを持つことで、研究者は今やAIを使ってより優れたAIを設計することができます。人間がどの設計図が最適かを推測する代わりに、彼らはこのデータを使用して、ニューラルネットワークを機能させる要素を理解する「マスター・アーキテクト（大規模言語モデル）」を訓練できます。これは、将来的に、よりスマートで、より速く、より効率的なAIへとつながります。
要約すると： 彼らは、単にそれらがどれほど賢いかを見るためだけでなく、それらが私たちが毎日使っているデバイス上で実際に動作するかどうかを見るために、何千もの異なるAIの脳を作り出し、テストするための、大規模で自動化された工場を構築したのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。