Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU

ロボットに言葉を話させたり、絵を描かせたり、パズルを解かせたりする方法を教えようとしている場面を想像してみてください。そのためには、ロボットの「脳」となるものを作る必要があります。科学者たちはこれを「ニューラルネットワーク」と呼んでいます。しかし、ここでの難しい問題は、その脳がどのくらいの大きさであるべきか、いくつの層が必要か、あるいは設定をどのように調整すべきかが正確には分からないということです。ここで「ニューラル・アーキテクチャ探索（NAS）」が登場します。NASは、どの脳のデザインが最も優れているかを確かめるために、何千もの異なるデザインを試していく、非常に組織的で疲れを知らない「ロボット建築家」のようなものです。

通常、この仕事は、特定の企業（NVIDIA）が作った強力なコンピューターチップが詰まった、大規模で高価なデータセンターで行われます。これには、数千ドルの電気代と時間がかかります。それはまるで、巨大なクレーンの艦隊だけを使って超高層ビルを建てようとするようなものです。しかし、もしこれを、あなたがすでに持っている普通のノートパソコンやゲーミングコンピューターで行えるとしたらどうでしょうか？ これこそが、この論文が取り組んでいる大きな問いです。「別の会社の、標準的で手頃な価格のグラフィックスカード（AMD）を使って、完璧なAIの脳のデザインを見つけ出すことはできるのか？」という問いです。この答えが重要なのは、学生が自分の部屋で実験する場合でも、小さな予算を持つ研究者が実験する場合でも、お金や地球環境を壊すことなく、AIのデザインを実験できるようにするためです。

---

低予算AI建築家の物語

GaaR（Goal-Aware Adaptive Regulation：目標認識型適応制御）を紹介しましょう。GaaRは、あなたのコンピューターの中で暮らす、賢い「一列走行型」のロボット建築家だと考えてください。以前の冒険において、このロボットは、消費者向けのAMDグラフィックスカードだけを使用して、視覚システム（画像を「見る」ための脳）の設計に成功しました。そのロボットは、45分間で画像の認識精度94.36%を達成し、すべてのステップをシンプルなローカルデータベースに記録しました。

さて、著者であるレオン・サンドラーはこう問いかけます。「この賢いロボット建築家は、全く異なる仕事もこなせるのだろうか？」 前回のタスク（画像認識）のようにAIに「見る」ことを教える代わりに、AIに「話す」ことを教えられるでしょうか？ この新しい仕事には、チャットボットやテキスト生成を支えるテクノロジーである「Transformer言語モデル」が関わってきます。これらは画像用の脳とは大きく異なります。画像の物体を識別するのではなく、文章の次の単語を予測するのです。

実験：小さなシェイクスピア劇

これをテストするために、研究者は同じ古いAMDグラフィックスカード（メモリ8GBのRX 5700）を使ってレースを設定しました。このカードは特殊で、ほとんどのAIツールが使用する通常の「CUDA」ソフトウェアとうまく連携しません。代わりに「DirectML」と呼ばれる別の経路を必要とします。ロボット建築家は、一般的なビッグデータ用ツールに頼ることなく、この経路を切り抜けていかなければなりませんでした。

タスクはシンプルですが、厳格でした：

1. 目標： AIに『ウィリアム・シェイクスピア全集』（特に「Tiny Shakespeare」版）のテキストから、次の文字を予測することを教えること。
2. ルール： ロボットは、一つのデザインにつき、学習のステップを正確に300ステップという非常に短い時間で試さなければなりません。永遠に走らせることはできず、効率的である必要がありました。
3. 変数： ロボットは、AIの脳について6つの要素を調整できました。脳の幅、アテンション・メカニズム（注意機構）の「ヘッド」の数、深さ、一度に記憶できるテキスト量（コンテキスト）、一度に処理するサンプル数、そして学習の速さです。

結果：スピード vs サイズ

ロボットは、8世代のデザインを実行しながら作業を進めました。現実世界の時間でわずか3分16秒のうちに、チャンピオンとなるデザインを見つけ出しました。

• 勝者： 最良のデザインは、0.8百万パラメータ（脳の大きさの指標）を持っていました。
• スコア： AIの「混乱」（検証損失）を2.171から2.021へと減少させました。平たく言えば、AIが物語の次の文字を推測するのが上手くなったということです。
• 驚きの事実： ロボットは、最大で、最も深く、最も複雑な脳を選んだわけではありません。代わりに、**「幅広くて浅い」脳と、「短い記憶（コンテキスト）」**を選びました。

なぜでしょうか？ それは**「予算効果（Budget Effect）」**によるものです。すべてのデザインに与えられた学習時間はわずか300ステップであったため、そのステップを最も「速く」処理できるデザインが勝利したのです。巨大で深い脳は学習に時間がかかります。一方、幅広くて浅い脳は高速です。時間の予算がある状況では、ロボットは「速くてシンプル」なものが「遅くて複雑」なものに勝つことを学んだのです。これは、全員が正確に100メートルを走るレースのようなものです。たとえ最強のランナーでなくても、最も速くスプリントできる人が勝つのです。

現実的な検証：ロボットが実際に勝つのはいつか？

ここが最も正直な部分です。研究者は単に「このロボットは天才だ！」と言ったわけではありません。彼らは、ロボットの「強欲な（greedy）」戦略（常にこれまでのベストなものを選び、それを微調整していく手法）を、単に「ランダムに選ぶ人」と比較するために、レースを10回行いました。

• 結果： たった8回の試行（メインの実験で使用された小さな予算）では、ロボットとランダムな推測者は同等の性能でした。ロボットはランダムな推測者に勝てず、引き分けに終わりました。
• 教訓： ロボットの「賢い」戦略は、問題が十分に大きく、予算が十分に長く、パターンが見えるようになるまで続く場合にのみ機能します。非常に小さく滑らかな地形（ランドスケープ）で試行回数が極めて少ない場合、賢さはあまり役に立ちません。
• 証明： ロボットが「賢くなれる」ことを示すために、研究者はより大きく複雑な問題（6,000通りのデザインが存在する物理シミュレーション）でテストを行いました。そこでは、ロボットは**70%の確率で完璧な解を見つけ出したのに対し、ランダムな推測者は0%**でした。

これがあなたにとって何を意味するか

この論文は、クロスモーダルNAS（異なる種類のAIに対して同じ探索エンジンを使用すること）が、安価なコンシューマー向けハードウェアでも動作することを証明しています。これは、スーパーコンピューターを必要とせず、標準的なAMDグラフィックスカード上で、数分でテキスト生成AIを設計できることを示しています。

しかし、同時に明確な境界線も設定しています。もし、デザインをテストするための時間やお金が極端に少ない場合、「賢い」探索戦略は、単にランダムに推測することよりも優れているとは限りません。戦略がその魔法を発揮させるためには、十分なスペースが必要です。

著者は、誰でもこの実験を再現できるように、すべてのコード、ログ、およびデータベースを公開しています。メッセージは明確です。AI研究は、高価な扉の向後に閉じ込められる必要はありません。適切なツールがあれば、コンシューマー向けのコンピュータは、よりスマートで効率的なAIの脳を構築する方法を発見するための、強力な研究所になり得るのです。