Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

デジタル・ラボ・ラット：AIが単独で科学者になろうとするとき

コンピュータが単に指示に従うだけでなく、パズルを解くための「方法」を自ら考え出す世界を想像してみてください。これは機械学習という、ルールをすべてハードコーディングする代わりに、データから学習する方法をコンピュータに教える科学の一分野です。通常、猫の写真を認識したり天気を予測したりするように、コンピュータに特定のタスクを習得させたいときは、**ニューラル・アーキテクチャ探索（Neural Architecture Search）**と呼ばれる手法を用います。これは、完璧なレゴの塔を作ることに似ています。あなたはレンガの箱（コンピュータのコード）を持っており、その塔が最も高く、最も強固に立つようにレンガを積み上げたいと考えています。伝統的には、どのレンガを選ぶべきかのルールを人間が設計するか、あるいはどの組み合わせが最適かを推測するために単純な数学を用いてきました。

しかし、もし超スマートなロボットにレゴの箱を丸ごと渡し、「自分で考えて。最高の塔を作って。終わるまでやめないで」と言ったらどうなるでしょうか？ それこそが、この論文が探求している大きな問いです。もし、たった一つの人工知能（AI）エージェントに、人間の研究者に必要なすべての道具――ノート、ライブラリ、実験を実行するためのコンピュータなど――を与えたとしたら、そのAIは数週間にわたって孤独な科学者として振る舞えるのでしょうか？ 私たちがこれを重視するのは、AIが賢くなるにつれて、AIが新しい発見をより速く行う手助けをしてくれるのか、それとも単に小さくて退屈な変更を繰り返すループに陥ってしまうのかを知りたいからです。答えは、単に「より良い塔を建てること」ではありません。それは、ロボットが退屈したり混乱したりすることなく、人間とロボットがどのように協力してチームを組むことができるかを理解することなのです。

---

実験：長い旅路に挑むロボット研究者

この研究において、研究者たちはデジタル研究所を設置し、その鍵を汎用的な一つのAIに託しました。彼らは単にAIに数学の問題を解かせたのではありません。新しいタイプのコンピュータの脳である**ビジョン・トランスフォーマー（Vision Transformer）**を設計するよう求めたのです。具体的には、非常に難しい制約を課しました。その脳は「チャネル・アテンション」（画像の色や質感に焦点を当てること）のみを使用して機能しなければならず、「空間アテンション」（画像内の位置に注目すること）を使用することは禁止されました。これは、シェフに対して、ナイフもコンロも一切使わずにグルメ料理を作るよう命じるようなものであり、AIに全く新しい調理法を発明させることを強いるものでした。

AIには特定の道具セットが与えられました。コードを管理する方法、実験を監視するトラッカー、試したことを記憶するための持続的なメモリ、そして実験の途中でアクセスできる科学論文のデジタル・ライブラリです。人間の研究者は一歩退き、ゲームのルールを変更したり、AIが行き詰まったときに促したりすることだけを行いました。AIは約10週間の現実世界の時間、約150回の実験を実行し、約2,400 GPU時間の計算能力を使用して走り続けました。それはスプリントではなく、マラソンでした。

3つのフェーズの物語

実験は、それぞれ異なる雰囲気と結果を持つ3つの明確な章を経て展開されました。

フェーズ1：黄金の時間と壁
最初は、AIはまるで駄菓子屋にやってきた子供のようでした。AIは急速かつ劇的な改善を見せました。最初の6回の試行だけで、AIは精度を大幅に向上させる根本的なトリックを発見しました。この初期のアイデアがあまりに効果的であったため、この単一のアイデアだけで、小さなテストデータセットにおけるAIの全進歩の約**80%**を占めていました。しかし、その後、楽しさは終わりました。AIは「飽和の壁」に突き当たりました。AIは設定を微調整すること――ここでの数字を変えたり、あそこのつまみを調整したりすること――を繰り返しましたが、何も機能しませんでした。AIは、役に立たない微細で漸進的な変更のループに陥っていたのです。それはまるで、ロボットが新しいアイデアを使い果たし、ただ空回りしているかのようでした。

フェーズ1b：ライブラリの開放
人間の研究者は、ロボットが行き詰まっていることに気づきました。彼らはロボットの脳を作り変えたのではなく、新しい道具を与えました。それが、科学論文のライブラリへのアクセスです。突然、AIの挙動が変わりました。AIは単に数字をいじるのをやめ、読んだ内容に触発されて、実際のコードに対して大胆な変更を加えるようになりました。AIは単に古いものを調整するのではなく、新しい構造を提案し始めたのです。これは、ロボットが「愚か」だったのではなく、次のレベルの思考を解き放つための異なる種類の「鍵」を必要としていたことを示唆しています。

フェーズ2および3：スケールアップとつまずき
研究者がAIをより困難なテスト（小さな画像から大規模で複雑な画像へ）へと移行させるにつれ、同じパターンが繰り返されました。AIは良い解決策を見つけますが、その特定の解決策に対して微細な改善を試みることで行き詰まってしまうのです。AIは非常に「強欲（greedy）」になりました。つまり、現在のベストなアイデアを愛するあまり、たとえそのアイデアが明らかに失敗しているときでも、全く異なるものを試すことを拒んだのです。例えば、最も難しいテストにおいて、AIはある程度うまく機能する解決策を見つけましたが、その後18回もの試行を、その解決策に対する無意味で微細な調整に費やし、それが停滞している事実を無視し続けました。それはまるで、パンクしたタイヤを見つけたドライバーが、タイヤを交換する代わりに、タイヤを磨き続けることに何時間も費やすようなものでした。

ロボットが学んだこと（そして学ばなかったこと）

AIはいくつかの点において驚くほど優秀でした。AIは、いくつかのよく知られた科学的事実を自律的に「再発見」しました。例えば、この特定のタイプのコンピュータの脳においては、多くの「ヘッド」を持つよりも、詳細に焦点を当てるための単一の「ヘッド」を持つ方が優れているということを発見しました。これは、人間の科学者がすでに知っている事実と一致します。また、小さな画像では機能したトリックが、大きな画像ではパフォーマンスを低下させることも理解しており、自身の失敗から学ぶことができることを示しました。

しかし、AIは人間のような面白い欠点も見せました。

• リスク回避： 大胆でリスクのあるアイデアを試して失敗した後、AIは非常に臆病になりました。ルールで許可されているにもかかわらず、長い間、安全で退屈なアイデアに固執しました。
• 成功の追及： 最近うまくいったことをやり続けることを好みました。もしコンピュータの脳をわずかに高速化する方法を見つければ、全く異なるアプローチの方が良い可能性があるにもかかわらず、それをさらに「わずかに」高速化することに執着しました。
• 「強欲」の罠： 最大の問題は、AIの思考力が低いことではなく、ゲームのルールがAIを強欲にさせていたことでした。システムは、以前のものより優れていればアイデアを保持するという仕組みになっていました。これは、登り坂のステップを一段ずつ進むことはできても、横に移動したり別の道を試すために戻ったりすることはできないゲームのようなものです。AIはルールを完璧に遵守しましたが、その結果、山の頂上を見つける代わりに、小さな丘の上で立ち止まってしまったのです。

大きな教訓：脳ではなくワークフローである

この論文の最も重要な発見は、少し意外なものでした。研究者たちは、AIの知能そのものよりも、ワークフロー（AIに与えられたルールと道具）の方が重要である、あるいはそれ以上に重要であると結論付けました。

AIが失敗したのは、「愚か」だったからではありません。短距離走のための設計で作られたゲームを、マラソンとしてプレイしていたからです。「コミットか破棄か（良ければ保持し、悪ければ捨てる）」というルールは、AIに、目の前の一歩だけを見る強欲な登山者のように振る舞うことを強いました。もし研究者が、複数の異なるアイデアを同時に走らせたり、数ターンごとに「ムーンショット（壮大な挑戦）」となるアイデアを試すことを強制したりするなど、ゲームを異なる形で設計していたら、結果は全く違っていたかもしれません。

要約すると、この論文は、AIを優れた研究パートナーにするためには、単にAIをより賢くしようとするのではなく、リスクを取り、異なる道を探索し、現在のお気に入りのアイデアに固執しないように促す、より優れた「ワークフロー」を構築する必要があると示唆しています。AIは疲れを知らない有能な労働者ですが、適切な指示と道具がなければ、同じことを何度も繰り返すループに容易に陥ってしまうのです。AI研究の未来は、彼らが自力で解決することを期待するのではなく、これらのデジタルな精神を導くためのより優れたシステムを設計することにある、と著者らは提言しています。