Experimental reasoning in large language models

科学とは、常に問いと物理的世界との間の対話であり続けてきました。研究者がアイデアを提案し、世界がそれに同意するかどうかを確認するためのテストを設計し、そして何が起こるかを観察します。もし結果が予想外であった場合、研究者は計画を変更し、再び挑戦します。この「問い、行動し、調整する」というサイクルこそが、発見の原動力なのです。何十年もの間、科学者たちはこの作業を代行してくれる機械を作ろうとしてきました。初期の試みは自動化に焦点を当てており、レシピ通りに忠実に従うシェフのように、厳格な一連の指示に従うロボットでした。これらの機械は反復作業には優れていますが、キッチンで火が出たり、材料が足りなくなったりした場合には苦戦します。彼らは臨機応変に考えることができないのです。現在の問いは、新しい世代の人工知能、特に大規模言語モデルが、単に命令に従う以上のことができるのかどうかです。これらのコンピュータプログラムは、人間の科学者のように、目に見えるものに基づいて次に何をすべきかを判断し、科学的な実験を推論して進めることができるのでしょうか。

デューク大学の研究チームは、PEARLと呼ばれるシステムを構築することで、この問いに答えようとしました。彼らは、人間の言語を理解し生成するように設計された標準的なコンピュータプログラムを、単純な実験用ロボットとウェブカメラに接続しました。ロボットは小さな容器間で液体を移動させることができ、カメラはその結果を観察することができました。研究者たちはシステムに「トレイの容器の中に虹を作れ」といった目標を与えましたが、それをどのように実行するかというステップ・バイ・ステップのガイドは提供しませんでした。どの色をどの順番で混ぜるのか、あるいはどのボトルにどの染料が入っているのかさえも教えませんでした。システムはプロセス全体を自力で解明しなければなりませんでした。利用可能な道具を確認し、何を混ぜるかを決定し、行動を実行し、結果を観察し、そして成功したのか、それとも別の方法を試すべきなのかを判断しなければならなかったのです。

このシステムは、互いに通信し合う異なる役割に思考プロセスを分割することで機能しました。システムの一部のパーツは実験を計画し、別のパーツは展開を予測し、そして第三のパーツはミスを監視しました。ロボットが2つの液体を混ぜた際に色が意図したものと異なったとき、システムはただ作業を続行したわけではありませんでした。システムは停止し、証拠を確認し、自身の予測が誤っていたことを認識しました。そして、計画を修正し、新しい混合物を試みました。あるテストでは、研究者が赤と緑の染料のみを使って紫色を作るようシステムに求めました。システムはこれが不可能であることを正しく認識し、それらを混ぜることを拒否して、より良い指示を求めました。別のテストでは、システムが作業している間に、人間が密かに容器のトレイを回転させました。システムは色が本来あるべき場所からずれていることに気づき、トレイのメンタルマップ（脳内地図）を更新し、正しい液体を新しい位置で混ぜるように動作を調整しました。システムは、トレイが動かされたという指示を受けることなく、これを行いました。

研究者たちはこれをさらに推し進め、酵素がどれくらいの速さで働くかを測定するための、実際の生化学的テストを実行させました。これには精密な測定と慎重なタイミング管理が必要でした。システムは、どのくらいの量の液体を混ぜるか、いつ写真を撮るか、そして時間の経過とともに変化する色をどのように分析するかを決定しなければなりませんでした。研究者が、一つの容器に液体を入れすぎてしまったといった問題を導入した際、システムはエラーを検知し、不適切なデータを無視し、残りの有効なデータを使用して計算を完了させました。初期の混合液が正確に測定するには濃度が高すぎた場合、システムは追加の情報が必要であると判断しました。推測する代わりに、混合液を希釈して真の色を確認するための、より小さな新しい実験を自ら設計しました。そして、その新しい情報を用いて、メインの実験を修正したのです。あらゆるシナリオにおいて、システムは曖昧な目標を物理的な行動へと翻訳し、結果を解釈し、次に何をすべきかを決定することに成功しました。

この研究では、成功するためにシステムがどの程度の助けを必要とするかもテストされました。研究者たちは、内部的な役割が少なく、実験の履歴に関する共有メモリを持たない、より単純なセットアップで同じタスクを実行しようと試みました。この単純なバージョンは、見たものと次にすべきこととの関連付けに失敗することがよくありました。問題を見つけることはできても、それを修正することを忘れたり、手順のシーケンスの中で迷子になったりすることがありました。しかし、システムが実験の持続的な記録を持ち、互いにチェックし合うためのいくつかの専門化された役割を備えていると、ほぼ毎回成功しました。このことは、実験を推論する能力は主に言語モデル自体の基礎となる知性に由来するものの、少しの構造化が集中力と信頼性を高めるのに役立つことを示唆しています。

これらの知見は、実験室の自動化に対する考え方をどのように変え得るかを示唆しています。ロボットに起こりうるあらゆる事態への対処法を事前にプログラミングする代わりに、目標を与えて詳細を考えさせるという方法が、間もなく可能になるかもしれません。システムは、回転したトレイや濃度の高い染料に対処するための既成のレシピを必要としませんでした。それらの状況をその場で解決したのです。研究者たちは、これがまだ新しい理論を発明したり、宇宙に関する深い問いを投げかけたりできるような、完全に自律した科学者ではないことを強調しています。実験は、視覚的な結果を伴う特定のタスクに限定されていました。しかし、この研究は、汎用的なコンピュータモデルが、科学的な目標と物理的世界との間の「思考する層」としてすでに機能できることを示しています。それらは観察し、解釈し、適応することができます。つまり、実験という行為そのものを、推論プロセスの一部へと変えることができるのです。これは、単純な自動化から、機械が直接的に科学的プロセスに参加し、予期せぬ事態に対処し、見たものから学ぶという未来へと、この分野を移行させるものです。