Federation Is Nearly Free, Reasoning Is Not: Tradeoffs for AI Co-Scientists in Protein Characterization Workflows

現代の研究所では、ピペットを持つのではなく、対話を行うという新しい形態の助手が登場しつつある。これらは「共同科学者」として機能するように設計された人工知能システムであり、生物学的配列を読み取り、どのデジタルツールを使用するかを決定し、複雑な問いに対する答えを組み立てることができる自律的なエージェントである。彼らは、大きな目標を小さなステップに分解し、自身の作業を検証し、経路を洗練させることで動作する。それは、仮説から結論へと進む人間の研究者の動きに似ている。しかし、これらのシステムを構築するには、困難な選択が伴う。一つの道は、不確実性を推論できる大規模で柔軟な言語モデルに依存するが、それらは高価で、時間がかかり、時には一貫性に欠ける。もう一つの道は、古典的な学習済みポリシー、つまり、厳格なルールに従うように試行錯誤を通じて訓練されたシステムを使用する。これらは安価で高速であり、完全に一貫しているが、自身の思考を説明したり、新しい状況に適応したりする能力には欠けている。科学者がこれらのツールをさまざまな機関やコンピュータネットワークに展開し始めるにあたり、一つの重要な疑問が生じる。すなわち、これらのエージェントがどのように接続されているか、あるいは、どのような特定の「脳」を使用しているのか、どちらが彼らが従う戦略よりも重要なのか、ということである。

パシフィック・ノースウェスト国立研究所の研究チームは、制御された環境下でこれらの異なるアプローチをテストすることで、この問いに答えようとした。彼らは、生物学における日常的かつ極めて重要なタスクである、タンパク質の特性評価に焦力した。タンパク質とは、細胞内で特定の役割を果たす分子であり、その機能は多くの場合、その構成要素の配列によって決定される。研究者たちは、AIエージェントに対し、タンパク質の配列を見て、配列を比較するデータベースや3次元構造を予測するソフトウェアなどの一連のデジタルツールを経由して、その機能を予測するよう求めた。彼らは、エージェントを2つの異なるネットワーク構成の下でテストした。一つは、すべてのツールが近くにある単純なシングルサーバー構成、もう一つは、ツールが異なるサーバーに分散しており、現実世界の科学研究所が国境を越えてデータを共有する様子を模した、より複雑なフェデレーテッド（連合型）構成である。

この研究では、主に2種類のエージェントを比較した。第一のタイプは、強力な言語モデル（本質的には高度なチャットボット）を使用して、次にどのツールを使うかを決定するものである。これらのモデルには、推論を導くために、単純な指示、または専門家レベルの詳細なプロンプトが与えられた。第二のタイプは、古典的な強化学習エージェントであり、自然言語による推論を行うことなく、正解に至る最も効率的な経路を学ぶために、数千回の練習ラウンドを通じて訓練されたシステムである。研究者たちは、これらの実験を数百回繰り返し、エージェントが正解を得る頻度、所要時間、コスト、そして同じ質問をされた際に毎回同じ答えを出すかどうかを測定した。

結果は、明確な重要度の階層を明らかにした。成功を決定づける最も重要な要因は、ネットワークの構成でも、与えられた具体的な指示でもなく、モデル自体の基礎となる知能であった。エージェントがトップクラスの言語モデルを使用したとき、精度は約92%から94%に達した。一方で、より小規模で能力の低いモデルを使用した場合、精度は40%から50%の間へと急落した。ツールがネットワーク上でどのように接続されているかは、パフォーマンスにほとんど影響を与えなかった。エージェントが単一の部屋で作業していようと、分散型ネットワーク上で作業していようと、その成功率はほぼ同一であった。このことは、こうした種類のタスクにおいて、ツールの物理的またはデジタル的な距離は、科学的発見における大きな障壁ではないことを示唆している。

おそらく最も衝撃的な発見は、柔軟性と信頼性の間のトレードオフに関するものであった。強力な言語モデルは高品質な結果を生み出すことができるが、高価で一貫性に欠ける。最高の言語モデルであっても、同じタンパク質に対して約2〜3%の割合で異なる回答を提示した。また、これらのモデルを実行するためのコストは、タンパク質1つあたり約63セントから93セントと高額であった。対照的に、推論プロセスを説明する能力も適応戦略を持つ能力もない古典的な学習エージェントは、あらゆる試行において完璧であった。それは88%の精度を達成し、最高の言語モデルに肉薄したが、それを約15秒、かつゼロコストで実現した。また、完全に一貫しており、同じ質問を5回繰り返しても回答が変わることはなかった。

研究者たちは、戦略の選択は仕事の性質に完全に依存するということを発見した。既知のデータと照らし合わせて答えを検証できる、タンパク質の既知の機能を特定するといったルーチン的なタスクにおいては、安価で高速、かつ完全に一貫した古典的なエージェントが優れた選択肢となる。それは、既知の事実を単純に回収するだけであれば、推論よりも固定されたポリシーの確実性の方が価値が高いというように、フロンティア級の精度を、コストやランダムなエラーのリスクなしに提供する。しかし、答えが未知であり、柔軟性が求められるオープンエンドな科学的発見においては、高価な言語モデルが必要であり続ける。この研究は、言語モデルが提供する詳細な推論の痕跡の価値は、タスクの新規性に応じてスケールすることを示唆している。結局のところ、この研究は、これらのシステムを構築する科学者に実用的なガイドラインを提供している。すなわち、より複雑で柔軟な「脳」が常に優れていると想定してはならないということである。多くの科学的ワークフローにとって、単純に学習されたルールは、単に十分であるだけでなく、最も効率的な前進の経路なのである。