技術的概要：エージェントは反応の価格を評価できるか？化学コスト推論における LLM の評価

問題提起

大規模言語モデル（LLM）は、ソフトウェアエンジニアリングや Web 閲覧などの一般分野において、ツールを利用するエージェントとしての能力を高めていることが示されているが、科学的ツールの利用におけるその性能の厳密な評価は依然として限られている。既存のベンチマークは、多くの場合、キュレーションされたデモンストレーション、専門家による評価、または「LLM を裁判官とする」スコアリングに依存しており、厳密で裁判官を介さない真の正解（グラウンド・トゥルース）に基づくものではない。

特に化学の分野において、エージェントは合成を計画し、ドメイン固有のツールを呼び出すことができるが、化学資材の調達コスト推定を制御されたテストベッドで評価する手段が欠けている。これは、エージェントに以下のタスクを要求する実用的な産業上の課題である：

1. 曖昧な化学名を一意の分子構造にマッピングする（グラウンディング）。
2. 価格データベースから断片的なサプライヤーの見積もりを取得する。
3. 純度と数量の制約下で、有効な購入可能なパックを選択する。
4. 数量を正規化する（当量、モル%、体積を質量に変換する）。
5. 反応記述に基づき、正確な算術演算を行ってコストを集計する。

現在の評価手法は、特定の失敗モード（例えば、グラウンディング誤差対算術誤差）を分離したり、これらの多段階ワークフローに対して決定的で再現性のあるラベルを提供したりすることに失敗している。

手法：CHEMCOST ベンチマーク

このギャップを埋めるため、著者らは化学資材調達コスト推定における LLM エージェントの決定的評価のために設計されたベンチマーク、CHEMCOSTを導入する。

データセット構築

• 規模： ベンチマークは、Open Reaction Database、命名反応の教科書、Organic Syntheses、逆合成経路コレクション（PaRoutes, ChemPU）、および手作業で作成された例から抽出された1,427 の評価可能な反応で構成される。
• グラウンド・トゥルース： ラベルは、2,261 種類の化学物質を網羅する230,775 のパックレベルのサプライヤー見積もりの凍結スナップショットから決定的に計算される。
• 調達ルール： グラウンド・トゥルースは、固定された1 mmol の制限試薬スケールを前提とする。コストは以下の手順で計算される：
  • 制限試薬を特定する。
  • 溶媒以外の各成分に必要な質量を計算する（$m_i = e_i \times MW_i \times 10^{-3}$ g）。
  • 必要な質量をカバーする最小の有効なパック（純度 $\ge$ 95%）を選択する。単一のパックでは不足する場合、最大のパックを最小数で購入する。
  • 得られた生成物のグラム数（収率を考慮）で総購入コストを正規化する。
• ノイズ注入： 堅牢性をテストするため、グラウンド・トゥルースを維持しつつ入力を攪乱する 4 層のノイズパイプラインが導入される：
  1. 化学名のノイズ： 別名、略語（例：TEA）、異性体の曖昧さ。
  2. 数量のノイズ： モル%、当量、体積、および曖昧な用語（例：「過剰」）間の相互変換。
  3. 情報の欠落： 分子量、収率、役割などのフィールドの省略。
  4. フォーマットノイズ： OCR 誤り、自然言語の散文、Unicode の劣化をシミュレート。

評価プロトコル

• エージェント設定： エージェントは、最大 40 ステップの予算を持つReAct（推論＋行動）ループとして動作する。これらは、化学名の解決、サプライヤー見積もりの取得、分子量の計算、算術演算という 4 つの決定的なツールを備えている。
• 指標： 主要指標は**コスト許容精度（CTA@k）**であり、グラウンド・トゥルースに対する相対誤差が$k\%$以内の予測の割合として定義される。追加指標として、コンポーネントの精度/再現率、ツールの効率、および棄権率が含まれる。
• 評価対象モデル： 最先端、オープンウェイト、化学特化モデルの多様なセット（例：GPT-5, Qwen3.5-Plus, DeepSeek V4 Pro, ChemDFM, LlaSMol）。

主要な結果

1. ツールアクセスは必要だが不十分である

• 性能の天井： 最も強力なエージェント（Qwen3.5-Plus）でさえ、クリーンな入力において相対誤差 25% 以内（CTA@25）で50.6% の精度しか達成できない。より厳格な指標（CTA@10）およびノイズ下では、性能は著しく低下する。
• 特化のギャップ： 化学特化モデル（例：ChemDFM, ChemLLM）は、コンポーネント認識（精度/再現率）において高い性能を示すが、コスト精度はほぼゼロである。これは、ドメイン知識のみが効果的なエージェント推論や定量的集積に変換されないことを示している。
• ツール依存性： ツールを使用しないゼロショットおよび Chain-of-Thought（CoT）アプローチは性能が低く（CTA@25 < 8%）、パラメトリック知識のみでは、特定の最新サプライヤー価格の取得や正確なパック選択には不十分であることを確認した。

2. 失敗モードと堅牢性

• フォーマットノイズが決定的である： フォーマットの変動（OCR 誤り、非構造化テキストなど）は、エージェントの棄権を最も強く引き起こすトリガーであり、最先端モデル全体で棄権率を約 26 ポイント増加させる。これは初期の解析段階を撹乱し、ワークフローの開始を妨げる。
• ツール使用パターン：
  • 必要性： ツール呼び出しと成功の間には強い相関（$r=0.98$）があり、ツールを呼び出さないモデルは失敗する。
  • 非効率性： 単にツールを呼び出すだけでは不十分である。失敗した経路には、収束しない検索（有効なパックを選択せずに繰り返しクエリを実行する）や早期終了が含まれることが多い。失敗したケースは、成功したケースよりも多くのツール呼び出しを使用することが多い。
• 認識対計算： エージェントは化学コンポーネントを正しく特定できることが多い（高精度）が、それらを正しい調達状態に組み立てることはできない（低い CTA）。認識と計算の間のギャップは、ノイズ下で著しく拡大する。

3. 構造的難易度

• 経路の深さ： 合成ステップ数は難易度の支配的要因である。精度は、単一ステップ反応で約 42% から、多段階経路（3-5 ステップ）では約 11-13% に低下する。
• コンポーネント数： 単一ステップ反応内では、コンポーネント数はモデル依存の効果を持つ。一部のモデルは、検索のためのより豊富なコンテキストにより、多成分レシピをよりよく処理する可能性がある。

意義と主張

本論文は、CHEMCOSTが、現実的な産業ワークフローにおける科学的ツールの利用を評価するための、最初の厳密で裁判官を介さないベンチマークを提供すると主張している。その意義は以下の点にある：

1. 「ブラックボックス」評価の超越： タスクをグラウンディング、検索、パック選択、集積に分解することで、エージェントがどこで失敗するか（例えば、壊れやすい解析対効果的な証拠の統合）を段階レベルで診断可能にする。
2. 「グラウンディング」ギャップの強調： 結果は、LLM が一般的なツール編成において改善されている一方で、科学的ドメインの特定の制約、すなわち曖昧なエンティティの解決、厳格な調達ルールの遵守、ノイズのある入力下での定量的状態追跡の維持においては苦労していることを示している。
3. 前進の道筋の定義： 著者らは、科学的エージェントの進展には、単により良いモデルだけでなく、信頼性の高いグラウンディング、検索を考慮した状態追跡、および較正された棄権メカニズムが必要であると論じている。現在の最先端技術は、ツールアクセスが前提条件であることを示唆しているが、検索された証拠を整合性のある定量的意思決定に統合することは依然として大きな課題である。

著者らは結論として、エージェントはコストを近似できるかもしれないが、現実的な条件下での信頼性が高く、正確な調達推論は未解決の問題であり、構造化されたツールの利用と入力変動に対する堅牢性に関するさらなる研究が必要であると述べている。