テクニカル・サマリー：人間とのアライメントを通じた、創薬におけるエージェンティックAIのための堅牢なLLMベース評価システムの設計

問題提起

エージェンティック（Agentic）な大規模言語モデル（LLM）システムは、外部ツールやデータベースを統合することで、化学および創薬における科学的ワークフローをオーケストレーションしつつあります。しかし、これらのシステムを評価することは根本的なボトルネックとなっています。従来の参照ベースの指標（例：BLEU、ROUGE）は、エージェントが出力する意味的な正当性やオープンエンドな性質を捉えることができません。一方で、専門家による人間による評価に頼ることは、現代のエージェント開発に求められる反復速度に対してスケーラブルではありません。「LLM-as-a-Judge（判定役としてのLLM）」というパラダイムはスケーラブルな代替案を提供しますが、創薬分野における既存のベンチマークは、人間の専門家とのアライメント（整合性）を検証せずにLLM判定器を導入していることが多く、バイアスの伝播や信頼性の低い評価を招くリスクがあります。

メソドロジー

著者らは、アストラゼネカに導入されているエージェンティック創薬アシスタント「ChatInvent」に特化した、LLM-as-a-Judgeシステムの設計および検証のためのフレームワークを提示しています。本メソドロジーは、以下の4つの主要な段階で進行します。

1. 評価フレームワークの設計

著者らは、以下の要素からなる多次元的な評価スキーマを定義しました。

• 決定論的チェック（Deterministic Checks）: 実際のツールシーケンスを期待される、あるいは受理されたシーケンスと比較することによって検証される「ツール呼び出しの正確性（Tool Call Correctness）」。
• LLMが判定する次元: LLM判定器によって評価される4つの基準：
  • 完全性（Completeness）: 必要な情報の想起率。
  • 関連性（Relevancy）: ユーザーのリクエストに対する情報の精度。
  • 構造的明瞭性（Structural Clarity）: フォーマット、構成、および読みやすさ。
  • スコープ遵守（Scope Adherence）: エージェントが意図された能力の範囲内で動作しているかどうか。
• スコアリング: 各次元は、0（未達成）、0.5（部分的に達成）、1（完全に達成）のスケールでスコア化されます。

2. 人間とのアライメント研究

判定器を検証するため、5名の専門家アノテーター（AI for chemistryの研究者）による研究を実施しました。

• データセット: 様々なツールのワークフローとフォーマリティ（形式性）のレベルをカバーする35個の質問（30個のユニークな質問と、一貫性チェックのための5個の重複質問）。
• プロトコル: アノテーターは、LLM判定器に提供されたものと同じルーブリック（評価基準）とコンテキストを、ウェブアプリケーションを介して使用しました。
• 指標: 一致度は、Cohen's weighted kappa（級内および級間）および完全一致率を用いて測定されました。

3. 判定器の選択と最適化

• モデル比較: 判定器の候補として、Gemini 3.1 Pro、Claude Opus 4.7、GPT-5、Llama 3.1 70Bの4つのモデルをテストしました。
• 最適化: 最良のパフォーマンスを示したモデルに対し、DSPxフレームワークを用いてさらなる最適化を行いました。具体的には、LabeledFewShotオプティマイザを採用し、人間の多数決とのアライメントを最大化するために、20個の人間によるアノテーション済み例を判定器のプロンプト・シグネチャに組み込みました。

4. 大規模評価

最適化された判定器を、異なる機能（シングルツール対マルチツール・ワークフロー）および質問のフォーマリティのレベル（高度にフォーマルなものからインフォーマルなものまで）にわたって、ChatInventの性能を評価するために、70個の保持された質問セットに適用しました。

主な結果

人間の整合性と判定器の性能

• 人間の整合性: 人間のアノテーター間の一致度は中程度（Fleiss's kappa = 0.54）であり、Completenessで最も高く、Scope Adherenceで最も低くなりました。
• LLMの整合性: すべての候補モデルが高い級内の一貫性を示し、特にClaude Opus 4.7とGemini 3.1 Proが最も高い安定性を示しました。GPT-5は、特にScope Adherenceにおいて低い一貫性を示しました。
• 人間とLLMのアライメント: Gemini 3.1 Proが、人間の多数決との間で最も高いアライメント（Cohen's kappa = 0.76 全体）を達成しました。注目すべきは、LLM判定器と人間の多数決との間の一致度が、個々の人間のアノテーター間の一致度を上回ったことです。
• 最適化の影響: LabeledFewShotオプティマイザを使用することで、Gemini 3.1 Pro判定器と人間の投票とのアライメントは0.80から0.86へと向上しました。

エージェンティック・システム（ChatInvent）の性能

• 全体的な性能: ChatInventは、Relevancy（86%）、Structural Clarity（90%）、Scope Adherence（84%）、およびTool Call Correctness（90%）において高い性能を示しました。
• 特定されたボトルネック: Completenessが最も弱い次元であり、出力のわずか43%のみが「完全」と評価されました。手動での調査により、不完全なケース13件のうち9件はシステムエラーによるものであり、残りは特定のコンポーネント（例：CSVファイルパス、分子記述子）が欠落していることが判明しました。
• 複雑性の影響: CompletenessとTool Call Correctnessは、シングルツール・クエリと比較して、複雑なマルチツール・ワークフローにおいて著しく低下しました。しかし、Relevancy、Clarity、およびScope Adherenceは、複雑さが増しても堅牢なまま維持されました。
• フォーマリティの影響: インフォーマルな言い回しが、出力の品質を系統的に低下させることはないことが判明しました。実際、最もフォーマルな質問（および手動で作成された参照用質問）は、ニュートラルまたはインフォーマルなバリエーションよりも低いスコアを生成する場合がありました。これは、エージェントにクエリを投げる前に、LLMを用いてユーザーのプロンプトを書き換えることが有益である可能性を示唆しています。

意義と主張

本論文は、科学領域におけるエージェンティック・システムの人間とアライメントされた評価のための再利用可能なテンプレートを提供することを主張しています。その主な貢献は以下の通りです：

1. 判定器の検証: LLM判定器をグラウンドトゥルース（正解）として扱う従来のベンチマーク（例：SciToolEval、MolBench）とは異なり、本研究では判定器を人間の専門家に対して明示的に検証し、アライメントのギャップを埋めるために最適化しています。
2. 診断能力: 本フレームワークは、決定論的な指標では捉えられないエージェンティック・システムにおける特定の失敗モード（例：マルチステップ・ワークフローにおけるCSVパスの欠落）を特定することに成功しています。
3. プロンプティングに関する知見: 本研究は、科学的な対話において常にフォーマルな言語が優れているという仮定に疑問を投げかけ、インフォーマルまたはニュートラルな言い回しが同等、あるいはより良い結果をもたらす可能性があることを示唆しています。

著者らは、本研究を、信頼できる自律的な評価ループを構築するための**概念実証（Proof-of-Concept）**として位置づけています。モデルの進化が速いため、特定のモデルのランキングは変化する可能性があることを認めていますが、人間とのアライメントおよびFew-shot最適化の手法は、創薬における自動評価の信頼性を確保するために極めて重要であり続けるとしています。