技術要約：マルチモーダルソースからの科学的キュレーションのためのエージェント・ハーネスの構築

問題定義

科学的発見のワークフローは、特に創薬のようなエビデンス集約的な領域において、非構造化された文献をダウンストリームの分析に適した正規化・構造化されたレコードへと変換することにますます依存しています。しかし、現在の自動化されたアプローチは、マルチモーダルなソースからの科学的キュレーションにおいて苦戦しています。核心となる課題は、重要なエビデンスが長いテキスト、高密度な表、および図の中に分散していることです。標準的な文書質問応答タスクとは異なり、単一のキュレートされたレコードを構築するには、以下のようなことが求められます：

• クロスモーダル推論： テキストのメソッド（手法）に記載された介入と、表やプロットに報告された結果とを結びつけること。
• 正規化： エンドポイント、単位、値、およびサンプル数をターゲットとなるスキーマに標準化すること。
• プロベナンス（由来）の追跡： 各抽出された値を特定のソースエビデンスまで監査すること。

既存のベンチマークは、軽量な抽出（例：表検出や主張の検証）や単一のモダリティのタスクに焦点を当てることが多く、リッチでプロダクションレベルのスキーマへのフルペーパーのキュレーションという複雑さを捉えきれていません。さらに、最先端のエージェント単体では、これらの設定において脆弱性を示し、高レベルのメタデータは回収できても、複雑な視覚的エビデンスから導出される高価値な定量的属性の回収には失敗することがよくあります。

メソドロジー：Beaver ハーネス

著者らは、プロベナンスを保持しながら科学論文から構造化された情報を抽出するために設計されたエージェント・ハーネスである Beaver を導入しています。Beaver は、ベースモデルの改善のみに頼るのではなく、ハーネス自体を反復的な最適化の対象として扱います。このシステムは、相互作用する3つのコンポーネントで構成されています。

1. マルチモーダル・エビデンス・ツーリング

Beaver は、科学的エビデンスへのアクセスを改善するために、ベースエージェントに補助的なツールセット ($U$) を備えています。

• Paper-to-Markdown 変形： 論文をアウトラインとセクションレベルの Markdown ファイルに変換し、長い文書のナビゲーションを容易にします。
• パース済みテーブル・ビューア： エージェントが構造化された表データを読み取ることを可能にします。
• 校正済みグリッドライン・オーバーレイ： プロットにグリッドラインを重ね合わせることで、図から定量的な値を読み取るためのツールであり、エージェントが図から正確な数値データを回収することを可能にします。

2. タスク・スキャフォールディング（足場架け）

単一パスの抽出ではなく、Beaver はキュレーション・タスクを連続的で制御可能なステージ ($k \in \{1, \dots, K\}$) に分解します。各ステージは、前のステージの属性を拡張する累積的なテーブル $\hat{Y}^{(k)}$ を予測します。各ステージのワークフローには以下が含まれます：

• 関連する文書、表、および図の前処理。
• 候補となるエビデンスへのナビゲーション。
• マルチモーダルな推論とアノテーションの実行。
• プロベナンス・トレースを伴う値の抽出。
• エンティティと単位の正規化。
• 出力のレビューと洗練。

この分解により、曖昧さが軽減され、各ステップの探索空間が狭まり、ステージごとに局所的な失敗診断が可能になります。

3. アーティファクトに基づいたオートリサーチ

Beaver は、永続的なファイルシステム・アーティファクトを用いた2レベルの最適化ループ（アルゴリズム1）を採用して、ハーネス ($H_t$) を反復的に改善します。

• アウター・ループ： 開発セット上で現在のハーネスを評価し、パフォーマンスをステージごとに分解し、最もパフォーマンスの低いステージ ($k^*$) を特定します。
• インナー・ループ： ログ、軌跡、およびプロベナンス・トレースを含むステージ固有のワークスペースを初期化します。ターゲットを絞ったパッチ（スキャフォールド、ツール、またはプロンプトへの変更）を提案し、適用し、特定のステージを再実行します。
• 選択： 新しいアーティファクトとパフォーマンス指標に基づき、改訂版を新しいベストなハーネスとして受け入れるか、破棄するかを決定します。このプロセスにより、改善がエビデンスに基づいていること、および不成功のパッチが蓄積されないことが保証されます。

主な貢献

1. 新しいベンチマーク： 著者らは、アルツハイマー病に関する425件のPubMed記事の専門的にキュレートされたコーパスを用いて、マルチモーダルな科学的キュレーションのためのベンチマークを構築しました。このベンチマークは、リッチなスキーマ（400以上の属性）、専門家がキュレートした参照データ、およびテキスト、表、図にわたるロングホライゾンな抽出を必要とします。
2. Beaver ハーネス： マルチモーダル・ツール、タスク・スキャフォールディング、およびアーティファクトに基づいたオートリサーチを組み合わせた新しいアーキテクチャ。
3. ハーネス設計に関する実証的エビデンス： 本研究は、複雑な科学的キュレーションにおいて、エージェント・ハーネスの構成がパフォーマンスの主要な決定要因であり、ベースとなる最先端モデルの選択よりも重要になることが多いことを示しています。

結果

実験は、ゴールド（正解）のキュレートされたレコードとの一致度を示す属性レベルの尺度である Gold-Referenced Attribute Score (GRAS) を用いて、23件のフルペーパーに対して行われました。

• パフォーマンス： Beaver は 81.0% の GRAS を達成し、最強の最先端エージェント・ベースライン（Codex, Claude Code, Copilot CLI, Meta-Harness）を 23ポイント絶対値 以上上回りました（例：Codex は 58.6%）。
• アブレーション研究： 主要なコンポーネントを削除すると、パフォーマンスが著しく低下しました：
  • タスク・スキャフォールディングなし：60.5%（最大の低下であり、ステージ化されたワークフローの必要性を示しています）。
  • マルチモーダル・エビデンス・ツールなし：66.1%（生の視覚的推論の困難さを強調しています）。
  • プロベナンス・トレースなし：70.7%（トレースがオートリサーチ・ループにおけるデバッグと洗練に役立つことを示しています）。
• 計算量とパフォーマンスのトレードオフ： Beaver は、他のオートリサーチ・バリアントと同等のトークン予算で最高の精度を達成しており、経験的なパレート・フロンティア上に位置しています。スキャフォールディングのないバリアントは、多大な計算量を消費したにもかかわらず、同等のパフォーマンスには達しておらず、非構造化されたエージェントの努力は非効率的であることを示唆しています。
• 属性レベルの分析： 最大の利得は、クロスモーダルな推論を必要とする高価値の属性（例：endpoint.unit, value, percentchange）で観察されました。これは、ハーネスがマルチモーダル抽出の特定のボトルネックを効果的に解決していることを裏付けています。

意義と主張

本論文は、ハーネスのデザインが、マルチモーダルなソースからの科学的キュレーションにおけるエージェント・パフォーマンスの主要な決定要因であると主張しています。著者らは次のように述べています：

• 科学的キュレーションは、文書のナビゲーション、エビデンスの整合、および監査可能性を必要とする「ロングホライゾン」なエージェント・タスクであり、標準的な最先端エージェントは単一パスでこれを確実に実行することはできません。
• 周囲のハーネス、具体的には、マルチモーダル・ツールの提供、タスクのステージへの分解、およびアーティファクトに基づいたフィードバック・ループの使用によって、強力なベースエージェントを極めて効果的なキュレーション・システムへと変貌させることができます。
• 監査可能性は極めて重要です。プロベナンス・トレースの包含と、ステージ局所的な失敗を診断できる能力は、単なるオプション機能ではなく、責任あるエージェントによるキュレーションに不可欠な要素です。なぜなら、正規化されたレコードにおけるエラーは、ダウンストリームの科学的意思決定へと伝播する可能性があるからです。

この研究は、将来の科学的AIの向上は、単にベースモデルをスケールアップすることよりも、複雑でマルチモーダルなエビデンスを管理し、接地された診断を通じて自己修正できる、特化した反復的ハーネスを開発することに依存することを示唆しています。