Material Database Agent: A Multimodal Agentic Framework for Scientific Literature Mining

技術概要：材料データベースエージェント（MDA）

問題定義
材料科学の研究は膨大な知識を生み出していますが、実験の詳細の大部分は構造化されておらず、科学文献内のテキスト、表、グラフ、図の中に埋もれたままです。この文献から構造化されたデータベースを構築することは、伝統的に手作業で時間がかかり、スケーラビリティに欠けるプロセスでした。初期の抽出方法はルールベースのパースや LLM 以前のニューラルネットワークに依存していましたが、多様な表現、非標準的なフォーマット、マルチモーダルな証拠に対しては苦戦していました。最近の大規模言語モデル（LLM）アプローチはテキスト抽出を改善しましたが、複雑なプロットや図を堅牢に処理できず、または研究論文全体を並列処理単位に分解するための体系的なアーキテクチャを欠いていることが多く見られます。既存のフレームワークは、図を優先度の低い情報源として扱うか、または文書全体を単一のモデルコンテキストに配置することによる計算上のボトルネックに対処できていないことが頻繁にあります。

手法：材料データベースエージェント（MDA）
著者は、研究文献を構造化されたデータベースに変換するために設計されたモジュール式でマルチエージェントのフレームワークである材料データベースエージェント（MDA）を提案します。このシステムは、4 つのステージからなるパイプラインに基づいて構築されています。

1. 入力と抽出: ワークフローは、PDF 記事を取り込むメインエージェントから始まります。これらは、オープンソースの marker-pdf ツールを使用して MCP（Model Context Protocol）サーバーを介して処理されます。このツールは、専門的なドキュメント OCR とセグメンテーションを行い、PDF をテキストおよび表用の構造化された Markdown ファイルと、図用の JPEG 画像に変換します。
2. ドキュメント分解: パースされた出力はサブディレクトリに整理され、各ディレクトリは単一のソース PDF に対応し、関連する Markdown ファイルと画像ファイルを含みます。このステップは、関連するコンテキストを分離し、マルチモーダルな局所性を保持します。
3. 並列処理: 複数の独立した「doc-writer」サブエージェントが生成され、これらのサブディレクトリを並列に処理します。各サブエージェントは、割り当てられたディレクトリ内のテキストと図を読み取り、材料パラメータと特性を事前に定義された JSON 形式で抽出します。この「エージェント並列性」により、コンテキストウィンドウのオーバーフローや精度の低下を招くことなく、スケーラブルな抽出が可能になります。
4. 集約: 最終的な「csv-writer」サブエージェントが、すべてのサブエージェントからの分散された JSON 出力を統合された表形式の CSV データベースに統合します。

このシステムはドメインに依存せず、さまざまな LLM バックボーンを利用できます。著者は、GPT-5.2、GPT-5.4、Claude Opus 4.6、GLM 5V Turbo、および Qwen-3.5-397B の 5 つの最先端マルチモーダルモデルを使用して MDA を評価しました。

主な貢献

• エージェントアーキテクチャ: MDA は、単一パスのパイプラインから、論文を体系的に分解し、コンポーネントを並列処理のためにルーティングし、それらをデータベースエントリとして再構築する専門的なマルチエージェントアーキテクチャへの転換を表しています。
• ネイティブなマルチモーダリティ: 主にテキストに焦点を当てた以前のベンチマーク（例：LitXBench）とは異なり、MDA はテキストと図の両方からネイティブにデータを抽出するように設計されており、セクション、キャプション、埋め込まれた画像全体にわたる証拠の不均等な分布に対処します。
• スケーラビリティとモジュール性: 抽出前にドキュメントを分解することで、このフレームワークはコンテキストの干渉を最小限に抑え、モジュール式のアグリゲーションを容易にし、新しいスキーマや材料ドメインへの適応性を高めています。

結果と性能評価
このフレームワークは、2 つの異なるデータセットでテストされました。

1. MeltpoolNet: 粉末床溶融積層造形用のデータセットで、プロセスパラメータと材料特性を含みます。
2. 高エントロピー合金（HEA）/複合濃縮合金（CCA）データベース: 機械的特性が主にプロット（応力 - ひずみ曲線、棒グラフ）および注釈付きの顕微鏡写真で提示されるデータセットです。

• チャットのデジタル化: デーバイ温度対圧力曲線のデジタル化に関する予備ベンチマークにおいて、最新モデル（GPT-5.4、Opus 4.6、GLM 5V Turbo）は低い平均絶対誤差（MAE）で高い精度を示し、Claude Opus 3 などの以前のモデルを大幅に上回りました。
• MeltpoolNet の性能: GLM 5V Turbo と Qwen-3.5 がトップのパフォーマンスを示しました。GLM 5V Turbo は全フィールドで最高のリコール（100%）を達成し、「溶融プールの深さ」などのプロット由来のフィールドでは最良の F1 スコア（75.00%）を記録しました。Qwen-3.5 はテキストベースのフィールドで優れ、ハッチ間隔において 100% の F1 スコアを達成しました。
• HEA/CCA の性能: このプロット中心のデータセットにおいて、Claude Opus 4.6 は他のすべてのモデルを大幅に上回り、真値の機械的特性（例：降伏強度の MAE = 0.29 MPa）をほぼ正確に再現しました。対照的に、GPT-5.2 と GPT-5.4 は降伏強度とヤング率において、約 2 桁大きい誤差を示しました。
• 全体的な比較: この研究は、モデル間の比較優位性を浮き彫りにしています。GLM 5V Turbo と Qwen-3.5 はテキスト中心のデータで最もよく機能する一方、Claude Opus 4.6 は複雑なプロットからの値の抽出において優れた能力を示しています。

意義と主張
本論文は、MDA がマルチモーダルなエージェント情報抽出を次世代の科学データベース構築のための手法として位置づけるための viable な基盤を提供すると主張しています。著者は、テキストとグラフィカルなデータの両方から包括的な材料データベースを構築し、下流の実験や機械学習に供することが可能なマルチエージェントシステムはこれが初めてであると述べています。

本研究は、エージェント型マルチモーダル抽出が将来の科学データベースの構築に対して現在実行可能であると結論付けています。現在のモデルは依然として人間の労働と比較して限界（特にプロットのデジタル化と幻覚の傾向において）を示していることを認めつつも、結果は現代の LLM エージェントが高精度と忠実度でデータを抽出できることを示しています。フレームワークの性能は LLM バックボーンの選択に依存することが指摘されており、モデル能力の将来の向上がシステムの有用性を直接高めることが示唆されています。