Frontier LLM-based agents can overcome the ontology curation bottleneck for natural phenotypes

技術的概要：表現型注釈のための最先端 LLM ベースエージェント

問題定義
研究間における比較形態データの統合は、「オントロジーキュレーションのボトルネック」によって阻害されている。生物学的文献における表現型の記述は、主に自然言語で表されており、意味的統合を可能にするために構造化されたエンティティ - 品質（EQ）オントロジー注釈への変換が必要である。このプロセスは労働集約的であり、比較形態学と特定のドメインオントロジーの両方に精通した、高度に訓練された人間の生物キュレーターに依存している。このタスクを自動化しようとする以前の試み、特に Dahdul らによる 2018 年の研究では、Semantic CharaParser（SCP）という NLP ツールが用いられた。その研究は EQ 注釈のゴールドスタンダード（GS）を確立し、機械と人間の一致度は、キュレーター間（人間対人間）の一致度よりも著しく低いことを発見し、当時の NLP システムには明確な限界があることを特定した。

方法論
本研究は、Anthropic（Opus 4.6、Opus 4.7、Sonnet 4.6）および OpenAI（GPT-5.4、GPT-5.4-mini）の 5 つの最先端大規模言語モデル（LLM）を用いて、Dahdul ら（2018）のベンチマークを再検討する。著者らは、人間の専門家の環境を模倣するように設計された、自己完結型の「エージェントキュレーションワークスペース」を構築した。

• データセット: 評価には、7 つの脊椎動物系統発生研究から得られた 203 個の形質（463 状態）を含む元のゴールドスタンダードデータセットが用いられた。GS は、元の人間のキュレーターたちの合意を表している。オントロジーセットには、UBERON、PATO、BSPO、GO が含まれ、キュレーターが追加した関係性クラス表現とマージされている。
• エージェントワークスペース: 各エージェントは、以下のリソースにアクセス可能な CLI ハーネス（Claude Code または Codex）内で動作した。
  • 原著論文の PDF。
  • 元の「Character Annotation ガイド」（OWL マンチェスター構文に翻訳済み）。
  • 4 つのプロジェクトオントロジー（OBO ファイル形式）。
  • 識別子の不一致、廃止されたクラス、構造的エラーをフラグ立てるための検証スクリプト（validate_annotations.scala）。
• ワークフロー: エージェントには、論文を読み、形質/状態のテキストを EQ 行に分解し、オントロジーから用語を検索し、必要に応じてポスト合成された OWL 式を構築し、バリデーターのフィードバックに基づいて出力を反復的に修正するという、多段階の「表現型-EQ-注釈」スキルが課された。
• 実験設計: 2 回の注釈ラウンドが実施された。第 1 ラウンドは探索的であった。第 2 ラウンドでは、原著の読解を義務付け、検索ガイダンスを拡張し、最終的な修正ステップとしてバリデーターを統合することで、スキルを洗練させた。公平性を確保するため、クロスモデル比較は、最初の 50 個の形質がワークスペースの洗練に使用されたため、形質 51〜203 に限定された。
• 指標: パフォーマンスは、マージされたオントロジーのサブサマー階層上で計算された 4 つの意味的類似性指標を用いて、GS に対して評価された。SimJ（ジャッカード類似度）、NIC（正規化情報量）、部分精度（PP）、部分再現率（PR）である。

主要な結果

• 人間レベルのパフォーマンス: 5 つの最先端エージェントすべてが、ほぼすべての指標において、キュレーター間のばらつきの範囲内（キュレーター間の平均値の 1 標準偏差以内と定義）に収まった。
• 人間との比較: 3 つの最も強力なエージェント（Opus 4.6、Opus 4.7、Sonnet 4.6）は、SimJ、PP、PR において、元の 3 人の人間キュレーター（AD、NI）の 2 人を超え、NIC においては同等かそれ以上であった。しかし、最も深く訓練されていたとされる最高性能の人間キュレーター（WD）は、特に SimJ と PP において、全体としてトップのパフォーマンスを維持した。エージェントは WD のレベルに近づいたが、到達はしなかった。
• 以前の自動化との比較: 5 つすべてのエージェントは、4 つすべての指標において Semantic CharaParser（SCP）を大幅に上回った。SimJ スコアは、最良の SCP 変種の約 2 倍であった。
• ローカルモデル: 消費者向けハードウェア上でオープンウェイトモデル（qwen3-coder 変種）をローカルで実行する試みは、多段階スキルへの対応困難、識別子の幻覚、またはバリデーターループからの放棄により、完全な注釈実行を生み出すことができなかった。

意義と主張
本論文は、人間の生物キュレーターが利用可能なツールやガイドを反映したワークスペースが提供された場合、最先端の LLM エージェントは、訓練された人間専門家間のばらつきと区別がつかないゴールドスタンダードとの意味的類似性を持つ EQ 表現型注釈を一貫して生成できると主張している。

これは、NLP システムが人間との一致度へのギャップを埋められなかった 2018 年に特定された限界からの大幅な転換を表している。著者らは、この能力により、もともと Phenoscape プロジェクトによって動機付けられた比較形態文献の大規模な構造化再注釈が、はるかに実行可能になると論じている。したがって、本研究は、他の生物キュレーションタスクへのエージェントシステムの適用を支持し、手動キュレーションのボトルネックは、読み取り、推論、検証、自律的な反復を行うエージェントを配備することで克服できることを示唆している。