User-driven development and evaluation of an agentic framework for analysis of large pathway diagrams

本論文は、分子相互作用マップの探索を支援する LLM ベースのシステム「Llemy」を、ドメイン専門家との協働によるユーザー駆動型開発プロセスを通じて設計・評価し、その有用性を検証した研究を報告するものである。

要約

この論文は、**「複雑すぎる生物の地図を、AI が案内役になってわかりやすく解説してくれる新しいシステム」**の開発と、そのテストについて書かれたものです。

専門用語を避け、身近な例え話を使って解説しますね。

🗺️ 物語の背景：巨大で迷路のような「生物の地図」

まず、科学者たちは「分子相互作用マップ」と呼ばれる、生物の体内で起こっていることを描いた巨大な地図を持っています。
これは、肝臓や免疫系などがどう動いているか、病気になるとどう変わるかを示すものです。

• 問題点： この地図はあまりにも詳細で、複雑すぎて、初心者や他の分野の専門家が見ると**「迷路に迷い込んだ」**ような感覚になります。どこに何があるか探すのに時間がかかりすぎます。

🤖 登場人物：AI 案内役「Llemy（レミ）」

そこで登場するのが、この論文で紹介されている**「Llemy（レミ）」**という AI システムです。

• Llemy の役割： 巨大な迷路（生物の地図）を案内する**「賢いガイド」**です。
• 仕組み： ユーザーが「肝臓の脂肪代謝について教えて」と質問すると、Llemy はその巨大な地図を瞬時に読み込み、AI が内容を要約して「ここが重要ですよ」と教えてくれます。

🛠️ 開発の物語：「ハッカソン」という合宿

この AI は、最初から完璧な状態で生まれたわけではありません。開発プロセスが非常にユニークです。

1. ハッカソン（合宿）でのプロトタイプ作成：
   研究者たちが 2 日間、合宿（ハッカソン）を開き、実際に「こんな質問がしたい！」「こんな答えが欲しい！」というユーザーの要望を元に、最初のラフな AI を作りました。

   • 例え話： 料理人が「お客さんが食べたい料理」を直接聞いて、その場で試作料理を作るような感じです。

2. ユーザーによるテスト：
   完成した AI を、実際に地図を使う専門家 25 人に使ってもらいました。

   • 「答えは正確か？」
   • 「簡潔か？」
   • 「信頼できるか？」
     これらを 5 段階で評価してもらい、フィードバックをもらいました。

📊 テストの結果：何ができて、何が苦手か？

ユーザーからの評価を分析すると、面白い傾向が見つかりました。

• 得意なこと（高評価）：
  • 「要約」： 複雑な地図の全体像をまとめて説明するときは、とても上手でした。
  • 信頼性： 答えの根拠となる地図の場所を正しく示すことができました。
• 苦手なこと（低評価）：
  • 「特定の場所を探す」： 「この特定の酵素はどこにある？」といった細かい検索は、少し混乱することがありました。
  • 反応速度： 答えが出るのが遅いと、ユーザーは「質が落ちた」と感じました。
  • 一貫性： 同じ質問をしても、AI によって答えの長さや内容が微妙に変わることがありました（AI のあるあるです）。

🔮 未来への展望：より良いガイドへ

この研究の結論は以下の通りです。

1. ユーザーの声を聞くことが大切：
   科学者だけで AI を作らず、実際に使う人（ユーザー）の声を最初から取り入れることで、本当に役立つツールが作れました。
2. オープンな AI へ：
   現在は有料の AI を使っていますが、将来的には誰でも使える「オープンな AI」を使って、より安く、透明性が高く、研究に役立つシステムを作りたいと考えています。
3. 迷路からの脱出：
   Llemy は、複雑な生物の知識の壁を取り払い、誰でもその「迷路」を楽しく探索できるようにする第一歩となりました。

💡 まとめ

この論文は、**「複雑すぎる科学の地図を、AI という『賢い案内人』を使って、誰でもわかりやすく楽しめるようにしよう！」**という挑戦の記録です。

「AI が全部やってくれる」のではなく、**「人間と AI が協力して、科学の謎を解き明かす」**ための新しい方法を提案している、とても前向きな研究です。

技術概要

論文「User-driven development and evaluation of an agentic framework for analysis of large pathway diagrams」の技術的サマリー

本論文は、複雑な生体分子相互作用マップ（パスウェイ図）の分析・探索を支援するための、ユーザー駆動型で開発された大規模言語モデル（LLM）ベースのエージェントフレームワーク「Llemy」の提案、実装、および評価について報告しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

• 知識の爆発と複雑性: 生物医学知識は急速に増加しており、分子相互作用マップや知識グラフなどのリソースは規模と複雑さを増しています。これらのリソースは、細胞や分子プロセスを記述する重要な情報源ですが、その形式、インターフェース、粒度が異なり、特に初心者にとってナビゲートすることが困難で時間がかかります。
• 既存ツールの限界: 従来のデータベースや可視化ツール（MINERVA プラットフォームなど）は存在しますが、大規模なマップから特定の情報を抽出したり、文脈を踏まえた要約を行ったりする際、ユーザーは手動での探索に依存せざるを得ません。
• LLM の活用と課題: 大規模言語モデル（LLM）は知識の要約や分析に有望ですが、構造化された生体データ（特に SBGN/SBML 標準に基づく分子相互作用マップ）に特化した、透明性が高く、信頼性の高いエージェント型フレームワークは不足していました。また、LLM のハルシネーション（事実の捏造）や、専門用語の解釈ミスといった課題をどう克服するかが問われています。

2. 手法とシステムアーキテクチャ

本研究では、ドメイン専門家（肝毒性学者、キュレーター、計算生物学者など）を早期から関与させた「ユーザー駆動型開発」アプローチを採用しました。

• 開発プロセス:

  • ハッカソン: 2025 年 5 月に開催された 2 日間のハッカソンでプロトタイプを設計。肝臓の脂質・胆汁代謝マップをユースケースとして、ドメイン専門家が提示したプロンプトに基づき要件を定義しました。
  • 評価: 25 名のユーザー（キュレーター、開発者、一般ユーザー）によるテストを行い、個々のプロンプトに対するフィードバックと最終アンケートを収集しました。

• Llemy システムのアーキテクチャ:

  • 技術スタック: Python 製、フロントエンドに Streamlit、バックエンドに LangChain（エージェント型）を使用。GPT-4.1-nano を基盤モデルとして利用。
  • ワークフロー（3 エージェント構成）:
    1. プロンプトエンリッチメント: ユーザーの入力を、科学的焦点、文献参照の含める指示などで強化します。
    2. データ取得エージェント: ユーザーが選択したマップ（MINERVA プラットフォームから）のデータ（ノード、エッジ、注釈）を API を通じて取得します。
    3. 合成エージェント: 強化されたプロンプトと取得したマップデータをコンテキストとして受け取り、要約や分析を生成します。
  • 特徴: 生成された回答内の特定の要素（ID など）が、元のマップ上の該当箇所へのクリック可能なリンクとして自動的に付与されます。これにより、回答の根拠をトレース可能（監査可能）にしています。
  • デプロイ: クラウド（VHP4Safety）上で公開され、Docker コンテナとしても利用可能。ユーザーは自身の API キーを入力して使用します。

3. 主要な貢献

• ユーザー駆動型の LLM 評価フレームワーク: 生体パスウェイ分析という専門領域において、ドメイン専門家を初期段階から巻き込み、プロンプトの設計から評価までをユーザー中心に行うプロセスを確立しました。
• 透明性の高いエージェント設計: 単なるテキスト生成ではなく、構造化されたマップデータと直接リンクし、文献参照を明示することで、LLM の出力の信頼性と検証可能性を高めるアーキテクチャを提案しました。
• 定量的・定性的な評価データセット: 157 のプロンプトに対するユーザー評価（精度、簡潔さ、信頼性の 5 段階評価）と、19 名のユーザーによる総合アンケートデータを収集・分析し、LLM の生体データ処理における課題を特定しました。

4. 結果

• パフォーマンス評価:
  • 指標: 精度（Accuracy）、簡潔さ（Conciseness）、信頼性（Reliability）の 3 つで評価されました。中央値はそれぞれ 4, 3, 4 でした。
  • 応答時間との相関: 応答時間が長いほど、ユーザーによる評価（品質）が低下する傾向が統計的に有意に確認されました（$\beta = -0.34, p < 0.001$）。
  • タスク別評価: 「要約（Summarise）」タスクが最も高い評価を得ていましたが、「検索（Find）」タスクでは評価のばらつきが大きく、低評価も目立ちました。これは、マップ内容に基づいた複雑な検索が LLM にとって難しいことを示唆しています。
• ユーザーフィードバックの定性的分析:
  • 高評価: 包括的な要約、サブマップ間の接続の正しい特定、マップに存在しない要素への適切な言及。
  • 低評価・課題: 根本的な事実誤認、既存マップ内容の検索失敗、捏造された参照、同義語（HGNC 名など）の認識ミス、文脈（臓器特異性など）の欠落。
  • 出力のばらつき: ほぼ全ユーザーが、同じプロンプトに対する出力のばらつき（再現性の低さ）を指摘しました（評価尺度で 3 以上）。
• ユーザビリティ: 使いやすさ（Usability）は高く評価されましたが、特にマップの「ユーザー」層（開発者やキュレーターではない層）では実用性（Utility）の評価がやや低く、コンテンツへの不慣れさが影響している可能性があります。

5. 意義と今後の展望

• 複雑性の障壁の低減: Llemy は、複雑な分子相互作用マップを探索する際の障壁を下げ、研究者が仮説生成や実験設計を効率化する入口として機能する可能性を示しました。
• オープンウェイトモデルへの移行: 現在の商用 LLM（GPT-4.1）は出力のばらつきやコストの課題があります。今後は、オープンウェイトモデルへの移行や、ローカル環境でのベンチマークが重要であると提言されています。
• 将来のロードマップ:
  • 応答時間の短縮と参照リンクの精度向上。
  • タスク（要約、検索、分析）に特化したワークフローの導入。
  • MINERVA プラットフォームとのプラグイン統合や、Model Context Protocol (MCP) を活用したシームレスな連携。
  • 特定のタスクに特化したベンチマークセットの構築と、継続的なユーザー評価の実施。

結論:
Llemy は、LLM を生体データベースと対話させるための有望なユースケースを示しました。ユーザー駆動型の開発アプローチは、科学分野における LLM システムのニーズと知覚を評価する上で重要であり、より高度なタスクへの発展に向けた貴重な知見を提供しました。技術の急速な変化に対応するため、オープンなベンチマークとコミュニティ参加型の開発を継続することが不可欠です。