💬 NLP

PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows

PROTEA は、グラフベースのスコアリングと後方評価を通じてボトルネックを特定する、マルチエージェント LLM ワークフローのオフライン・テスト駆動型改善のための統合インターフェースであり、開発者がプロンプトの改訂を反復的に編集・検証してシステム性能を大幅に向上させることを可能にする。

原著者： Kazuki Kawamura, Satoshi Waki, Kei Tateno

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kazuki Kawamura, Satoshi Waki, Kei Tateno

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、キャストがすべて AI ロボットで構成された劇の演出家だと想像してください。各ロボットには特定の役割があります。一人は台本を読み、もう一人は事実確認をし、三人目はセリフを書き、四人目は最終的な演技を行います。開発者はこれを「マルチエージェント LLM ワークフロー」と呼んでいます。

通常、これらのロボットチームは、すべてを一度にやろうとする単一のロボットよりもうまく機能します。しかし、問題があります。最終的な演技が悪ければ、どのロボットが失敗したのかを特定するのは悪夢のようです。事実確認担当が間違った情報を入手したのでしょうか？脚本家がトーンを誤解したのでしょうか？それとも、最後の俳優が単に躓いたのでしょうか？

現在、開発者は劇全体の数時間の映像（「トレース」）を見て、エラーがどこで始まったのかを推測しなければなりません。これは、500 ページの本のすべての単語を再度読み直して、たった一つのタイプミスを見つけようとするようなものです。

ここで PROTEA が登場します。

PROTEA は、**魔法のスポットライトを備えた、賢くインタラクティブな「リハーサル室」**のようなものです。これにより、開発者は何度も何度も映画全体を視聴することなく、これらのロボットチームのデバッグと改善を支援できます。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 魔法のスポットライト（ノードレベルの診断）

劇全体を見る代わりに、PROTEA は各ロボットの作業場に信号機を置きます。

🟢 緑: このロボットは完璧に役割を果たしました。
🟡 黄: このロボットはまあまあでしたが、少し雑だったかもしれません。
🔴 赤: このロボットは失敗しました。

最終的な答えが間違っている場合、PROTEA は単に「劇は失敗した」と言うだけではありません。瞬時に赤いロボットをハイライトし、「ねえ、ここを見て！このロボットは次のロボットに間違った情報を渡しました」と言います。これにより、開発者は台本全体を検索する必要から解放されます。

2. 「リバースエンジニアリング」（後方推論）

時には、開発者は最終的な答えが何であるか（例えば、「劇は幸せな笑い声で終わらなければならない」）しか知らず、中間のロボットが何を言うべきかという具体的な台本を持っていないことがあります。

PROTEA は後方推論と呼ばれるトリックを使用します。目的地は知っているが、途中の曲がり角はわからないドライブを想像してください。PROTEA は「幸せな笑い声」から逆算して、「最終的なロボットが笑うためには、脚本担当ロボットは何と言わなければならなかったのか？そして、脚本担当がそれを言うためには、事実確認担当は何を提供しなければならなかったのか？」と問いかけます。

これにより、最終目標に基づいて中間ステップの「ゴースト台本」が生成されます。その後、ロボットが実際に言ったこととこの「ゴースト台本」を比較し、弱いリンクを見つけ出します。

3. 「編集ボタン」（プロンプトの改善）

PROTEA が赤いロボットを見つけると、単に指差すだけでなく、推奨される修正を提示します。

ロボットの現在の指示（「プロンプト」）を表示します。
その指示の新しい、改善されたバージョンを提案します。
写真編集ツールが元画像と編集済み画像を並べて表示するように、「Before vs. After」の比較を示します。

開発者はその提案を受け入れるか、微調整するか、無視するかを選択できます。

4. 「即時リプレイ」（自動再実行）

最も素晴らしい点は、開発者が「保存」を押すと、PROTEA が新しい指示で劇全体を即座に再実行することです。その後、スコアのグラフを表示します。「見て！以前はスコアが 64% でしたが、あなたの編集後は 84% になりました！」と。

これにより、問題の発見 → 修正の提案 → テスト → 結果の確認という高速なループが生まれます。変更が機能したかどうかを数日待つ必要はもうありません。

彼らは実際に何を達成したのでしょうか？

このシステムは、2 つの現実世界のシナリオでテストされました（特定の会社名は秘匿されています）。

文書検査: 厳格なルールで文書をチェックするシステム。PROTEA により、その精度が**64.3% から 83.9%**に向上しました。
推薦システム: 映画や製品などのアイテムを提案するチャットボット。PROTEA により、正しい推薦がトップ 5 リストに入る頻度が増え、スコアが0.30 から 0.38に向上しました。

また、6 人の経験豊富な AI 開発者のグループでもテストされました。これらの開発者は、このシステムを気に入りました。なぜなら、無限のログを凝視することを防ぎ、問題を引き起こしている特定のロボットを修正することに集中させてくれるからです。

結論

PROTEA は、AI ロボットチームのデバッグという混乱し、厄介な作業を、クリーンで視覚的なプロセスに変えるツールです。それはハイライト映像を持つコーチのように機能し、どの選手がボールを落としたかを正確に示し、それを修正するためのプレイブックを提供します。すべてが一つの場所で完結します。

技術概要：PROTEA

問題定義
複数の役割固有の LLM 呼び出しを有向非巡回グラフ（DAG）として構成するマルチエージェント大規模言語モデル（LLM）ワークフローは、単一プロンプトのベースラインを上回る性能を発揮することが多い。しかし、これらのシステムの改善は、システムレベルの複雑なデバッグタスクである。最終出力における失敗は、しばしば下流に伝播する中間ノード出力の微妙な誤りに起因する。現在の評価ツール（AgentBench、OpenAI Evals、RAGAs など）は、通常、エンドツーエンドの成功指標やコンポーネントレベルの評価（検索の関連性など）に焦点を当てており、グラフを考慮した診断機能は欠けている。その結果、開発者はどのノードを修正し、そのプロンプトをどのように改訂すべきかを推測するために、長い実行トレースを手動で検査しなければならない。さらに、現実的な生産環境では、チームが保有するラベルがターミナル出力のみに限定されていることが多く、すべての中間ノードに対する参照出力を作成することはコストがかかり、非現実的である。

手法：PROTEA フレームワーク
PROTEA は、マルチエージェント LLM ワークフローの反復的改善のために設計された、統合されたオフラインのテスト駆動型インターフェースである。これは、ワークフローの実行、中間ノードの評価、ボトルネックの特定、プロンプトの改訂、再評価という固定スイートの反復ループに基づいて動作する。このシステムは、以下の 3 つの中核メカニズムを中心に構築されている。

後向きノード評価: 中間参照の不足に対処するため、PROTEA は最終回答の参照とグラフの文脈から、候補となるノードレベルの期待値を生成する。形式的には、最終ノードの監視信号（ $y^*_{final}$ ）から開始し、システムは参照生成ステップ（ $M_{gen}$ ）を用いて、下流の要件に基づいて上流ノードに必要な出力を推論する。これにより、システムは逆トポロジカル順序で中間ノードを評価し、観測された出力（ $y_v$ ）をこれらの生成された期待値（ $\hat{y}_v$ ）と比較して、スコアと根拠を生成することができる。
グラフベースの診断: PROTEA は、ノードごとの状態（PASS/WARN/FAIL）と評価者の根拠を、ワークフローグラフ上に直接オーバーレイする。ノードはステータスとスコアでソートされ、開発者が手動でトレースを検査することなく、考えられるボトルネックに誘導される。
局所化されたプロンプト改善: 選択されたノードに対して、PROTEA は評価者の根拠に基づいて、ターゲットを絞ったプロンプトの改訂案（ $I'_v$ ）を提案する。これらは編集可能な「前後比較」として提示される。システムは、変数の受け渡しや出力形式を維持し、テスト固有の内容がプロンプトに漏洩することを防ぐために制約を強制する。承認されると、ワークフローはオフラインテストスイート上で自動的に再実行され、スコアの推移を追跡して改善を確認する。

主要な貢献

反復的改善のための統合インターフェース: PROTEA は、実行、評価、診断、プロンプト編集を単一のループに統合し、評価証拠を修正に転換するために必要な手作業を削減する。
監視のための後向き推論: このシステムは、最終回答から中間ノードの期待値を生成する方法を導入し、中間の正解ラベルが利用できない場合でも効果的なデバッグを可能にする。
開発者中心のワークフロー: 目的関数に対して自律的に最適化する自動最適化手法（DSPy、OPRO など）とは異なり、PROTEA は候補となるボトルネックを表面化し、検査可能な 改訂案を提案する。これにより、開発者は文脈の中で変更を採用、編集、または元に戻すことができる。

実験結果
著者は、2 つの生産に近いワークフロー研究、自動反復ストレステスト、および 6 人の経験豊富な LLM 開発者による形成的なユーザー調査を通じて PROTEA を評価した。

生産に近い研究:
- ドキュメント検査: 5 ノードのエンタープライズワークフローにおいて、反復的改善によりドキュメント検査の精度が 64.3% から 83.9% に向上した。
- 会話型推薦: 6 ノードの推薦ワークフローにおいて、Hit@5 指標が 0.30 から 0.38 に向上した。
- どちらの場合も、システムは制約の伝播を追跡するのを助け、長いトレースをエンドツーエンドで読む必要性を減らした。
自動反復ストレステスト:
- システムは、11 の独立して生成されたワークフローでテストされた。初期プロンプトが最小限の 5 つのワークフローのサブセットにおいて、「AUTO LOOP」モード（自動提案・保持サイクル）は、5 件中 4 件でリライトなしのベースラインよりも高い最高スコアを達成した。
- 顕著な改善には、コーススケジューリングワークフローにおける 0.186 から 0.800 への跳躍が含まれる。
- 近接した二値基準を有するタスク（例：完全一致の単語問題）では、中間推論に対する段階的な信号の欠如が最適化を妨げるという限界が観察された。
ユーザー調査:
- 6 人の経験豊富な開発者は、グラフレベルの局所化、ノードごとの根拠、プロンプトの改訂と自動再実行を比較する機能に価値を見出した。
- 参加者は、評価者の較正、既存のツールチェーン（CI/CD）との統合、バージョン管理サポートなどを将来の優先事項として特定した。

意義と主張
本論文は、PROTEA が LLM 工学ライフサイクルにおける重要なギャップ、すなわち監視が最終出力に限定される複雑なマルチエージェントシステムのデバッグの難しさを解決すると主張している。後向き推論と開発者関与型インターフェースを組み合わせることで、PROTEA は中間ステップの網羅的な手動ラベリングを必要とせず、迅速でテスト駆動型の改善を可能にする。著者は、このツールを自動プロンプト最適化を補完するものとして位置づけている。DSPy のような手法が目的関数に対するプログラム動作を最適化するのに対し、PROTEA は具体的なマルチエージェントグラフに対する開発者ワークフローに焦点を当て、具体的で実行可能なボトルネックと局所的な修正を表面化する。結果は、そのようなインターフェースがワークフローのパフォーマンスを大幅に向上させる可能性があることを示唆している（例：ドキュメント検査で精度が +19.6% 向上）と同時に、複雑なエージェントグラフを介したエラーの追跡に関連する認知的負荷を軽減する。