テクニカル・サマリー：GUIDE – 文書からアーティファクト生成のための統治された統合インテリジェンス

1. 問題提起

エンタープライズにおけるアノテーション・パイプラインは、現在、異種混合でマルチモーダルなガイドライン文書（記述テキスト、複雑な表、埋め込まれた画像を含む）を、構造化された実行可能なワーク・アーティファクトへと変換することに依存しています。このプロセスは現在、品質管理者（QM）やプロジェクトマネージャー（PM）によって手動で行われており、文書1件あたり2〜3日を要しています。この手動のアプローチはエラーが発生しやすく、スケールが困難であり、ガイドラインが更新されるたびに完全な作り直しが必要となります。

核心となる課題は、エンタープライズ文書の性質によって悪化するデータ管理の問題です。

• 異質性（Heterogeneity）: テキストは意味的な単位ではなく位置ベースのトークンとしてエンコードされていることが多く、表はページをまたぎ、セルの結合を含み、あるいは画像として存在します。また、視覚的要素（例：バウンディングボックス付きの図解）は、テキストでは捉えきれない重要な意味情報を持っています。
• ガバナンスの欠如: 既存の大規模言語モデル（LLM）および視覚言語モデル（VLM）システムは、内容のハルシネーション（幻覚）、表構造の劣化、および単純な抽出を超えた検証とアーティファクト生成に至る統治されたワークフローの欠如に苦しんでいます。
• トレーサビリティ（追跡可能性）: 抽出されたルールは、バージョン管理され、重複が排除され、スキーマに対して検証され、ソースから最終的なアーティファクトまで追跡可能である必要がありますが、現在の単一ステップの抽出手法ではこれらを実現できません。

2. 手法：GUIDEフレームワーク

著者らは、ガイドラインからアーティファクトへの変換をデータ管理の問題として扱うために設計された、統治されたマルチエージェント・フレームワークであるGUIDE（Governed Unified Intelligence for Document-to-Artifact Generation）を導入しています。

コア・アーキテクチャ

本システムは、安定したrule_idによってキー付けられた、スキーマ強制済みのテーブルを含む中央バージョニング済みルール・ストアを中心に構築されています。このストアは共有データ層として機能し、以下を保証します。

• プロベナンス（由来）: すべてのアーティファクトは、そのソースとなるルールおよびオリジン文書まで遡ることができます。
• バージョニング: 文書の改訂に伴うルールの更新は、再処理されるのではなく、調整（reconciled）されます。
• 監査可能性: すべてのHuman-in-the-Loop（HITL）の決定は、安定した識別子に対してログに記録されます。

エージェントはPydanticで検証されたコントラクトを通じてこのストアと相互作用し、構造的に無効なデータがダウンストリームのエージェントに消費されることを防ぎます。

6つの特化エージェント

1. パース・エージェント（Parsing Agent）: 決定論的なテキスト抽出（PyMuPDF、内部XML、LibreOfficeを使用）とVLM処理を分離します。視覚的コンテンツは、MD5ベースの画像重複排除を行った後、Qwen2.5-VLを用いて処理されます。抽出品質は、欠陥率指標（$Q$）によって評価されます。
2. ルール抽出エージェント（Rule Extraction Agent）: 以下の2段階パイプラインを実行します。
   • オープンドメイン抽出: ソースのスパンと信頼度スコアを持つ候補ルールを特定します。
   • 正規化: ルールを固定された26フィールドのスキーマにマッピングします。
   • ルーティング: ルールのタイプ（例：評価基準はQMワークベンチへ、作業員要件はPMワークベンチへ）に基づいてルールをルーティングします。
3. 整合性モジュール（Consistency Module）: 埋め込みベースの類似性フィルタリングに続いて、自然言語推論（NLI）分類を適用し、ルールの重複排除、バージョンの整合、およびギャップや矛盾の特定を行います。不足している要素はGapObjectとして構造化されます。
4. 評価エンジン（Evaluation Engine）: 2段階の検証パイプラインを提供します。
   • L1（構造的）: 制約（例：必須フィールド、有効な列挙型）をチェックする決定論的なPydanticバリデーション。
   • L2（意味的）: LLM-as-judgeが、品質次元（例：明快さ、ペルソナ適合性、完全性）にわたってオブジェクトを1〜5のスケールでスコアリングします。
   • ルーティング・ロジック: 高スコア（$\ge 4$）は自動承認；中程度のスコア（2–3）はHITLへルーティング；低スコア（1）は拒否。推論されたソースを持つオブジェクトは常にHITLへルーティングされます。
5. HITLコントローラー（HITL Controller）: 依存関係を考慮したステージ制のレビュー・ワークフローを管理します。
   • フェーズ1: RuleUnitをレビュー。
   • フェーズ2: 承認されたルールを条件として、GapObjectをレビュー。
   • フェーズ3: 確定したルールとギャップを条件として、ExampleObjectをレビュー。
     ゼロ編集の承認は、レビューヤーの負荷を漸進的に軽減するためのキャリブレーション・データとしてログに記録されます。
6. アーティファクト生成エージェント（Artifact Generation Agent）: 承認されたルール、解決されたギャップ、および例を、Pydantic制約付きのテンプレートを使用して、8種類の展開準備が整ったアーティファクト（例：アノテーター・ガイドライン、QA戦略、SOW）へと変換します。アーティファクトは、ルールの網羅性、構造的適合性、ペルソナの適切性、およびセクション間の矛盾に基づいてスコアリングされます。

3. 主な貢献

• 統治されたデータ・バックボーン: 安定したキーイングとエンドツーエンドのプロベナンス・トラッキングを備えた、バージョニングおよびスキーマ検証済みの共有ステージング・ストア。
• マルチエージェント・フレームワーク: 決定論的なパース、VLMベースの抽出、構造化されたルールモデリング、および依存関係を考慮したアーティファクト生成を、6つの特化したエージェント間で統合。
• 2段階評価: 構造的バリデーション（L1）とLLMベースの意味的スコアリング（L2）を組み合わせ、自動承認と選択的なHITLエスカレーションを行うフレームワーク。
• 依存関係駆動型HITL: オブジェクトのタイプ、深刻度、およびダウンストリームの依存関係に基づいて、フラグが立てられたルール、ギャップ、およびアーティファクトのみを人間のレビュワーにルーティングするワークフロー。
• 実証的検証: 120件の実世界のエンタープライズ・ガイドライン文書を用いた評価において、抽出の忠実度、整合性制御、およびペルソナ固有の生成における性能を実証。

4. 実験結果

システムは、様々な複雑さのティアを持つ、テキスト、音声、マルチモーダル、画像、ビデオを含む120のエンタープライズ文書のコーパスを用いて評価されました。

• 文書の成功: **96%**の文書成功率（120文書中115文書が正常に処理）を達成。
• ルール抽出: 3,896個のRuleUnitを抽出し、エビデンス率は84.8%、ハルシネーションはわずか**3.2%**でした。
  • L1合格率: 99.1%。
  • L2自動承認: ルールの**71.4%**が自動承認され、28.6%が人間によるレビューを必要とし、拒否されたものは0%でした。
• アーティファクト生成: 812個の展開準備が整ったアーティファクトを生成。
  • 自動承認: アーティファクトの**29.8%**が自動承認されました。
  • 人間によるレビュー: **52.0%**がレビューにルーティングされました。
  • 拒絶: **18.2%**が再生成をトリガーしました。
• 効率性: ターンアラウンドタイムを、手動のベースライン（2〜3日）から、文書あたり40〜125分へと短縮しました。
• ガバナンスの影響: モノリシックなワンパス・ベースライン（同一モデル、ガバナンスなし）と比較して、GUIDEは以下を大幅に削減しました。
  • ハルシネーション: 15.7% $\to$ 3.2%
  • 重複: 10.3% $\to$ 3.0%
  • 矛盾: 7.8% $\to$ 2.9%
  • L1合格率: 93.2% $\to$ 99.1%

5. 意義と主張

本論文は、信頼性、トレーサビリティ、および選択的な人間による監視が第一級のデザイン目標である、データ駆動型かつ人間と整合したエージェント・システムの原則的な基盤をGUIDEが提供すると主張しています。

• スケーラビリティ: 非構造化ガイドラインから構造化されたアーティファクトへの変換を自動化することで、GUIDEはエンタープライズにおける人員配置と立ち上げの重要なボトルネックに対処します。
• 品質管理: 本フレームワークは、スキーマ・コントラクトと多段階バリデーションを強制することで、統治されたマルチエージェント・パイプラインが、モノリシックな抽出モデルよりも大幅に優れた性能を発揮できることを示しています。
• Human-in-the-Loopの最適化: 依存関係を考慮したHITLワークフローにより、人間の努力を、フラグが立てられた問題（ギャップ、曖昧さ、低信頼度のアーティファクト）のみに集中させ、ゼロ編集の承認を将来のレビュワーの負荷を軽減するためのキャリブレーション信号として利用します。
• 限界: 著者らは、低品質のスキャンや複雑な表においてVLMの安定性が低下することを認めています。また、ペルソナへの適応とルールの網羅性は依然として課題として残っています。現在の評価は英語のエンタープライズ・ガイドラインに限定されていますが、基礎となるアーキテクチャ（ステージング・ストア、スキーマ・コントラクト、L1/L2評価）はドメインに依存しないものとして記述されています。