Semantic Tracing in LLM-Based Multi-Agent Systems Using LangChain, LangGraph, and LangSmith for AI Governance

技術要約：LLMベースのマルチエージェント・システムにおけるセマンティック・トレーシング

問題提起
大規模言語モデル（LLM）ベースのマルチエージェント・システムを採用する組織は、「シャドーAI」、ハルシネーション（幻覚）の伝播、インストラクション（指示）のドリフト、および意思決定プロセスがどのように生成されたかという可視性の欠如といった、重大なガバナンス上の課題に直面している。LangSmithのようなオブザーバビリティ（観測性）プラットフォームは実行トレースをキャプチャするが、エージェント間のハンドオフ（受け渡し）において、エージェントが元の指示のセマンティックな意味、制約、およびエビデンスへのコミットメントを保持しているかどうかを本質的に測定するものではない。現在のフレームワークには、「意味の保持（meaning preservation）」を第一級の測定量として扱い、これらの測定値をエンタープライズAIガバナンス・コントロール（例：NIST AI RMF、EU AI法）に紐付ける統合的な手法が欠けている。

手法
本研究は、エンタープライズAIガバナンスとリスクインテリジェンスのための学術研究ツールであるSHADOWAI-RISKプロトタイプのローカル実験的拡張を中心とした、混合研究法を採用している。この手法では、元の決定論的なベースラインと、新しい実験的条件を区別している。

1. 実験アーキテクチャ:

   • オーケストレーション: ステートフルなノード（インベントリ、エビデンス、ガバナンス、ヒューマンレビュー）および条件付きルーティングを含む、状態管理型のグラフ（StateGraph）を管理するためにLangGraphを用いて実装。これには、強制的なヒューマンレビュー・ゲートが含まれる。
   • 推論およびツール: 真のLLM呼び出し、ツールラッピング（例：NVD CVEルックアップ）、およびリトライメカニズムを備えた構造化出力パースを行うために、LangChain（ChatOpenAI、ChatPromptTemplate、JsonOutputParser）を用いて実装。
   • オブザーバビリティ: LangSmithは、プライベートなトレーシング、スパンのキャプチャ、およびメタデータ・ロギングのために厳密に使用される。これはセマンティックな指標を計算したり、ガバナンス上の意思決定を行ったりするものではない。
   • セマンティック評価: ルールベースのレイヤーが、ハンドオフ・パケットを比較し、ドリフト、制約の欠落、および根拠のない主張を検出する。

2. ハンドオフ・メカニズム:

   • エージェントは、ゴール識別子、制約セット、エビデンスソース、信頼レベル、および残留リスクを含む、構造化されたハンドオフ・パケット（Pydanticによる検証済み）を交換する。
   • これらのパケットは、意味論的忠実度（semantic fidelity）を測定するための分析単位として機能する。

3. 実験デザイン:

   • 制御されたマトリックスに基づき、450回のワークフロー実行が完了した（終端失敗は0）。
   • 条件:
     • 決定論的ベースライン（元のプロトタイプから継承）。
     • セマンティック評価なしのLLMマルチエージェント（160実行）。
     • LangSmithトレーシング ＋ セマンティック評価ありのLLMマルチエージェント（160実行）。
     • 変動性およびアブレーション研究（140実行）。
   • 指標: セマンティック保存スコア（SPS）、エージェント・ハンドオフ忠実度（AHF）、インストラクション・ドリフト率（IDR）、トレース完全性スコア（TCS）、ツール使用正確性（TUA）、ガバナンス・コンプライアンス率（GCR）、ハルシネーション伝播率（HPR）、およびワークフロー信頼性スコア（WRS）を含む、正式な一連の指標を定義した。

主要な貢献
本論文は、実装された機能と提案されたアーキテクチャを区別した上で、8つの具体的な要素を寄与している。

• C1: セマンティック・トレーシングの概念的構成、およびハンドオフ・パケットの表現。
• C2: LangSmithを中心としたオブザーバビリティ・パイプラインと、正式な指標スイート（人間による較正は保留中であることに留意）。
• C3: 4つのエージェント・ロールとヒューマンレビュー・ゲートを備えた、動作するローカル・プロトタイプ。
• C4–C5: LangChainによるLLM呼び出し、およびLangGraphによるステートフルなルーティングを伴うLangChainオーケストレーションの真の実装。
• C6: オーケストレーション、推論、決定論的セーフガード、トレースキャプチャ、セマンティック評価、および人間の意思決定の明示的な分離。
• C7: 変更されていないSHADOWAI-RISKプロトタイプに対する、ベースライン対実験の比較。
• C8: セマンティック・トレーシング信号とガバナンス・コントロール（NIST、ISACA、EU等）の解釈的マッピング。

結果
完了した実験マトリックス（450/450実行）は、セマンティック評価を有効にしたLLM条件と、有効にしていないLLM条件との間で、以下の比較結果を示した。

• トレース完全性 (TCS): 評価有効条件において有意に低かった（0.624 対 0.912; Holm調整済み p < 0.001, Cliff's δ ≈ −0.33）。評価レイヤーは、生のトレースでは検出できなかった欠落したスパンやフィールドを特定した。
• ワークフロー信頼性 (WRS): 等価およびエキスパート重み付けスキームの両方において、セマンティック評価により有意に低下した（小さな効果）。
• セマンティックおよびガバナンス指標: 2つのLLM条件間で、SPS、AHF、IDR、TUA、GCR、HPR、またはHEPに関する統計的に有意な差は見られなかった。
• 意思決定精度: 意思決定ファミリーの正解率は同程度であった（59/160 対 57/160; p ≈ 0.91）。
• レイテンシ: 評価有効条件において、有意に高いレイテンシが発生した（~126.2s 対 ~101.7s; Cliff's δ ≈ 0.67, 大きな効果）。
• コスト: 両条件とも、ローカルモデル実行を使用しているため、$0のローカルコストが発生した。
• ドリフト検出: 制御された摂動シナリオにおいて、マルチエージェント条件はインストラクションのドリフトとエビデンスの欠落を正常に検出したが、決定論的ベースラインはホップレベルの制約ドリフトを検出できなかった（ただし、決定論的ルールによりデータの欠落は正しく処理された）。

意義と主張
本論文は、マルチエージェント拡張の主な価値は、最終的な意思決定の精度向上ではなく、プロセスの透明性と監査可能性にあると控えめに主張している。

• ガバナンスの価値: 本フレームワークは、エージェントがどのように情報を交換し、どこで制約が失われ、どこでガバナンス・コントロールが介入すべきかを検査するメカニズムを提供する。これは、エージェントの挙動に関する監査可能な証拠を作成することにより、NIST AI RMFの「測定（Measure）」および「統治（Govern）」機能をサポートする。
• 運用の現実: 本研究は、本概念的アーキテクチャが、プロダクションへのデプロイを変更することなく、LangChain、LangGraph、およびLangSmithを用いて運用可能であることを示している。
• 限界: 著者らは、セマンティック保存の有効性がプロダクション環境で証明されていないことを明示している。指標の重みの人間による較正、評価者間一致度研究、および注釈付きコーパスによる外部検証は、未完了の課題である。知見は、プロダクション規模のデプロイメントではなく、ローカルの実験的拡張に基づいている。
• 結論: 最終的な推奨事項のみを必要とする固定されたルールベースのガバナンス・タスクについては、決定論的ベースラインが依然として十分である。しかし、中間的な推論、エージェント間の通信、およびセマンティックな説明責任を必要とする設定においては、マルチエージェント・アーキテクチャは、レイテンシと実装の複雑さが増大するものの、決定論的ワークフローにはない能力を提供する。