技術要約: Trace2Policy

問題提起

監査、コンプライアンス、契約レビューといったドメインにおける企業の意思決定タスクは、多くの場合、暗黙的かつ体系的であり、特定のソフトウェアシステムの挙動と深く結びついた専門家の判断に依存しています。既存の自動化アプローチには、主に3つのギャップが存在します。

1. 知識獲得 (Knowledge Acquisition): 現在のGUIエージェント（例：CogAgent, SeeAct）は、インターフェースの操作方法（クリック、フィールドへの入力）を学習しますが、その背後にある「意思決定ロジック」やヒューリスティックを抽出することには失敗します。プロセス・マイニングは活動フローを明らかにしますが、「なぜ」その特定の決定に至ったのかという理由は明らかにしません。
2. 知識の洗練 (Knowledge Refinement): 一回限りの抽出手法（LLM蒸留、フューショット学習、または専門家へのインタビュー）は、表面的な手順しか捉えられません。これらは、「ディープ・ナレッジ（深い知識）」、例えばシステムのエンコーディング規則、暗黙的なアクションのセマンティクス、および主張とアクションの不一致などを明らかにできず、性能の停滞（多くの場合70%程度）を招きます。また、場合によっては、精緻化されていないルールに従わせることで強力なモデルの性能を低下させる「権威の置換（authority displacement）」を引き起こします。
3. 知識の進化 (Knowledge Evolution): ほとんどのエージェント・システムは、デプロイ後に静的なままです。自己進化型エージェントの調査は存在しますが、既存の人間によるレビュー・ワークフローが提供する自然なグラウンドトゥルース（正解）を利用して、変化するビジネス条件に低コストで継続的に適応させるメカニズムはほとんどありません。

手法: Trace2Policy フレームワーク

著者らは、生の専門家の行動トレースを、自己進化する意思決定エージェントへと変換するエンドツーエンドのフレームワークである Trace2Policy を提案しています。このパイプラインは5つのフェーズで構成されます。

フェーズ 0–1: 行動のキャプチャと構造化

• エージェント・オブザーバー (Agent Observer): マルチモーダルな専門家の行動（ウィンドウフォーカス、スクリーンショットを伴うマウス操作、キーボード入力、ブラウザイベント）を受動的にキャプチャし、ビジネスアンカー（例：送り状番号）を用いてタスクレベルの軌跡にセグメント化します。
• VLMによる構造化: ビジョン言語モデル（VLM）が、生の軌跡を構造化された意思決定レコードに変換し、参照されたシステム、主要な観察事項、推論チェーン、および証拠を抽出します。

フェーズ 2: 自動ポリシー蒸留

LLMは、構造化されたレコードから初期ポリシー（Skills と呼ぶ）を蒸留します。このポリシーは、以下の3つのレイヤーで構成される、外部化された人間が読める形式のルール文書（Markdown）です。

• ワークフロー・レイヤー (Workflow Layer): システムへのクエリ順序およびパラメータ。
• 意思決定レイヤー (Decision Layer): パス・ルーティングおよび判断条件。
• プラットフォーム・レイヤー (Platform Layer): APIスキーマ、フィールドのエンコーディング、およびログイン手順。

フェーズ 3: EISR (エラー駆動型反復スキル洗練)

核心となる革新は、EISR です。これは、ルール文書をモデルの重みではなく、最適化の対象として扱う、構造化された「診断およびパッチ適用」のループです。

1. 実行と比較: ポリシーを検証セットに対して実行し、グラウンドトゥルースに対するエラーを特定します。
2. 構造化された診断: エラーを、原因に基づいて MISSING（ルールがケースをカバーしていない）、WRONG（ルールが誤ったアクションを規定している）、または CONFLICT（矛盾するルールが存在する）の3つのタイプにクラスター化します。
3. 標的を絞った洗練: LLMが各クラスターに対してパッチを提案します。
4. リグレッション・ゲート (Regression Gate): パッチは、以前の正しいケースを壊さないことを保証するために、リグレッションテストに合格した場合のみ受け入れられます。

• Auto-EISR: 「Executor（実行者）」エージェントがエラーを生成し、「Diagnose/Refine（診断/洗練）」エージェントが修正案を提示するLLM駆動型のバリアントであり、人間によるコストのわずかな割合でプロセスを自動化します。

フェーズ 4: 本番デプロイと自己進化

洗練されたポリシーがデプロイされます。監査人は引き続きケースをレビューし、追加コストなしで自然なグラウンドトゥルースを提供します。同様のエラーが蓄積された場合（5ケース以上）、インクリメンタルなEISRラウンドがトリガーされ、ルールを更新し、継続的な改善のフライホイールを作成します。

主な貢献

1. Trace2Pipeline: 生のトレースからデプロイされたエージェントに至る検証済みのパイプラインであり、大手物流業者での22日間の本番デプロイ（3,349件の監査ケース）において実証されました。
2. EISR アルゴリズム: LLMを最適化器として使用し、リグレッション・ゲート付きの受け入れを行うルール洗練手法です。これにより、ワンショットの手法では不可視である「トラップ・ルール（落とし穴となるルール）」、例えば以下のようなシステム固有の慣習を明らかにすることに成功しました。
   • エンコーディング状態の曖昧さ: システム表示における現在の責任コードと元の責任コードの区別。
   • 暗黙のアクション接頭辞: テキストコメント内の文書化されていない信号（例：「C:」接頭辞）の認識。
   • クレームの不一致: アクションを実行することと、特定のクレームを受け入れることの区別。
3. 実行形式の観察: ルールの品質が、モデルの能力よりも支配的なパフォーマンス・レバーであることを明らかにしました。
   • コンパイルによる利得: 同じEISRで洗練されたルールを決定論的なPythonにコンパлоイルすると、同じルールをLLMのプロンプトとして使用した場合よりも、本番環境において性能が 9.8パーセントポイント 上回りました（79.6% vs 69.8%）。
   • LLMフォールバックの失敗: 偏ったベースレート（skewed-base-rate）を持つタスクにおいて、一般的な設計パターンであるLLMフォールバックを再度有効にすると、LLMの事前分布がルールのカスケードによって較正された偏った分布と一致しないため、精度が単調に低下します。
4. 権威の置換 (Authority Displacement): 未洗練のルールは、強力なLLMであっても、誤ったヒューリスティックに従わせることで、精度を7〜9pp低下させるなど、積極的に悪影響を及ぼす可能性があります。一方、EISRによって洗練されたルールはこのギャップを埋めます。
5. コスト効率: Auto-EISRは、人間による介入による洗練と比較して、1サイクルあたり 5〜10ドル という極めて低いコストで、人間と同等の洗練性能を実現しました（人間による場合は約70時間要する）。

結果

• 本番環境でのパフォーマンス: コンパイルされたEISR洗練済みパイプラインは、トレーニング・ベンチマークで 79.6% の精度、ホールドアウト・セットで 77.3% の精度を達成し、過去の純粋なLLMベースライン（72.7%）およびゼロショット・ベースライン（43.8%）を上回りました。
• モデル間の整合性: 5つの異なるLLMにおいて、ルール・バージョン（v1 vs v8）に起因する性能の分散は、モデルの選択に起因する分散を上回りました。
• クロスドメイン転移: 洗練ループ（フェーズ3）は、再設計なしで公開ベンチマーク（LegalBench hearsay, BPIC 2012）に対してテストされました。LegalBench hearsay タスクにおいて、EISRによる洗練は精度を約84%から 92.2% に引き上げ、第1ラウンドでの初期の「オーバーシュート」から回復させました。
• コスト・ベネフィット: Auto-EISRは、人間による介入による洗練と比較して、アクションの精度を維持しながら、ルールの洗練コストを約100分の1に削減しました。

意義と主張

本論文は、Trace2Policyを、企業のコンプライアンスにおける特定の運用ニーズに対処する Use-Inspired（用途に基づいた） 貢献として位置づけています。その意義は以下の通りです。

• 最適化対象のシフト: モデルのパラメータやプロンプトを最適化することから、外部化され、監査可能で、バージョン管理されたルール文書を最適化することへと移行しています。
• ディープ・ナレッジの抽出: 反復的なエラー分析が、ワンショットの手法では捉えられないシステム固有の慣習を浮き彫りにするために必要であることを示しています。
• フォーム・バンドル（形式の束）の観察: コンプライアンスが重視される偏ったベースレートの環境においては、洗練されたルール + 決定論的なコンパイル の組み合わせが、LLMプロンプティングやハイブリッドなLLMフォールバックよりも優れた結果をもたらすことを強調しています。著者らは、これは特定の領域における観察であり、あらゆる意思決定タスクに対する普遍的な主張ではないことを明記しています。
• スケーラブルな自己進化: 既存の人間によるワークフローの自然なフィードバックループを利用して、エージェントが継続的に進化するメカニズムを提供し、高コストで明示的な報酬ラベル付けを不要にします。

著者らは、単一ドメインを主とした研究であること、ホールドアウト・サンプルのサイズが小さいこと、および「監査人のアンカリング（人間によるレビューがエージェントの初期推奨に影響を受ける可能性）」の可能性など、限界についても謙虚に認めています。また、コンパイルによる利得の「フォームのみ」の成分を分離することや、より広範なマルチドメインでの検証を行うことを今後の課題として挙げています。