技術要約: TraceCompiler

問題定義

ツールを使用する言語モデル（LLM）エージェントは、すでに実行済みの手順を再発見することが頻繁にあり、トークン使用量とレイテンシに多大なコストを強いている。単一の繰り返される意図（例：支払いのリクエストやチケットのリスト表示）は、再利用可能な構造（必要なツール、真のデータ依存関係、安定した設定）と、偶発的な実行履歴（リトライ、スキーマ探索、スタイルの順序付け、繰り返される事実の解決）が混在したトレースを誘発する。

要約されたトレースをテキストによるガイダンスとして提供する従来のアプローチでは、依然として実行時にLLMがその手順を再解釈する必要がある。従来のプロセス発見法は、観察されたイベントの順序は依存関係を意味しないため、不十分である。連続する呼び出しは、独立した操作、失敗した試行、あるいはデータフローの結果である可能性がある。さらに、展開されたログは部分的な観測可能性に苦しむことが多く、引数は記録するもののツールの出力は記録しないため、プロデューサーの出力をコンシューマーの入力と照合して依存関係を検証することが不可能である。

核心となる課題は、ノイズの多い、部分的に観測可能なエージェントのトレースを、実行可能で、ほぼ決定論的なワークフローへとコンパイルすることである。そこでは、意思決定のうち証拠によって支持されたものはモデルの実行時の責任から取り除かれ、真に開かれた選択肢のみがLLMに残される。

メソドロジー

TraceCompilerは、ノイズの多いトレースのクラスターをマイニングし、型付きのワークフローへとコンパイルするスキル誘導型システムである。パイプラインは以下のステージで構成される。

1. 意図の発見とクラスタリング

会話は、初期のリクエストと、インターリーブされた推論およびツール呼び出しを組み合わせたドキュメントとして埋め込まれる。閾値による集約（コサイン距離、平均連結法）により、トレースを意図のクラスターにグループ化する。システムは、異なる意図を汚染することを避けるため、保守的なアンダー・マージング（過小な統合）を優先する。冪等なプリパス（事前処理）により、無関係な意図が混在する会話を検出し、分割する。

2. 正規化と行動的デノイジング（ノイズ除去）

生のトレースは、標準的な app.action 語彙に正規化される。アクションは以下のようにラベル付けされる：

• Essential（不可欠）: タスクに必要。
• Recovery/Exploratory/Redundant（回復/探索/冗長）: 分析には保持されるが、除去可能な可能性がある。
• Dead Output（デッド出力）: 出力がダウンストリームで消費されないアクション（例：スキーマ探索）。
• Retry vs. Variation（リトライ対バリエーション）: システムは、ノイズ（成功に向かって引数を微調整している状態）と、真のファンアウト（系統的に異なる引数、例：曲ごとの検索）を区別する。ページネーションループはリテラルカウンタによって検出される。

3. 引数レベルの依存関係検証

これが核心的な革新である。エッジ $a \to b$ がハード依存関係として認められるのは、以下の条件を満たす場合のみである：

1. $b$ の引数内の値が、$a$ の出力に追跡可能である。
2. 除外: その値のあらゆる代替起源（ユーザーの発言、静的コンテキスト、ツールのデフォルト、および他のすべての先行呼び出しの出力）が除外されている。

妥当な代替起源が存在する場合（例：型が互換性のある2つのプロデューサー）、そのエッジは**疑わしい（suspected）**へと格下げされ、順序制約を課さなくなる。これにより、単なる隣接性に基づいて誤った依存関係を推論することを防ぐ。

4. プロベナンス（由来）分類と静的コンテキスト

バインディングは以下に分類される：

• Constant（定数）: トレース間で安定している（ビルド時に解決される）。
• User Input（ユーザー入力）: 実行時に解決される。
• Copy Edge（コピーエッジ）: 特定のプロデューサーに由来することが証明された値。
• Transform（変換）: 決定論的な変換。
• LLM/Dynamic（LLM/動的）: 実行時のモデルによる解決を必要とする真のセマンティックなバインディング。

コンパイラは、スコープ限定の静的コンテキスト注入を実行するように規定されており、安定した値をビルド時に解決し、それらの値のための探索ツールを実行時に禁止する。しかし、この機能は報告された結果では実行されておらず、どちらのケーススタディも注入された値を報告していないため、この設計要素は証拠を待っている状態である。もし不可逆的な副作用が未決定である場合（例：変異の方向が曖昧な場合）、コンパイラは**棄権（abstain）**し、実行可能なグラフを出力せず、リクエストをエスカレーションさせる。

5. コンパイルと実行時

分析は、型付きノード（TOOL, TRANSFORM, DECISION, LLM, HUMAN）を持つ実行可能な定義（DAG）へとコンパイルされる。実行時ルーターは、保守的な類似性閾値に一致する場合にのみ、コンパイルされたワークフローにリクエストをディスパッチする。一致しないリクエストは、一般的なエージェントへとフォールバックする。

コンパイラのエンジン（v1）は、訓練されたモデルではなく、エージェントにロードされる指示パッケージであるバージョン化されたLLMスキルとして実装されている。これにより、再学習なしでの敵対的監査と迅速な改訂が可能になる。

主な貢献

1. 定式化: 再現されるエージェント・トレースの再利用を、ワークフロー構造、パラメータのプロベナンス、および部分的な観測可能性の下での残留するLLMの決定に関するコンパイル問題として枠付けた。
2. パイプライン: 意図の発見、行動的デノイジング、依存関係検証、プロベナンス分類、および実行可能ワークフロー生成のための完全な教師なしパイプライン。
3. 依存関係ルール: 代替起源の除外を通じてのみエッジを認める、形式化された保守的な引数レベルの依存関係ルール。これは明示的なエビデンス・タプルと、曖昧なケースのための「疑わしい（suspected）」関係を導入している。
4. 評価: 機械学習的な仕組みを共有しない2つのグラウンドトゥルース（T1およびAppWorld）に対して、順序ベースおよび再帰ベースのベースラインと比較して評価を行った。
5. ケーススタディ: 成功したコンパイル（Venmoの送金リクエスト）と、不可逆的な副作用が未決定であるためにコンパイルを拒否した事例（Spotify/Todoist）の提示。

結果

依存関係の正確性

• T1コーパス（トレーニング分割）: 機械化されたルールは、15,775個のdef–useエッジに対して**0.928の適合率（precision）と0.943の再現率（recall）**を達成した。これは、隣接性ベースのベースライン（F1スコア 0.711）および頻度閾値を用いた直接後続測定（F1スコア 0.712）を大幅に上回っている。
  • 注意点: アブレーション研究により、この特定のコーパスにおいては、除外テストがほぼ無意味であることが明らかになった。なぜなら、すべての関係に少なくとも1つの候補プロデューサーが存在するためである。したがって、報告された精度は、フル除外テストではなく、生存している候補の中での最新性（最も直近の生存者を選択すること）に大きく依存している。除外規律は、機械化されたルールではなく、LLMスキルによって実行されている。
• ブラインド・スキル実行: T1の250エッジのサブセットにおいて、LLMスキルは単一の実行で0.992の適合率/再現率を達成した。
• AppWorld: 再再生ベースのリファレンス（マスクされた値を復元するもの）に対し、ルールは563個のトークンエッジに対して0.993の適合率を達成した。これは、テストされているルールと同じ仮定（同一アプリケーションのトークンを優先する）を共有するリファレンス構築に基づいた、自己整合性チェックである。さらに、この評価はセッション・トークンの属性付けのみを制限しており、非トークン識別子のフローのリカバリを検証するものではない。

ワークフローのコンパイルと実行

• Venmoの意図: 34個の観察されたAPI呼び出し（リトライやスキーマ探索を含む）を、11個の実行時呼び出しへとコンパイルした。このワークフローは、保留されたインスタンスに対する21個のステートテストのうち15個を通過した。6個の失敗は、保持されたインスタンスに必要な特定の分岐がトレーニングセット内で観察されなかったために発生しており、システムが実行ではなくエスカレーションを行ったことによる。
• Spotify/Todoistの意図: コンパイラは、変異の方向（追加か削除か）がトレースによって未決定であったため、この意図のコンパイルを正しく拒否した。これは不可逆的な副作用を表している。
• 呼び出しの削減: 56個のAppWorldシナリオ全体で、取り外し可能な呼び出しの割合（スキーマ探索およびバイト単位で同一の繰り返し）の中央値は**51.4%**であった。

意図の発見

T1において、クラスタリングはカバーされたダイアログに対して**0.930の純度（purity）**を達成したが、リファレンスラベルに対する調整済みランド指数（ARI）は0.235と低かった。これは、システムが誤分類しているのではなく、リファレンスラベルよりも細かいパーティション（ドメインをテンプレートレベルのタスクに細分化する）を発見していることを示している。

意義と主張

本論文は、観察された隣接性は依存関係を意味しないと主張している。代替起源の除外を要求するエビデンス規律を強制することで、TraceCompilerは、実行時のツール呼び出しとLLMの呼び出しを削減する決定論的なワークフローをコンパイルできる。

• 安全性: システムは完全性よりも安全性を優先する。不可逆的なアクションが未決定である場合にはコンパイルを控えることで、安全でない、推測的な手順の実行を防いでいる。
• 効率性: 本論文は呼び出しの削減（例：34 $\to$ 11）を測定しているが、オフラインのコンパイルコストは測定されていないため、純粋な正味の効率性については明言していない。経済的な前提は、有能なモデルが分析コストを繰り返される実行の中で償却できるということである。
• 限界: 著者らは、現在の評価が合成データまたはシミュレータ生成データに依存していることを認めている。「除外」規律はLLMスキルによって実行されているが、コーパスの制限により機械化されたルールでは完全には実行されていない。また、現在のシステムには、APIのドリフトに対するワークフローのバージョニングや無効化メカニズムが欠けている。

本研究は、観察されたトレースが、依存関係に関する主張を、必要性に関する主張と同様に厳密に制限できること、そしてコンパイルされたワークフローをテストするために使用される器具（実行ハーネス）自体も、検証を必要とする推論手続きであることを確立している。