以下は、提示された論文「Compiled AI: Deterministic Code Generation for LLM-Based Workflow Automation」の技術的サマリーです。

論文サマリー：Compiled AI（コンパイルド AI）

1. 概要と背景（問題定義）

大規模言語モデル（LLM）は、企業ワークフローの自動化において、質問応答システムから自律型エージェントアーキテクチャへと進化しています。しかし、従来のランタイムエージェントシステム（AutoGen や LangChain など）には、以下の重大な課題が存在します。

• 非決定性（Non-determinism）: 温度パラメータを 0 に設定しても、モデルの出力にばらつきが生じ、再現性が保証されません。
• コストとレイテンシ: 各トランザクション（実行）ごとに LLM を呼び出す必要があるため、トークン消費量が膨大になり、レイテンシも高くなります。
• 信頼性の欠如: 医療や規制産業など、高い信頼性と監査可能性が求められる分野では、ランタイムでのモデル呼び出しによるエラーや予測不能な挙動は許容されません。
• セキュリティリスク: 各リクエストごとに LLM が実行されるため、プロンプトインジェクションなどの攻撃対象領域（Attack Surface）が拡大します。

既存の手法（DSPy や LLM+P など）はコンパイルの概念を取り入れていますが、本研究はこれを**「高リスクな企業ワークフロー（特に医療分野）における生産システム」**として初めて体系的に評価し、運用指標（トランザクションコスト、決定性、監査可能性）に焦点を当てています。

2. 提案手法：Compiled AI（コンパイルド AI）

本研究は、LLM を「インタプリタ（実行時）」ではなく「コンパイラ（生成時）」として扱うパラダイムを提案します。

核心的な定義

Compiled AI は以下の 3 つの特性を満たすワークフローシステムです。

1. ワンタイム LLM 呼び出し: モデルは生成時に一度だけ実行され、トランザクション実行時には呼び出されません。
2. ゼロトークンの決定性実行: 展開されたワークフローは静的コードとして動作し、追加のモデル呼び出しを必要としません。
3. 必須の多段階検証: 各アーティファクト（生成されたコード）は、セキュリティ、構文、実行、精度の 4 段階パイプラインを通過した後でなければデプロイされません。

システムアーキテクチャ

• 制約付き生成: LLM は、事前検証済みのテンプレートに埋め込まれた狭義のビジネスロジック関数（20〜50 行程度）のみを生成するように制限されます。これにより、ハルシネーションのリスクを低減します。
• コードファウンドリ（Code Foundry）:
  • 入力: YAML 形式のワークフロー仕様。
  • コンポーネント: オーケストレーター、テンプレートライブラリ、モジュールライブラリ、プロンプトブロック（規制要件など）。
  • 生成プロセス: LLM がビジネスロジックを生成し、それをテンプレートと結合してコードを構築します。
• 4 段階検証パイプライン:
  1. セキュリティ: 静的解析（SQL インジェクション、秘密情報漏洩などのチェック）。
  2. 構文: AST パーシング、型チェック、リンティング。
  3. 実行: サンドボックス環境でのテスト実行とエラーハンドリングの検証。
  4. 精度: ゴールデンデータセットとの比較による出力精度の確認。
  • 失敗した場合は、エラー文脈をフィードバックして再生成します。
• セキュリティアーキテクチャ: 入力ゲート（プロンプトインジェクション検出）、コードゲート（静的脆弱性解析）、出力ゲート（漏洩検知）の 3 重ゲート構造を採用し、OWASP LLM Top 10 への対策を強化しています。

応用パターン

• 完全コンパイル: 構造化された入力（関数呼び出しなど）に対しては、完全な静的コードを生成します。
• Code Factory（限定されたエージェント呼び出し）: 意味的に複雑な入力（曖昧な医療ノートなど）に対しては、コンパイルされたコード内で特定のサブタスクに限定された LLM 呼び出しを埋め込むハイブリッドアプローチを採用します。

3. 評価と結果

2 つの異なるタスクタイプ（構造化された関数呼び出しと、ノイズの多いドキュメント理解）で評価を行いました。

タスク 1: 関数呼び出し（BFCL, n=400）

• トークン効率: Compiled AI は生成時に 9,600 トークンのコストを一度だけ支払うだけで、実行時は 0 トークンです。
  • 損益分岐点: Direct LLM と比較して約 17 回の実行でコストが逆転します。
  • 1,000 回実行時: Direct LLM に対して57 倍、AutoGen に対して84 倍のトークン削減を実現しました。
  • 総所有コスト（TCO）: 月間 100 万トランザクションの場合、Direct LLM は$22,000 に対し、Compiled AI は**$555**（約 40 倍の削減）です。
• レイテンシと決定性:
  • 実行レイテンシは 4.5ms（Direct LLM は 2,004ms）で、450 倍の高速化。
  • 出力の再現性は100%（Direct LLM は温度 0 でも 95% 程度）を達成し、出力エントロピーはゼロです。
• 信頼性: 96% のタスク完了率。失敗した 4% はすべてコンパイル時に検知され、デプロイ後の実行エラーは 0 でした。

タスク 2: ドキュメントインテリジェンス（DocILE, n=5,680 請求書）

• 精度:
  • 純粋な正規表現（Deterministic）は高速ですが、意味的理解が必要な項目（顧客名、金額など）の抽出精度は 20.3% にとどまりました。
  • Code Factory（コンパイルされた LLM 呼び出し）は、Direct LLM と同等の80.0%（KILE）の精度を維持しつつ、レイテンシを 2.3 倍改善しました。
  • 行項目認識（LIR）精度は 80.4% で、すべてのベースラインの中で最高でした。
• セキュリティ: 135 件のテストケースにおいて、プロンプトインジェクション検出精度 96.7%、静的コード安全性解析 87.5%（偽陽性ゼロ）を達成しました。

4. 主要な貢献

1. 制約付き LLM ベースのコード生成システムアーキテクチャ: 検証済みのテンプレート内で狭義のビジネスロジックを生成するシステム設計。
2. 4 段階の生成・検証パイプライン: 確率的なモデル出力を生産環境用の静的コードに変換するプロセス。
3. 運用指標に基づく評価フレームワーク: 生成精度だけでなく、トークンの償却、決定性、信頼性、セキュリティ、コストを測定する新たな基準の提示。

5. 意義と結論

本研究は、LLM ベースの自動化において「柔軟性」を「決定性、コスト効率、監査可能性、セキュリティの低減」に置き換えるトレードオフを明確に示しました。

• 医療・規制産業への適合: 医療の事前承認（Prior Authorization）、請求書処理、臨床文書処理など、高ボリュームで規制要件（HIPAA など）が厳格なワークフローにおいて、Compiled AI は理想的なアプローチです。
• 経済的優位性: トークン単価が低下しても、企業規模でのトランザクション量が増加する中、1 回の生成で無限に実行可能なアーキテクチャは、大規模展開において決定的なコストメリットをもたらします。
• 進化型システム: 一度生成して終わりではなく、運用データに基づいてアーティファクトをターゲット再生成（Targeted Regeneration）することで、継続的に品質を向上させる進化型システムとしての可能性を示唆しています。

結論として、Compiled AI は、明確に定義された高ボリュームワークフローにおけるデフォルトのデプロイパターンとなり得る技術であり、特に信頼性と監査が不可欠な分野において、ランタイム推論に代わる実用的な解決策を提供します。