技術的概要：CIVeX – 言語エージェントのための因果的介入検証

1. 問題定義

ツールを使用する言語エージェント（例：スキーマバリデーター、ポリシーフィルター、状態予測器、自己検証プロンプト）の現在の安全メカニズムは、アクションが適切に形成され、許可され、論理的に一貫していることを保証します。しかし、これらの安全策は、交絡環境における重要な失敗モードに対処できていません：有効なツール呼び出しが、必ずしも有効な介入であるとは限らないという点です。

観測ログにおいて、あるアクションは、エージェントに未知の潜在的交絡因子により、高い有用性と相関している場合があります。このアクションが実行されると、歴史的な相関が真の因果効果を反映していないため、低い有用性を生んだり、害を及ぼしたりする可能性があります。既存の安全スタックは、提案された状態変更アクションが、関心のある結果に対して識別可能な因果効果を持つかどうかを検証していません。本論文は、識別可能性を検証しない限り、エージェントは「有害な罠」を実行するリスクにさらされると主張しています。これは、観測的な兆候が利益を示唆するが、真の因果効果は有害である事例です。

2. 手法：CIVeX

著者らは、ツール実行を因果推論問題として扱うランタイム検証器CIVeX（Causal Intervention Verification）を導入します。アクションを予測するのではなく、CIVeX は実行前に仮定スコープの因果証明書を要求することで、アクションをゲートします。

2.1 因果証明書

有効な実行には、以下の要素からなる証明書 $C = (G, A, \pi, \hat{\theta}, LCB_\alpha, prov, risk)$ が必要です。

• $G$: 行動変数と状態変数に関するコミットされた因果グラフ（双方向エッジによる潜在的交絡を含む）。
• $A$: 明示的な仮定のセット（例：SUTVA、グラフの正確性）。
• $\pi$: 機械検証可能な識別証明（例：バックドア調整、フロントドア分解、または道具変数）。
• $\hat{\theta}$: 因果効果 $E[Y \mid do(T=t^*)]$ の点推定値。
• $LCB_\alpha$: 水準 $1-\alpha$ における $\hat{\theta}$ の片側下限信頼区間。
• $prov$: 使用されたデータの由来メタデータ（ハッシュ）。
• $risk$: 潜在的な害の上限。

2.2 トリアージアルゴリズム

CIVeX は、提案されたアクションを構造的因果クエリにマッピングし、4 つの監査可能な判断のいずれかにルーティングします。

1. EXECUTE（実行）: クエリがコミットされたグラフ下で識別可能であり、片側 $LCB_\alpha$ が有用性閾値（$\tau_u$）を超え、かつコストがリスク制限（$\tau_r$）内にある場合にのみ発行されます。
2. REJECT（却下）: クエリが識別可能ですが、$LCB_\alpha$ が不十分であるか、コストがリスク制限を超えている場合に発行されます。
3. EXPERIMENT（実験）: 効果（例：遮断されていない交絡パスによる）が識別不可能ですが、アクションが可逆的で低コストの場合に発行されます。これにより、グラフを解決するための実験データ（例：RCT スタイルのデータセット）の要求がトリガーされます。
4. ABSTAIN（控除）: 効果が識別不可能であり、かつアクションが不可逆的または高コストである場合に発行されます。

2.3 理論的保証

本論文は、2 つの主要な命題を提供します。

• 命題 1: 非因果的検証器（観測的な兆候のみに依存する）は、交絡環境における「有害な罠の割合」と少なくとも等しい偽実行率を発生させます。
• 命題 2: 正しいグラフコミットメントと有効な推定量の下で、CIVeX が有害なアクションを実行する確率は、片側信頼水準 $\alpha$ によって制限されます。この限界は、漸近的にだけでなく、インスタンスごとに成り立ちます。

3. 主要な貢献

1. 因果証明書の形式化: 提案されたアクションを構造的因果クエリ、識別論証、および不確実性の限界に結びつける、厳密で監査可能なオブジェクトを定義します。
2. CIVeX 検証器: 識別可能性とリスク制約を強制し、有効なツール呼び出しと有効な介入を区別するトリアージアルゴリズム。
3. Causal-ToolBench: 6 つのツールワークフローファミリー（例：データベースインデックス作成、サービス再起動）にわたる 1,890 のインスタンスからなる新しいベンチマーク。以下の特徴を備えています。
   • 明示的にパラメータ化された構造的因果モデル（SCM）。
   • 2 つのレジーム：中程度の交絡と敵対的交絡（潜在的交絡因子が、観測的な兆候を真の因果効果に対して反転するように較正されている）。
   • 「EXPERIMENT」ブランチを評価するためのペアリングされた RCT スタイルのデータ。
4. 理論的特徴付け: 交絡設定における観測的検証は本質的に安全ではなく、CIVeX はグラフの正確性に条件付きで偽実行率を制限することを証明する証明。

4. 実験結果

評価は、CIVeX をオラクル、12 のベースライン（ポリシーゲート、ヒューリスティック分類器、LLM ベースの検証器を含む）、およびアブレーション研究と比較して行われました。

4.1 交絡レジームにおけるパフォーマンス

• 敵対的交絡: CIVeX は偽実行 0%、精度 84.9%を達成し、有用性は+2.23でした。一方、「AlwaysAbstain」ベースラインは +0.99 を示し、最高の LLM ベースライン（Chain-of-Thought Opus）は偽実行 0% かつ過度の控除により、CIVeX の有用性の 74% に相当する +1.65 まで低下しました。
• 中程度の交絡: CIVeX は偽実行 0% で +2.29 の有用性を達成しました。
• ロバスト性: 厳格な偽実行ゼロ制約の下で、CIVeX は「AlwaysAbstain」のフロアを超える唯一の非オラクル手法でした。

4.2 LLM ベースライン

本論文は、検証器として Chain-of-Thought（CoT）LLM（Claude Opus および Sonnet）をテストしました。

• CoT は簡潔なプロンプトと比較して偽実行を減少させましたが、CIVeX のインスタンスごとの保証を提供することはできませんでした。
• 敵対的交絡の下では、CoT-Opus の有用性は過度の控除により大幅に低下し、CoT-Sonnet は残余の偽実行率（1.0%）を保持し、厳格な安全制約を満たしませんでした。
• 結論: 強力なプロンプトは推論を改善しますが、厳格な安全制約に対してアルゴリズム的な識別チェックを代替するものではありません。

4.3 アブレーション研究

• EXPERIMENT ブランチ: 実験データの要求機能（EXPERIMENT を ABSTAIN にマッピング）を削除すると、敵対的設定における CIVeX の有用性は「AlwaysAbstain」のフロア（+0.99）まで崩壊しました。これは、識別可能性が当初ブロックされている場合に有用性を捕捉するために、このブランチが重要であることを示しています。
• グラフの誤指定: 観測された交絡因子が潜在的として再ラベル付けされ（遮断不可能なパスを導入）、CIVeX は識別を正しく失敗し、インスタンスを EXPERIMENT または ABSTAIN にルーティングしました。これにより、正しい実行を減少させる（予想通り）一方で、**偽実行 0%**を維持しました。

5. 意義と主張

本論文は、介入の識別可能性が、信頼性の高いツール使用の欠落したプリミティブであると主張しています。

• 安全保証: CIVeX は条件付きの安全保証を提供します。コミットされたグラフが正しく、インフラがそれをサポートする場合、偽実行の確率は $\alpha$ によって制限されます。
• 監査可能性: すべての決定には、証明書または欠落した仮定を説明する拒絶が伴い、事後監査を可能にします。
• 限定的な範囲: 著者らは明示的に、CIVeX 単独では安全を保証しないことを述べています。保証は、グラフコミットメントインフラ（バージョン管理、署名、ドリフト監視）に条件付きであり、これは本論文の範囲外ですが、本番環境への展開には必要です。
• 限界: 結果は合成 SCM（Causal-ToolBench）に基づいており、漸近的な後悔限界を主張するものではありません。偽実行率はベンチマーク上の経験的観察であり、理論的には信頼水準 $\alpha$ によって制限されています。

要約すると、CIVeX は「ツール呼び出しの検証」から「介入の検証」への転換を提案し、因果推論のメカニズムを使用して、観測的には成功と相関しているが因果的には有害であるアクションのエージェントによる実行を防ぎます。