When Is Delegated Play Truthful? Within-Range Regret and the Trilemma of Aligned Delegation

技術要約：「委任されたプレイはいつ真実か？：範囲内後悔とアラインメントされた委任のトリレンマ」

1. 問題提起

本論文は、現代の委任システムにおける**表明原理（Revelation Principle）の適用に関する根本的なギャップを扱う。古典的なメカニズムデザインでは、プリンシパル（広告主やユーザーなど）が自身のプライベートなタイプをメカニズムに対して正直に報告できることを前提としている。しかし、現実世界のシステムは、プリンシパルが自身のタイプを自動化されたプロキシ（オートビッダーや言語モデルエージェントなど）に報告し、そのプロキシがこの報告をメカニズム内のアクションへとマッピングするという委任スタック（delegation stacks）**に依存することが増えている。

核心となる問いは、**「プリンシパルにとって、自身のプロキシに対して自分自身を正直に記述することが最適となるのはいつか？」**である。古典的な理論では正直な報告が最適であると仮定されているが、この構成には、設計者がほとんど保有していない均衡や事前分布の知識が必要となる。委任された設定においては、プロキシの目的がプリンシパルの目的と完全に一致しない可能性がある。本論文は、プロキシの出力を操作するために、プリンシパルが自身のタイプをプロキシに対して誤って報告するインセンティブについて調査している。これは、言語モデルによるエリシテーションやオートビッディングに関する先行研究ではモデル化されていなかった現象である。

2. 手法とフレームワーク

著者らは、以下の条件における委任スタックをベイジアンゲームとして定式化している：

• プリンシパルはプライベートなタイプ $\theta_i$ を持ち、レポート $t_i$ を選択する。
• プロキシ ($\pi_i$) は、レポートからメカニズムのメッセージ ($M_i$) への決定論的な写像である。
• **ラップド・メカニズム（Wrapped Mechanism）**は $g \circ \pi$ であり、ここで $g$ は元のメカニズムである。

分析では、以下の2つの主要な概念を導入している：

1. 範囲内後悔（Within-Range Regret: $W_i$）: プリンシパルが、プロキシを「到達可能な最善のアクション」へと誘導することで達成できたはずの効用と、プロキシの正直なアクションによって達成された効用の差。
   $$W_i(\theta_i; \pi) = \max_{m \in \text{Reach}_i} U_i(m, \pi_{-i} | \theta_i) - U_i(\pi_i(\theta_i), \pi_{-i} | \theta_i)$$
   ここで $\text{Reach}_i = \pi_i(\Theta_i)$ は、プロキシが生成できるアクションの集合である。
2. 操作ゲイン（Manipulation Gain: $G_i$）: プリシパルがプロキシに対して自身のタイプを誤って報告することによって得られる最大効用。

本論文では、プロキシの振る舞いを固定された写像として扱い、プロキシがプリンシパルの効用を最適化していると仮定するのではなく、そのマップに対するプリンシパルのインセンティブを分析している。

3. 主要な貢献と理論的結果

A. プロキシへの真実性の同一性（定理1）
本論文は、基本的な同一性を確立している：「誤報告によるプリンシパルのゲイン ($G_i$) は、プロキシの範囲内後悔 ($W_i$) と正確に等しい」。

• 示唆: 正直な自己記述が最適となるのは、プロキシがその到達範囲において**忠実（loyal）**である場合（すなわち、プロキシがプリンシパルにとって到達可能な最善のアクションを既にプレイしている場合）に限られる。
• 統一: この同一性は、オートビッディングにおける異質な結果（例：第一価格オークションと第二価格オークションにおけるインセンティブ両立性の逆転）を、$W_i$ の単純な符号の変化として統一的に説明する。第二価格オークションでは、正直な入札は範囲内で最適（$W_i=0$）であるが、第一価格オークションではそうではない（$W_i > 0$）。

B. アラインメントされた委任のトリレンマ（定理2）
本論文は、ガードレール（入札上限などのプロキシに適用される制約）に関する構造的な不可能定理を証明している。いかなるガードレールも、以下の3つの特性を同時に満たすことはできない：

1. 拘束的（Binding）: プロキシの最善の到達可能結果から、真実のアクションを排除する。
2. 真実的（Truthful）: 正直な報告がプリンシパルにとって最適であり続ける。
3. 能力保持的（Capability-Preserving）: プリンシパルの最善の到達可能結果が、何らかのレポートを通じて依然として到達可能である。

• 帰結: いずれか2つの特性を満たす場合、残りの1つは成立しない。
  • ガードレールが拘束的かつ能力保持的である場合（例：別のレポートを通じて最適な入札を可能にするソフトキャップ）、それは真実性を破壊し、「プロンプト・エンジニアリング」や「レポートの膨張」のインセンティブを生む。
  • ガードレールが拘束的かつ真実的である場合（例：最適な入札を排除するハードキャップ）、それは能力を喪失させる。
  • ガードレールが真実的かつ能力保持的である場合、それは非拘束的（何もしない）でなければならない。

C. 認証とドリフト（セクション6 & 7）
$W_i$ を正確に計算することは #P困難 であるため、本論文は統計的な認証フレームワークを提案している：

• 推定: $W_i$ はプロキシの振る舞いのサンプルから推定可能である。
• ドリフトへの対処: 本論文は、オンライン再認証の手法を提供している。プロキシモデルが更新（ドリフト）されるにつれ、保証の劣化は更新の頻度ではなく、ドリフトの大きさ（$\Delta$）に基づいて決定される。これにより、プラットフォームは総ドリフト予算に応じたコストで、インセンティブ両立性の証明書を維持することができる。

4. 実証結果

著者らは、第一価格オークションにおけるオートビッディング・プロキシとして機能する、5つのプロバイダー（OpenAI, Anthropic, Google, DeepSeek, xAI）による25のプロダクション言語モデルを用いて、これらの理論的予測をテストした。

• 設定: モデルには、「アラインメント・スタイル」のソフトキャップ（入札額を圧縮するが、レポートの膨張によって最適な入札への到達を可能にする制約）の下でクライアントの余剰を最大化するように指示された。
• 知見:
  • 普遍的なインセンティブ: すべてのモデルにおいて、拘束的かつ能力保持的なガードレールは $W_i > 0$ をもたらした。
  • レポートの膨張: プリンシパル（実験設定によりシミュレートされたもの）は、キャップを回避して最適な入札に到達するために、報告する値を膨張させる（例：真の値の1.76倍を報告する）ことで効用を得ることができた。
  • 配置の重要性: 制約が出力クリッピング（モデルの入札を事後処理する）によって適用された場合、$W_i$ は高かった（約5.79）。一方で、制約を考慮したデコーディング（モデルがメニューの中から許可された最善の入札を選択する）によって適用された場合、$ほとんどのモデルで$W_i$ はほぼゼロに低下した。これは、配置がトリレンマのどの角を占めるかを決定するという理論的予測を裏付けている。
  • ハードキャップ: 最適な入札を完全に排除するハードキャップの場合、$W_i = 0$（真実的）となったが、大幅な能力喪失を招いた。これはトリレンマの第3の角を確認するものである。

5. 意義と主張

本論文は、委任されたシステムにおけるインセンティブ両立性のパラダイムを転換することを主張している：

• 仮定から測定へ: 正直な報告はメカニズムの自動的な特性ではなく、プロキシのプリンシパルに対するアラインメントの測定可能な特性である。
• 安全性のコスト: モデルの振る舞いを変えつつ、最適な結果への到達を可能にする安全性制約（ガードレール）は、本質的に誤報告（プロンプト・エンジニアリング）のインセンティブを生み出す。これはモデルの失敗ではなく、トリレンマの構造的な帰結である。
• 実用的な認証: 正確な均衡計算が困難な、学習ベースの動的なシステムにおいて、インセンティブ両立性を測定し維持するためのフレームワークを提供する。

著者らは、プロキシが忠実であると仮定するのではなく、むしろ範囲内後悔を通じて、プロキシの不一致（misalignment）の程度を測定している。本研究は、オークション理論と言語モデルのアラインメントを単一の幾何学的フレームワークの下に統合し、「脱獄（jailbreaking）」や「プロンプト・エンジニアリング」という現象が、拘束的かつ能力保持的な制約から生じる予測可能な経済的インセンティブであることを示している。