技術的概要：深層ニューラルネットワークにおける潜在的エージェンシーサブ構造の確率論的モデリング

1. 問題定義

大規模言語モデル（LLM）やその他の深層ニューラルネットワークは、しばしば、潜在的に矛盾する目標（例えば、善意的な対話者と敵対的な対話者など）を持つ内部サブエージェンシーの連合に似た、複雑で創発的な行動を示すことが観察される。経験的観察はこれらの「潜在的事前分布」の存在を示唆しているが、これらのサブ構造がどのように統合され、相互作用し、安定性を維持するかを形式化する厳密な数学的枠組みは欠如している。具体的には、以下の点について原理的な推論方法が欠けている：

• 単一モデルが相互に有益なサブエージェンシーに分解されうる条件。
• 再帰的分解や摂動下におけるそのような構成の安定性。
• 望ましい対話者を強化することが、意図せず敵対的な対抗者を強化してしまう「ワルイージ効果」のような現象の背後にある理論的メカニズム。

本論文は、内部モデルダイナミクスに関する記述的観察と、エージェンシーの構成性に対する証明可能な制約との間のギャップを埋めることを目指す。

2. 手法とモデリング設定

著者は、能動推論、数学的経済学、および意見集約理論に基づき、確率論的モデリングと認識的効用に根ざした枠組みを提案する。

核心的定義

• 分布としてのエージェンシー: エージェンシーは、結果空間 $\mathcal{O}$（例えば、トークン語彙）上の確率分布 $P$ としてモデル化される。
• 認識的効用: 結果 $o$ に対するエージェンシー $i$ の効用は、対数スコアとして定義される：$U_i(o) = \log P_i(o)$。これは、現代のニューラルネットワークの訓練目的（クロスエントロピーによる対数尤度の最大化）と整合する。
• 対数プールによる構成: 信念 $\{P_i\}$ と重み $\{\beta_i\}$ を持つ $n$ 個のサブエージェンシーを集約するために、本枠組みは対数意見プールを使用する：
  $$P(o) = \frac{1}{Z} \prod_{i=1}^n P_i(o)^{\beta_i}$$
  この規則は、重み付き前方カルバック・ライブラー（KL）発散の和を最小化するものとして導出され、対数空間で効用を平均化した後にソフトマックスを適用することに対応する。

構成的便益

エージェンシー $i$ が、プールされた分布 $P$ 下での期待福祉（対数スコア）が、自身の分布 $P_i$ 下でのそれ以上である場合、そのエージェンシーは構成的エージェンシーと定義される：
$$\mathbb{E}_P[\log P_i] \geq \mathbb{E}_{P_i}[\log P_i]$$
グループがすべての成員に便益をもたらす場合、それは全会一致の構成性を持つ。もしすべての成員に対して不等号が厳密であれば、それは厳密な全会一致の構成である。

3. 主要な貢献と結果

A. 全会一致構成の存在と不可能性

本論文は、相互に有益な構成が存在しうる場合の明確な境界を確立する：

• 二値結果空間: 認識的効用（対数スコア）の下では、二値結果空間（$|\mathcal{O}|=2$）において厳密な全会一致は不可能である。あるエージェンシーの対数尤度を増加させることは、ゼロサム的な方法でもう一つのエージェンシーのそれを減少させることを必然とする。
• 線形プール: 線形プール（算術平均）の下では、任意の結果空間サイズにおいて厳密な全会一致は不可能である。線形プールは相互福祉の改善を保証できない「ランダム独裁」メカニズムに等しいためである。
• 多値結果空間（$|\mathcal{O}| \geq 3$）: 著者は、厳密に全会一致する構成的グループの存在を証明する。彼らは、異なる信念を持つエージェンシーが、すべての参加者の期待対数尤度を厳密に改善する対数プールを形成できる、明示的な解析的構成を提供する。

B. 再帰的性質と安定性

本枠組みは、分解と摂動下での構成構造の振る舞いを分析する：

• 対数プールの因数分解: 任意の正の分布は、対数プールを通じて任意数の対称的なサブエージェンシーに因数分解できる。
• クローン不変性: エージェントを同一のクローンに置き換えても、プールされた分布と非厳密な全会一致は維持される。
• 福祉の非保存: 厳密に有益な親エージェンシーであっても、その分解されたサブエージェンシーが同様に有益であることを保証するものではない。本論文は、親エージェンシーが構成から便益を得るが、特定のサブエージェンシー（親の「傾き」または摂動によって作成されたもの）が福祉の損失を被る例を構築する。
• 局所摂動の限界: 固定されたプール分布の周りの小さな摂動（傾き）では、厳密な全会一致を達成できない。わずかなノイズを伴う単純な複製は、構成性への道筋として排除される。
• 開放性: 厳密に全会一致して分解可能な分布の集合は、単体位相において開集合である。これは、ある分布が厳密に有益な分解を許容する場合、その近傍の分布も同様の分解を許容することを意味し、モデルのプロファイルにおける小さな変化に対する頑健性を提供する。
• 根本的な非互換性: 正の重みのいかなる選択も厳密な全会一致の改善をもたらさない非一様エージェンシーの集合が存在し、これは特定のサブ構造間の根本的な非互換性を示している。

C. ワルイージ効果とアライメント

本論文は、導出された構成枠組みを用いて、「ワルイージ効果」（善意的な対話者「ルイージ」を誘発することが、敵対的な対抗者「ワルイージ」を誘発しやすくする現象）を形式化する。

• 発現メカニズム: 著者は、エージェンシーのプロファイルを対数確率空間内のベクトルとしてモデル化する。彼らは、望ましい目標に整合する「ルイージ」成分の重みを増加させつつ、総分布を小さな KL 予算内に保持する（構成的安定性を維持する）ことは、少なくとも一つの非整合な成分（「ワルイージ」）の重みの増加を必然とすることを証明する。
• ワルイージ破砕定理: 本論文は、敵対的対話者抑制（APS）と呼ばれるアライメント戦略を提案し、証明する。それは、「敵対的対話者を発現させてから抑制する」ことが、善意的な対話者のみの「純粋な強化」よりも、非整合な結果の確率に対して厳密に大きな一次減少をもたらすことを示す。
  • 推論: 純粋な強化は、既存の制御方向の張空間によって制約される。ワルイージ方向を発現させることは、利用可能な制御空間（対数プロファイルの張空間）を拡大し、非整合な結果（非整合事象の中心化インジケータで測定される）に対するより効果的な射影を可能にする。

4. 意義と主張

本論文は、ニューラル確率モデルにおけるサブエージェンシー構造と構成行動のための最初の厳密な理論的基盤を提供すると主張する。その意義は以下の点にある：

1. 内部ダイナミクスの形式化: 「内部連合」に関する記述的主張を超え、サブエージェンシーがいつ、どのように一貫した相互に有益な実体へと統合されうるかについての証明可能な制約へと移行すること。
2. アライメント課題の明確化: ワルイージ効果に対する数学的説明を提供し、敵対的対話者は単なるバグではなく、制約された構成枠組み内で特定の事前分布を増幅しようとした際の構造的帰結であることを示唆すること。
3. 原理的なアライメント戦略: 「発現してから抑制する」戦略が、固定された KL 予算下でより大きな抑制効率を達成するために制御空間の拡大を利用するため、直接的な抑制よりも理論的に優れていると提案すること。
4. 一般的な適用性: この枠組みは、線形ログit 層とソフトマックスで終わる任意の分類器のようなニューラルネットワークに適用可能であり、現代の深層学習モデルの大部分を網羅する。

著者は、彼らの結果が理論的な基準線であることを強調している。彼らは既存のモデル内の特定の回路を特定すると主張するのではなく、数学的構造を提供する：もしそのような確率的コンポーネントが存在するならば、それらの集約と制御は、証明された構造的制約に従わなければならない。