Internal-state criticality in Bayesian-inverse-Bayesian inference

技術要約：ベイズ・逆ベイズ推論における内部状態の臨界性

問題提起
近年の経験的および理論的な研究は、臨界性と推論ダイナミクスの間の収束を示唆しており、神経記録や生物学的採餌行動は、臨界点付近で重い裾を持つ（べき乗則に従う）統計量を示すことが多い。しかし、既存の文献は、臨界性のシグネチャーを特定したり、推論モデルが臨界面上に位置する「傾向」があることを論じたりしているものの、そのダイナミクス自体が本質的に臨界的であるような具体的な推論規則を提示してはいない。さらに、標準的なゲームプレイAI（例：カウンターファクチュアル・リグレット最小化のようなナッシュ目標最適化器）は、正確性と最適戦略への収束を追求するが、対称なゼロサムゲームにおいては一様なランダムプレイへと崩壊しやすく、人間の意思決定に見られる非自明で重い裾を持つダイナミクスを捉えることができない。本論文は、外部からのチューニングや吸収状態への自己組織化によって課されるのではなく、推論プロセス自体から臨界性が創発する、最小限の生成モデルの必要性に取り組むものである。

手法
著者らは、反復的な$N$手循環優位型じゃんけん（RPS）ゲームの文脈において、**ベイズ・逆ベイズ（BIB）**推論を提案し、シミュレーションを行う。

• モデル: BIBエージェントは、対戦相手に関する仮説の集合（$N_h$）を保持する。エージェントは、観測された結果に基づいて標準的なベイズ更新（収縮）を行う。極めて重要な点として、エージェントはこれに**逆ベイズステップ（緩和）**を付加する。すなわち、$m$回の観測ウィンドウの後、事後確率が最も低い仮説を、直近の観測による経験的ヒストグラムで置き換える。この「仮説の刷新」は、事後確率の崩壊を防ぎ、新しいデータフローを反映した新しい仮説を注入する。
• 実験設計: 本研究では、6つの軸（ゲームサイズ $N \in \{3, 5, 7\}$、仮説数 $N_h \in \{3, 6, 10, 15, 20\}$、ウィンドウサイズ $m \in \{10, 20, 50, 100\}$、初期化（ランダム vs 構造化）、予測モード（サンプリング vs argmax）、および尤度の鋭さ）をスイープする大規模シミュレーション（$\sim 10^8$ 回の決定イベント）を用いる。
• コントロール: 著者らはBIBを以下のモデルと比較する：
  • ベイズのみ（BO）: 逆ステップなしで標準的なベイズ更新を行うエージェント。
  • 標準的な学習器: Win-Stay/Lose-Shift (WSLS)、Q学習、およびレグレットマッチング。
  • ランダムエージェント: 一様なランダムプレイ（ナッシュ均衡のベースライン）。
• 観測量: 主要な指標は、argmax持続時間（$T_{argmax}$）であり、これは最も確率の高い仮説が変化せずに維持される期間と定義される。二次的な指標には、ラミナーフェーズ（最大事後確率が閾値を超える期間）の長さ、および有限サイズスケーリング解析が含まれる。

主な結果

1. 普遍的な臨界状態: すべての設計バリエーション（初期化、予測モード）および対戦相手のクラスにわたって、BIBダイナミクスは堅牢な内部臨界状態に落ち着く。argmax持続時間の分布は、重い裾を持つべき乗則に従い、指数 $\alpha \approx 1.43$ （標準的なウィンドウ $m=50, N=3$ の場合）を示す。
2. ベイズのみの推論における欠如: 逆ステップを持たないBOエージェントは、べき乗則的な持続性を示さない。彼らの分布は、伸びた指数関数や対数正規分布により良く適合され、仮説数に関わらず普遍的な指数を持たない。
3. 普遍クラスとドリフト: 測定された指数 $\alpha \approx 1.43$ は固定された定数ではなく、有限サンプル残差 $(N-1)/(2m)$ が消失するにつれて、普遍的な値 $3/2$（オン・オフ間欠性およびスパレ・アンデルセンの初帰還則に特徴的な値）へと系統的にドリフトする。これは、ダイナミクスが逆ステップによって固定されたゼロドリフト対数事後確率ウォークによって駆動されていることを裏付けている。
4. 有限サイズスケーリング: システムは仮説数 $N_h$ に関する有限サイズスケーリングを示す。コア領域（$N_h \in \{6, 10\}$）において、指数は不変である。カットオフ時間は $T_{max} \propto N_h^{-z}$ （$z \approx 1.49$）に従い、事後分布の広がりは $\sigma \propto N_h^{-\beta}$ （$\beta \approx 1.07$）に従う。これは情報理論的な下限に近い値であり、逆ステップが更新ダイナミクスの中にスケーリングを吸収していることを示している。
5. 堅牢性: この普遍性は、ゲームの次元（$N=3, 5, 7$）、ゲーム構造（マッチング・ペニーズ、$N=2$ でテスト）、および観測ルール（逆ベイズ的刷新が有効である限り）に関わらず保持される。
6. 内部 vs 外部: 対称的なBIB対BIBのプレイ（一様なナッシュ・エージェントを相手とする場合）において、重い裾を持つ臨界性は内部の仮説空間に限定される。行動のストリーク（手の繰り返し、勝ち筋など）は、対称的な相手が行動のマージナルを一様なナッシュに固定するため、指数関数的となる。しかし、固定された偏りのある（搾取可能な）相手に対しては、行動のストリークはべき乗則へとクロスオーバーし、内部の臨界性が柔軟性のリザーバーとして機能していることを示している。

意義と主張
本論文は、標準的なベイズ推論に逆ベイズ的緩和ステップを加えることで生成される、普遍的な臨界構造を特定したと主張している。

• メカニズム: 著者らは、これを、伝統的な自己組織化臨界現象（SOC）のような吸収状態への自己組織化ではなく、仮説空間の境界を継続的に再構築することによって達成される内部状態の臨界性のメカニクスであると論じている。逆ステップは、ステップごとの対数事後確率のドリフトを構造的にゼロに固定し、外部パラメータのチューニングなしに臨界状態を作り出す。
• SOCとの区別: SOCと共通の特徴（スケールフリーな統計量、チューニング不要）を持ちつつも、著者らは、BIBが吸収臨界点へ自己組織化するのではなく、境界の再構築を通じて臨界性を維持するという点で、BIBを区別している。彼らは、仮説分布の単体上でのオン・オフ間欠性として、このダイナミクスを操作的に定義している。
• 行動学的関連性: 本研究は、BIBが人間の意思決定で見られる重い裾を持つ持続統計の生成モデルを提供することを示唆している。ナッシュ目標型アルゴリズムが対称なゲームにおいてランダムネスへと崩壊するのに対し、BIBエージェントは、事前学習や外部適合を必要とせず、内部メカニズムを通じて人間のプレイに見られる非自明な重い裾を持つダイナミクスを自然に再現する。
• 謙虚な姿勢: 著者らは、$\alpha \approx 1.43$ は普遍クラスのプロトコル依存の推定値であり、物理的な定数ではないことを明記している。彼らは古典的なSOCを証明しようとしているのではなく、自然なパラメータ範囲内で堅牢な普遍的臨界構造を特徴付けているのである。その意義は、合理的な最適化（人間のダイナミクスを捉えることに失敗する）と、生物学的システムにおける臨界性の経験的観察との間の溝を埋める、最小限の生成的推論規則を提供することにある。