技術的概要：ニューラルベイズ逐次ルーティング（NBSR）

1. 問題定義

標準的な深層学習アーキテクチャは、すべての入力特徴を同時に処理して単一の確率分布を生成する、静的で密な前方計算に依存しています。意味的精度においては効果的ですが、これらのモデルは以下の 3 つの決定的な欠陥を抱えています：

1. 認知的妥当性の欠如：仮説が一度に評価されるのではなく、漸進的に洗練される、人間の意思決定における逐次的で証拠を蓄積する性質をモデル化できていません。
2. 解釈性の低さ：密なネットワークの「ブラックボックス」性は、証拠がどのように獲得され、不確実性がどのように変化するかを曖昧にし、意思決定の監査を困難にしています。
3. 非効率性と過信：容易に分類可能な入力に対して不要な計算リソースを消費し、ネイティブな不確実性定量化メカニズムの欠如により、分布外（OOD）データに対して過信した予測を生み出す傾向があります。

エキスパート混合（MoE）アーキテクチャは条件付き計算を導入しますが、通常は時間的に変化する信念状態を維持せず、逐次的な証拠の蓄積や動的な早期退出を可能にしない、ソフトで連続的なルーティングに依存しています。

2. 手法：ニューラルベイズ逐次ルーティング（NBSR）

NBSR は、ニューラル推論を、階層的有向非巡回グラフ（DAG）上での能動的かつ証拠を蓄積するトラバースとしてモデル化する動的フレームワークです。これは、条件付きニューラル実行、証拠的不確実性、および逐次的意思決定を統合します。

コアアーキテクチャ

• グローバル知識オラクル：標準的なフィードフォワードネットワークでは特徴が層ごとに変換され破棄されるのに対し、NBSR は入力 $x$ を共有バックボーンを用いて一度だけ密な特徴ベクトル $h_x$ に埋め込みます。このベクトルは DAG 内のすべてのノードにブロードキャストされる永続的な「知識オラクル」として機能し、すべての意思決定が完全な文脈状態にアクセスできることを保証します。
• 意思決定グラフ：モデルは、ノードが意思決定状態を表す DAG をトラバースします。各ノード $v_t$ において、ルーティングネットワーク（MLP）が、グローバル特徴 $h_x$ と現在のベイズ的信念状態 $\alpha_t$ に基づいて離散的な経路を選択します。
• 証拠抽出：選択されたノードに到達すると、ローカルのエキスパートネットワークがオラクル $h_x$ を照会し、厳密に正の証拠ベクトル $e_t$ を抽出します。
• ベイズ的信念更新：信念状態は、正確な共役加法を通じて更新されます：$\alpha_{t+1} = \alpha_t + e_t$。ここで、$\alpha$ はディリクレ分布の集中度パラメータを表します。証拠ベクトル $e_t$ はベイズ的な疑似カウントとして機能し、ディリクレ状態を決定論的に更新します。このプロセスは、証拠が蓄積するにつれて意思決定境界が「鋭化」されることを数学的に強制します。

学習と推論のメカニズム

• 微分可能な離散ルーティング：離散木構造のエンドツーエンド学習を可能にするため、NBSR はGumbel-Softmax緩和と**ストレートスルー推定子（STE）**を組み合わせて採用します。
  • 前方パス：ルーターはハードな単一経路（argmax）を選択し、訪問されたノードのみを実行することで計算効率を確保します。
  • 後方パス：勾配は連続的な Gumbel-Softmax 近似を通じて流れ、離散演算の勾配消失問題なしに、ルーターが最適な経路選択を学習できるようにします。
• 学習目的：損失関数は、最終的なディリクレ期待値の負対数尤度（NLL）とエントロピーペナルティ項（$\lambda \sum H(\alpha_t)$）を組み合わせます。これにより、モデルは精度を最大化するだけでなく、軌道上で可能な限り迅速に不確実性（エントロピー）を低減することが促されます。
• 推論戦略：
  • 早期退出：信念状態の微分エントロピー $H(\alpha_t)$ が閾値 $\eta$ を下回ると、トラバースは即座に停止し、計算 FLOP を節約します。
  • 認識的棄権：完全なトラバース後でも総精度 $\alpha_0$ が低い場合（高い不確実性を示す）、モデルは予測を棄権し、OOD 入力に対するネイティブな安全メカニズムを提供します。

3. 主要な貢献

1. ベイズ逐次ルーティングフレームワーク：離散的なルーティング決定が正確な共役加法を通じてディリクレ信念状態を逐次的に更新し、数学的に仮説の漸進的鋭化を強制する新規定式化。
2. エンドツーエンドのハードルーティング：Gumbel-Softmax 推定子の適応により、表現の崩壊を防ぎつつ、動的でエントロピーベースの早期退出を可能にする離散階層的意思決定木を学習する手法。
3. 理論的保証：厳密に正の証拠抽出の下では、任意の妥当な軌道に沿って総ディリクレ精度が単調に増加し、周辺予測分散が対応して有界であることを示す形式的証明。このフレームワークは、理想化された容量仮定の下でベイズ最適条件付き分布を回復することが示されています。
4. 解釈可能かつ安全な推論：すべての意思決定に対する透明性のある因果的な監査証跡を提供します。ネイティブなディリクレ精度を利用して OOD 安全棄権をトリガーし、ハルシネーションを防止します。
5. リソース合理的拡張：自律制御のための時間的記憶を組み込んだ DAG トポロジーへの成功した拡張（NBSR-Mem）、およびコスト認識型ベイズ最適実験設計のための自己回帰状態機械（AR-NBSR）としての定式化。

4. 実験結果

このフレームワークは、5 つの多様なドメインで評価されました：

• 視覚的分類（CIFAR-10）：NBSR はピーク精度 96.74% を達成し、Flat ResNet-18（96.60%）と Sparse MoE（96.43%）の両方を上回りました。重要なのは、ベースライン（約 0.027）と比較して有意に低い期待較正誤差（ECE）0.015 を達成したことです。モデルは精度の低下なしに深度 1 で 90% の早期退出を実現し、そのリソース合理性を検証しました。
• 構造化された医療診断：臨床トリアージタスクにおいて、NBSR はフラットな MLP（97.62%）と同等の診断精度を達成しながら、患者固有の経路依存特徴帰属を提供しました。曖昧でないケースにおいて、平均推論深度を 2.0 から 1.0 に削減することに成功し、性能の損失なしに推論時間を短縮しました。
• 言語モデリング：制御された構文意味的曖昧性除去タスクにおいて、NBSR は生成能力を維持（パープレキシティ 13.81 対ベースライン 13.43）しつつ、透明なルーティング痕跡（例：構文的エキスパートと意味的エキスパートの区別）を露呈させました。標準的なソフトマックスモデルがハルシネーションを起こす OOD プロンプトにおいて棄権する能力を実証しました。
• 部分的に観測可能な制御（POMDP）：空間性健忘を伴うナビゲーションタスクにおいて、NBSR-Mem（再帰的記憶を組み込んだもの）は 100% の成功率を達成し、ブラックボックス CNN-GRU の性能と一致しました。ブラックボックスのベースラインとは異なり、NBSR-Mem は「エイリアン・ハザード」の OOD 入力を正常に検出し、クラッシュするのではなく安全な停止（100% の棄権率）をトリガーしました。
• 能動的臨床トリアージ（BOED）：AR-NBSR 定式化は能動的学習エージェントとして機能し、単位コストあたりの情報獲得を最大化するように診断テストを選択することを学習しました。貪欲なベースライン（$60-$80）と比較して、有意に低い平均コスト（約$45-$50）でピーク診断精度を達成し、非短視眼的かつリソース合理的な計画を実証しました。

5. 意義と主張

本論文は、NBSR が静的で単一構造の深層学習から、能動的で逐次的な特徴獲得パラダイムへの根本的な転換を表すことを提唱しています。その意義は、これまで分離していた 3 つの概念の統合にあります：

1. 条件付き実行：ソフトで並列的な平均化から、ハードで経路依存のルーティングへの移行。
2. 証拠的不確実性：不確実性を補助的な診断ではなく、（早期退出や棄権を通じて）計算を能動的に制御する状態変数として扱うこと。
3. 逐次的推論：中間状態やエキスパートの寄与が検査可能な、前方因果的な信念軌道としての推論のモデル化。

著者は、NBSR が解釈可能、モジュール化、かつリソース合理的なエージェント型 AIのための数学的基盤を提供すると主張しています。エキスパートがソフトに平均化されるのではなく選択的に照会され、不確実性が状態に内在することにより、このフレームワークは、単に正確であるだけでなく、透明性があり、安全で、計算効率の高い AI システムへの道筋を提供します。本論文は、NBSR は現在特定のベンチマークで検証されているが、そのアーキテクチャはディリクレ過程による無制限のトポロジーや動的なスキル獲得への将来の拡張、ならびにニューロシンボリック統合への自然なサポートを提供すると結論付けています。