📊 statistics

From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability

本論文は、情報の保存および公理的観点の両方から導出され、積と上限による正規化を通じて事前分布と尤度を組み合わせつつ、認識論的な強さを制御するための学習率パラメータを導入した、可能論的推論のための標準的な更新規則を確立するものである。

原著者： Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

公開日 2026-07-10

📖 1 分で読めます☕ さくっと読める

原著者： Jeremie Houssineau, Badr-Eddine Chérief-Abdellatif

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ミステリーを解決しようとしている探偵だと想像してください。あなたには犯人についての直感（あなたの事前知識）があり、現場で新しい手がかり（あなたのデータ）を見つけました。標準的な統計学の世界では、これら2つをベイズの法則と呼ばれる有名なレシピを使って組み合わせ、最終的な答えを導き出します。

しかし、もしあなたの直感が正確な確率（「70%の確信」のようなもの）ではなく、もっと曖昧な感覚、例えば「可能性」のようなものだとしたらどうでしょう？たとえば、執事が犯人かもしれないし、庭師や料理人の可能性もあるけれど、正確な数字までは分からない、といった具合です。ここで**可能性理論（Possibility Theory）**が登場します。これは、数値を足し合わせるのではなく、「最大値（上限）」を見つけることで不確実性を扱う方法です。

『From Bayes' Rule to Bayes Rules』と題されたこの論文は、大きな問いを投げかけています。もし私たちが標準的な確率の使用をやめて、こうした曖昧な「可能性」のマップを使い始めたとしたら、それでもなお、私たちの信念を更新するための唯一無二の完璧な方法が存在するのだろうか？という問いです。

大発見：すべてを統べる一つのルール

著者であるジェレミー・ウスィノー（Jeremie Houssineau）とバドルディン・シェリフ・アブデラティフ（Badr-Eddine Chérief-Abdellatif）は、**「イエス、存在します」**と主張しています。この曖昧な世界においても、「標準的な（唯一の正しい）」更新方法が存在するのです。

彼らは、全く異なる2つの角度からこの問題を見ることで、このルールを見つけ出しました。まるで、異なる道具を使って同じ事件を解決する2人の探偵のようです。

「情報の保存」を重視する探偵： この探偵は、古い直感と新しい手がかりを組み合わせるとき、誤って新しい事実を「捏造」したり、古い事実を「紛失」したりすべきではないと考えます。既知の情報をただ並べ替えるべきなのです。情報を生み出したり破壊したりしないことを徹底することで、彼らは特定の公式を導き出しました。
「論理的一貫性」を重視する探デ： この探偵は、「もし私が信念をステップ・バイ・ステップで更新したり、パズルのより小さな部分だけを見たりした場合、私の論理は依然として筋が通っているだろうか？」と問いかけます。あらゆるまともな更新ルールが従うべき厳格な論理的規則（公理）を設定することで、この探偵は全く同じ公式に到達しました。

公式：
両者が導き出したルールは、驚くほどシンプルです。新しい信念（事後分布）を得るには、古い直感（事前分布）に新しい手がかり（尤度）を掛け合わせ、その結果の中にある最大値で割ることで、すべてが「1から0」のスケールに収まるようにします。

数学的に書くと、次のようになります：
$\text{新しい信念} = \frac{\text{古い直感} \times \text{新しい手がかり}}{\text{その結果における最大値}}$

これは「sup-normalised prior-likelihood product（上限正規化された事前尤度積）」です。これは、古典的なベイズの法則の、曖昧な世界における親戚のようなものです。

「魔法のつまみ」（学習率）

ここで、この論文が非常に注意深く扱っているひねりがあります。この曖昧な世界には、あなたの信念がどれほど強いかを制御する特別な「つまみ」やパラメータ（これを $w$ と呼びましょう）が存在します。

論文が証明していること： このルールは、このつまみの設定がどのような値であっても、完璧に機能します。
論文が否定していること： データだけを見て、このつまみの完璧な設定を導き出すことはできません。論文は、この強さのパラメータは証拠だけからは**識別不可能（not identifiable）**であると明言しています。

このように考えてみてください。ラジオのチューニングをしているとき、データは「何の曲が流れているか」は教えてくれますが、「音量をどのくらいにするべきか」までは教えてくれません。音量は、あなたが最初にそのラジオ局をどれだけ信頼しているかに基づいて、自分で決める必要があるのです。論文は、この音量つまみをデータから自動的に「学習」しようとすることは、行き止まりであると主張しています。それは、数字の中に隠された事実ではなく、あなた自身が行う選択なのです。

この論文が「ノー」と言っていること

著者たちは、このルールが何ではないかについても明確に述べています。

これは新しい情報を捏造する方法ではありません。もしあなたの更新ルールが、データと古い直感が正当化できる範囲を超えて、あなたの信念をより確かなものにしてしまうなら、あなたは情報を「作り出して」しまったことになり、論文はこれを間違いであるとしています。
これは情報を失う方法ではありません。もしあなたの更新によって、本来あるべき姿よりも不確実性が増してしまったなら、あなたは情報を「失った」ことになります。
これは、データがどのように生成されたかという正確な「真の」確率を知る必要がある手法でもありません。実際、このシステム全体は、そのような正確な確率を持っていない状況のために設計されているのです。

どの程度確信しているのか？

著者たちは自分たちの発見に極めて自信を持っていますが、その範囲については精密に定義しています。

証明済み： 彼らは（厳密な論理と公理を用いて）、「もし情報を保存したい、あるいは可能性に基づく世界において論理的一貫性を保ちたいのであれば、必ずこの特定の更新ルールを使わなければならない」ということを数学的に証明しました。これは推測ではなく、導出です。
シミュレーションではない： 彼らは単にコンピュータ・シミュレーションを実行して動作を確認したのではなく、このルールが唯一の答えとなるような論理的枠組みを構築しました。
すべてに対する「解決策」ではない： 彼らは、ルールは見つけたものの、あらゆる状況において完璧な「音量つまみ（ $w$ ）」をどのように選ぶかという問題はまだ解決していないことを認めています。彼らは、このつまみはデータを自動的に学習するのではなく、予測が適切な範囲をカバーするようにするなど、外部の目標に基づいて調整（キャリブレーション）される必要があると示唆しています。

好奇心旺盛なティーンエイジャーへのまとめ

あなたが世界から学ぶロボットを作っていると想像してください。もしロボットに標準的な数学を使うよう命じれば、ロボットは確率を足し合わせます。しかし、世界が混沌としていて、数字がはっきりしない場合は、「可能性」の数学を使うよう命じます。

この論文はロボットにこう伝えています。「これは、自分自身に嘘をついたり、知っていたことを忘れたりすることなく、自分の脳を更新するための唯一の方法である。古い推測に新しい手がかりを掛け合わせ、正規化せよ。そして、手がかりだけを見て自分の信念がどれほど『強く』あるべきかを推測しようとしてはいけない。その強さは、自分自身で決めるものだ」と。

これは、物事が完璧にクリアではない世界においても、それらを考えるための完璧な方法が存在することを証明する、新しい思考のルールなのです。

技術的要約：ベイズの規則からベイズの諸規則へ

問題提起
標準的なベイズ推論は確率論に基づいており、そこでは不確実性は加算的であり、ベイズの規則を通じて更新される。しかし、古典統計学や現代の機械学習においては、損失に基づく更新、テンパリングされた事後分布、あるいは不確実性が自然には加算的ではないエビデンス融合スキームを用いるなど、この枠組みから逸脱することが頻繁にある。根本的な問いは、なぜベイズの規則が「正しい」情報処理規則となるのか、そしてそれは情報の数学的表現にどのように依存するのか、ということである。具体的には、固定されたパラメータに関する不確実性が、確率分布ではなく可能性関数（possibility function）（確率分布の最大値的（maxitive）な類似物）によって表現される場合、原理的な更新規則はどうなるのか。

手法
本論文は、推論を情報処理として扱うことでこの問題にアプローチする。著者らは、古典的な確率論的導出を模倣しつつ、可能性理論の構造に適応させる形で、可能性的推論の標準的な更新規則を2つの補完的な基礎的視点から導出している。

視点1：最適な情報処理（情報の保存）
- 枠組み： 著者らは、伝統的にZellner [1988] やスカラー交叉エントロピーに関連付けられている情報保存原理（ICP）を、可能性的設定へと再定式化する。
- 主要メカニズム： 情報をスカラー（エントロピーのようなもの）に圧縮する代わりに、本論文では可能性関数に固有の点別部分順序（pointwise partial order）（ $f \preceq g \iff \forall \theta, f(\theta) \leq g(\theta)$ ）を利用する。
- 導出： 順序一貫性、正規化、および独立な結合（積t-ノルム）の下での加法性を満たす点別情報スコア $S$ を導入することで、著者らは標準的な対数情報写像 $I[f](\theta) = -\log f(\theta)$ を導出する。
- 保存： 情報処理規則（IPR）は、情報の損失も生成も引き起こさない場合に最適であると定義される。これは、スカラーではなくパラメータ空間上の関数である情報不均衡汎関数 $\Delta(\text{IPR})$ を通じて形式化される。 $\Delta(\text{IPR}) = 0$ （点別等価）という条件が、更新規則を一意に特定する。
視点2：公理的アプローチ（コヒーレンス）
- 枠組み： 著者らは、Bissiriら [2016] によって確立された一般化ベイズ推論のコヒーレンス公理の、可能性的類似物を提案する。
- 公理： 更新規則 $\psi[\ell, \pi]$ $ψ [ℓ, π]$ （事前分布 $\pi$ $π$ と損失 $\ell$ $ℓ$ を事後分布へと写すもの）は、以下の条件を満たさなければならない：
  - 逐次的コヒーレンス (A2.1)
  - 制限適合性 (A2.2)
  - 損失に対する単調性 (A2.3)
  - 空虚な損失および加法的シフトに対する不変性 (A2.4, A2.5)
- 導出： 確率論の場合、正規化は積分であるが、可能性的導出においては、最大値的（maxitive）な制限がペアワイズのオッズを保存すること、および二項更新が三つ組においてコヒーレントであることを確立する必要がある。これらの公理により、事後分布は特定の関数形をとることが強制される。

主要な貢献と結果

標準的な更新規則：
両方の導出は、**可能性的ベイズの規則（possibilistic Bayes' rule）**と呼ばれる同一の更新規則に収束する：
$\pi(\theta | y) = \frac{\pi(\theta) L(\theta | y)}{\sup_{\vartheta \in \Theta} \pi(\vartheta) L(\vartheta | y)}$
ここで、 $\pi(\theta)$ は事前可能性関数であり、 $L(\theta | y)$ は尤度（またはエビデンス）である。
- 入力がサンプリング分布 $p_\theta(y)$ である場合、 $L$ は尤度となる。
- 入力が一般的な損失 $\ell(\theta, y)$ である場合、 $L(\theta | y) \propto \exp(-w \ell(\theta, y))$ となる（ここで $w \geq 0$ は学習率パラメータである）。
学習率 ( $w$ ) の役割：
本論文は、パラメータ $w$ （認識論的な強さを制御するもの）が、両方の導出において**外生的（exogenous）**であることを明確にしている。
- 視点1において、 $w$ は損失をエビデンス可能性関数へと変換する際のエンコーディングの選択である。
- 視点2において、 $w$ はコヒーレンス公理によって未決定のまま残される定数である。
- 結果： 強さ $w$ は、正規化されたエビデンスのみからは識別不可能である。エビデンスの最大化は、単に許容可能な強さをその最小値へと駆動するだけである。したがって、 $w$ はデータから識別可能な量ではなく、認識論的な強さに関するモデリング上の選択を表している。
情報の損失と生成：
点別部分順序を利用することで、本論文は、情報がスカラーの要約である確率論の設定とは異なり、情報の損失と生成を、真に観測可能な現象として区別している。
- あるIPRが、事後分布がベイズ更新によって至る所支配されている場合（ $g \preceq \pi(\cdot|y)$ ）、それは情報を生成しない。
- あるIPRが、事後分布がベイズ更新を支配している場合（ $g \succeq \pi(\cdot|y)$ ）、それは情報を損失しない。
- ベイズの規則は、これら両方の損失と生成を同時に回避する唯一のIPRである。
既存研究との関連：
- 導出された規則は、近年の不正確な確率論（imprecise probabilistic）の文献（例：Martin [2026]）で提案されているsup-正規化された事前分布・尤度積と一致する。
- 情報不均衡関数は、最大値的Donsker–Varadhan双対性（Singh et al. [2025]）における被積分数に対応しており、ベイズの規則が双対一貫性境界の唯一の共通最適化子であることを示している。

意義と主張
本論文は、ベイズの規則は単一の公式ではなく、基礎となる情報の計算（加法的か最大値的か）およびデータとパラメータの結合の性質によってインデックス付けされた、一連の規則のメンバーであることを確立すると主張している。

基礎的な正当化： 本論文は、sup-正規化された積が、尤度と部分的な事前情報を組み合わせるための単なるヒューリスティックや便利な選択ではなく、情報の保存とコヒーレンスの基本原理によって強制されるものであると論じている。
一般化ベイズの明確化： 一般化ベイズ更新における学習率に関する曖昧さを、可能性的枠組みにおいては、このパラメータがデータから本質的に識別不可能であり、代わりに認識論的な強さの較正として機能することを示すことで解決している。
範囲： 本研究は基礎的かつ公理的である。新しい経験的アルゴリズムや広範な実験的比較を提案するのではなく、なぜsup-正規化された更新が、可能性的推論における標準的な選択となるのかという理論的根拠を提供することに主眼を置いている。これは、この枠組みが、確率論的な拡張でしばしば必要とされる測度論的な複雑さを伴わずに、連続的なパラメータ空間へ自然に拡張できることを示唆している。なぜなら、可能性関数は点別に定義されるからである。

要約すれば、本論文は、不確実性が可能性関数によって表現されるとき、「正しい」情報処理の方法は必然的にsup-正規化された更新規則へと導かれ、学習率は学習可能な統計量ではなく、外部的な較正パラメータとして機能することを実証している。