🔢 mathematics

An Information Theoretic Proof of the Radon-Nikodym Theorem

本論文は、情報理論的概念を用いてラドン・ニコディムの定理の分かりやすい証明を提示するものであり、当該の定理が頻繁に引用されるにもかかわらず、その証明が複雑であるという認識からしばしば省略されがちな、測度論と情報理論の間の隔たりを埋めることを目的としている。

原著者： Peter Harremoës

公開日 2026-01-27

📖 1 分で読めます🧠 じっくり読む

CC BY 4.0

原著者： Peter Harremoës

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：測り得ぬものを測る

想像してみてください。あなたは天気を説明しようとしています。「雨が降っている」と言うこともできますし、「雨が降る確率は30%である」と言うこともできます。数学において、前者は単純な事実ですが、後者は**「尺度（メジャー）」**、つまり事象に値（確率）を割り当てる方法です。

通常、数学者はこれらの値を扱うために、**「測度論（メジャー・セオリー）」**と呼ばれる非常に厳格で強力なツールキットを使用します。このキットの中で最も有名な道具の一つが、ラドン＝ニコディムの定理です。この定理は一種の「翻訳機」だと考えてください。これは、ある測定方法（複雑で抽象的な確率など）を、単純で読み取りやすい関数（密度曲線やグラフなど）へと変換することを可能にします。

しかし、ほとんどの教科書はこう言います。「この定理は存在するが、その証明は難解で退屈なので、省略する」と。

ハレメス（Harremoës）の論文は、これとは異なるアプローチを取ります。 彼はこう言います。「情報理論の道具を使って、これを証明しよう」と。彼は、不確実性を硬直した幾何学的な形状としてではなく、「情報の流れ」として扱います。これによって、彼は定理を証明するだけでなく、大まかな推測が完璧な答えに対してどれほど近いかを測定する方法をも提示しているのです。

第1部：構成要素（ラティスと値付け）

彼の証明を理解するために、まずは舞台設定を変える必要があります。

比喩：分類ゲーム
箱の中に物体（例えば果物）が入っており、そこに特性のリスト（「赤い」「甘い」「丸い」など）があると想像してください。

**ラティス（束）**とは、それらがどのように重なり合っているかに基づいて、これらの物体を整理するためのシステムです。もし「赤い」グループと「甘い」グループがあるなら、ラティスは「赤くて甘い」グループを見つける手助けをしてくれます。
**値付け（バリュエーション）**とは、これらのグループを数えたり重さを量ったりする方法です。標準的な数学では、通常、すべての合計が正確に1になること（確率のように）を求められます。ハレメスは、このルールを緩和します。彼は、合計が何であっても——2でも、100でも、あるいは無限大であっても——構わないとします。彼はこれらを「期待値測度」と呼びます。

なぜこれが重要なのか？
標準的な数学は、帳簿の貸借が完全に一致することしか認めない厳格な会計士のようなものです。対してハレメスは、柔軟なデータサイエンティストのようなものです。「合計が1であることは気にしない。ただ、各パーツが互いにどう関連しているかを知りたいだけだ」と言うのです。この柔軟性が、数学的な扱いを容易にします。

第2部：核心的概念（情報ダイバージェンス）

論文では、情報ダイバージェンス（具体的にはカルバック・ライブラー・ダイバージェンス）という概念を導入しています。

比喩：「驚き」メーター
都市の2つの地図を持っていると想像してください。

地図A（真実）： どこに交通渋滞が発生しているかを正確に示しています。
地図B（あなたの推測）： あなたが「ここに渋滞があるだろう」と考えている場所を示しています。

情報ダイバージェンスは、もしあなたが地図Bを使って行動したときに、現実が地図Aであったとしたら、あなたがどれほど「驚く」ことになるかを測定します。

もし地図が同一であれば、ダイバージェンスはゼロです（驚きなし）。
もし地図Bが「渋滞なし」と言っているのに、地図Aが「激しい渋滞」を示しているなら、ダイバージェンスは巨大になります。

ハレメスはこの「驚きメーター」を定規として使用します。彼は、2つの測定方法の間の「驚き」が有限（無限ではない）であれば、そのうちの一方の方法は関数（ラドン＝ニコディム微分）へと完璧に翻訳できることを証明します。

第3部：証明の戦略（ズームイン）

彼はどのように定理を証明するのでしょうか？彼は近似という戦略を用います。

比喩：画像のピクセル化
高精細な写真（完璧なラドン＝ニコディム微分）がありますが、それは複雑すぎて描くことができません。

ステップ1： 低解像度のバージョン（粗い格子状のグリッド）を用意します。あなたの低解像度の推測と、実際の画像との間の「驚き」を計算します。
ステップ2： グリッドをより細かくします（ピクセルを増やします）。再び驚きを再計算します。
ステップ3： ズームインを続けます。

ハレメスは、もし総計の「驚き」が有限であれば、ズームインを続ける（グリッドを細かくしていく）につれて、あなたの低解像度の推測が最終的に完璧な画像へとロックオンすることを証明します。それらは単に近づくだけでなく、正解へと収束するのです。

彼はこのプロセスを**「情報投影」**と呼んでいます。これは、影に光を当てるようなものです。光源を精緻化していくにつれて、影は鮮明になり、最終的に物体の真の形を明らかにします。

第4部：「ほとんど確実に」という保証

論文の最も強力な部分の一つは、この収束が至る所で（あるいは「ほとんど確実に（almost surely）」）起こることを証明している点です。

比喩：群衆の投票
気温を予想している群衆を想像してください。

ある日は、群衆は混沌としており、予想が激しく飛び跳ねます。
ハレメスは、もし「情報ダイバージェス（総エラー）」が制御されていれば、群衆の予想はやがて飛び跳ねるのをやめることを証明します。彼らは落ち着き、都市のほぼすべての地点において、真の気温に同意して落ち着くことになります。

彼は、予想が落ち着く前に制御不能にならないことを示すための安全網として、ドーブの最大不等式という数学的ツールを使用しています。

第5部：「必要」な条件

最後に、論文は問いかけます。「『驚き』が無限大になったらどうなるのか？」

比喩：壊れたコンパス
ダイバージェンスが無限であるということは、あなたの持つ2つの地図が根本的に相容れないものであることを意味します。ハレメスは、この場合、どれほど懸命にグリッドを精緻化しようとしても、あなたの推測が決して落ち着くことはないことを示しています。最大のエラーは永遠に増え続け、その特定のシナリオにおいては、完璧な翻訳（ラドン＝ニコディム微分）は存在し得ないことを証明しています。

まとめ：何を学んだのか？

新しい視点： ラドン＝ニコディム定理を証明するために、伝統的な測度論の重厚で抽象的な仕組みを使う必要はありません。情報理論（エントロピーやダイバージェンス）という直感的な道具を使うことができるのです。
定量化可能な精度： この手法は単に「答えが存在する」と言うだけではありません。粗い近似が、実際の答えに対してどれほど近いかを正確に測定する方法を与えてくれます。
柔軟性： 「値付け（合計が1である必要はないもの）」を使用することで、総質量が未知であったり無限であったりする現実世界のデータに対して、数学をより適応しやすくしています。

要約すれば、ハレメスは有名な難解な数学定理を取り上げ、「情報」と「驚き」という言語を用いて再証明しました。そして、情報がスムーズに流れているとき、異なる世界の見方を結ぶ数学的な翻訳は必ず存在するのだということを示したのです。

技術要約：ラドン＝ニコディム定理の情報理論的証明

問題提起
ラドン＝ニコディムの定理は、測度論における金字塔であり、密度関数、シャノン・エントロピー、および $f$ -ダイバージェンスを定義するための理論的基礎を提供している。しかし、測度論における標準的な証明は、情報理論に焦点を当てた教科書に含めるには抽象的すぎたり、難解すぎたりするとしばしば見なされる。その結果、ラドン＝ニコディム微分の存在性は、情報理論の文献において、その中心的な重要性にもかかわらず、頻繁に省略されている。さらに、既存の証明は通常、存在性を確立するのみであり、有限近似から微分への収束特性を定量化することはない。本論文は、存在を確立するだけでなく、近似の収束を特徴付ける、アクセシブルな情報理論的証明の必要性に対処するものである。

手法
著者である Peter Harremoës は、**情報投影（information projections）と束（lattice）上の値関数（valuations）**の理論を利用することで、伝統的な測度論的アプローチから脱却している。手法は以下の段階を経て進行する：

値関数と束への一般化： $\sigma$ -代数や正規化された確率測度に限定するのではなく、本論文では、分配束（distributive lattices）上で定義された値関数（厳密性、単調性、および加法性を満たす集合関数）を用いて問題を定式化する。この枠組みは、非正規化測度（期待測度）を受け入れ、全質量が1であるという制約なしに不確実性をモデル化することを可能にする。著者は、関数依存性の概念束やコンセプト・ラティス上のエントロピー関数が、自然にこれらの値関数の性質を満たすことを指摘している。
束上の情報ダイバージェンス： 有限分配束上の値関数に対する情報ダイバージェンス（ $D(\mu \parallel \nu)$ ）の概念を定義する。有限の束においては、ダイバージェンスは既約要素（irreducible elements）にわたって計算される。本論文は、分配束において、ダイバージェンスはすべての極大鎖（maximal chains）に対して不変であることを確立している。
情報投影： 証明は、完全な束を近似する有限の部分束（ $M_n$ ）の列を構成する。各部分束上で、測度 $\mu_n$ は、 $M_n$ 上で $\mu$ と一致する値関数の集合への $\nu$ の情報投影として定義される。この投影は、 $\theta|_{M_n} = \mu|_{M_n}$ という制約の下で、ダイバージェンス $D(\theta \parallel \nu)$ を最小化するものである。
収束解析： これらの投影に関連する密度の列（ラドン＝ニコディム微分）を $f_n$ と表記し、解析を行う。 $f$ -ダイバージェンスの性質（特に投影に関するピタゴラスの不等式）とマルチンゲール不等式（ドゥーブの極大不等式）を用いることで、論文は数列 $f_n$ が $L^1$ においてコーシー列を形成し、ほとんど至る所で点収束することを証明する。

主要な貢献と結果

存在性の情報理論的証明： 本論文は、抽象的な測度論的構成ではなく、情報ダイバージェンスと情報投影の性質に基づいた、ラドン＝ニコディムの定理の証明を提供する。もしダイバージェンス $D(\mu \parallel \nu)$ が有限であれば、ラドン＝ニコディム微分が存在することを示す。
近似の定量化： 単に存在を主張する古典的な証明とは異なり、このアプローチは有限近似の近さを定量化する。これは、有限の部分束から導出される微分の列が、真の微分へと収束することを示している。
ほとんど至る所での収束： 中心的な結果（系 20）は、もし $D(\mu \parallel \nu) < \infty$ であれば、有限の分割上のラドン＝ニコディム微分の列は、微分 $\rho$ にほとんど至る所で点収束することを述べている。
有限ダイバージェンスの必要性： 本論文は、有限のダイバージェンスが、有限の部分代数における密度の最大値の収束のための必要条件であることを確立している。もし $D(\mu \parallel \nu) = \infty$ であれば、最大密度を積分した値が無限大に発散する部分代数の列が存在する（定理 22）。
一般の測度への拡張： 結果は、標準的なテキストで想定される $\sigma$ -有限な測度よりも広いクラスである、**s-有限（s-finite）**な測度（有限な測度の可算和に分解できる測度）に対して定式化されている。もし $D(\mu \parallel \nu) < \infty$ かつ $\mu$ が s-有限であれば、 $\nu$ もまた s-有限であることを証明している。

意義と主張
本論文は、このアプローチが、情報理論や統計学の研究者にとって、彼らがすでに中心的なツールとしているもの（ダイバージェンス、投影）を利用することで、ラドン＝ニコディムの定理へのより直感的な経路を提供すると主張している。著者は、コンセプト・ラティス上の値関数の理論が、従来の位相ベースの測度論よりも情報処理に近い言語を提供すると論じている。

この研究は、この枠組みが単に微分の存在を証明するだけでなく、有限近似がどのように振る舞うかを理解するためのメカニズムを提供し、定理の「定量化された」バージョンを提供するものであることを示唆している。著者は、結果を点なし位相（lattices of locals）のようなより一般的な設定に拡張できるものの、現在の提示は簡潔さを維持するために位相空間と有限分配束に焦点を当てていると控えめに述べている。論文は、この値関数ベースのアプローチが、将来的に情報理論、統計学、および確率論を統一するための理論的基礎となる可能性があると結論づけている。