Entropy-Rate Selection for Partially Observed Processes

この論文は、部分観測された確率過程において、観測可能な制約を満たす隠れた定常過程のクラスに対してエントロピー率を最大化する問題の定式化を行い、その最大化解の存在・一意性、構造的特徴、および条件付き相互情報量としてのギャップ関数などの理論的性質を明らかにするものである。

要約

1. 物語の舞台：「黒い箱」と「窓」

想像してください。部屋の中に**「黒い箱（隠れた仕組み）」**があります。その箱の中には複雑な機械が動いていますが、私たちは箱の中を直接見ることはできません。

代わりに、箱の壁に**「小さな窓（観測装置）」**があります。この窓からは、箱の中で起きていることの一部しか見えません。

• 例： 箱の中には「赤いボール」と「青いボール」が混ざって動いている（隠れた状態）とします。しかし、窓からは「赤いボール」も「青いボール」も区別できず、すべて**「丸いもの」**としてしか見えません（観測された状態）。

このとき、「丸いもの」が次に出てくるパターン（観測データ）は決まっています。しかし、その背後にある**「赤と青のボールがどう動いているか」（隠れた仕組み）は、同じ「丸いもの」のパターンを生み出すために、無数の組み合わせが考えられます。これを「観測の纤维（Observational Fiber）」**と呼んでいます。

2. 論文の核心：「最も自由な答え」を選ぶ

通常、科学者は「隠れた仕組み」を特定しようとして、データに合うモデルを探します。しかし、この論文は**「隠れた仕組みを特定するのは無理だ」**と認めた上で、別のアプローチを取ります。

**「見えるデータ（窓からの情報）に合う、すべての可能性の中から、最も『予測不能で、規則性が少ない』ものを選びましょう」**というルールです。

これを**「エントロピー率の最大化（Entropy-Rate Maximization）」**と呼びます。

• エントロピー（Entropy）： 混乱度や予測のしにくさ。
• 最大化： できるだけ「何が起こるか分からない」状態にする。

なぜそんなことをするの？
もし、データに合う複数のモデルがあるなら、無理やり特定の規則（例えば「赤の次は必ず青」など）を仮定するのは危険です。代わりに、**「データが強制する最小限の規則性だけを残し、それ以外はすべてランダム（自由）にする」**のが、最も偏りのない（バイアスのない）選択だという考え方です。

3. 具体的な例え：「天気予報」と「裏の事情」

この論文の考え方を天気予報に例えてみましょう。

• 状況： あなたは「明日の天気（晴れか雨か）」しか見られません（観測データ）。しかし、実際には「大気圧」「湿度」「風向き」など、複雑な隠れた要因（黒い箱）が動いています。

• 問題： 「明日は晴れ」というデータだけを見ると、裏では「大気圧が安定しているから晴れ」なのか、「風が止まっているから晴れ」なのか、無数のシナリオが考えられます。

• この論文の解決策：
  「明日が晴れである」という事実だけを守るなら、**「明日の天気は完全にランダム（50% 晴れ、50% 雨）で、過去の天気に全く依存していない」**というモデルが、最も「自由で、余計な規則性がない」答えになります。

  もし、過去のデータに「昨日の天気」も含まれていれば、その関係性だけを守りつつ、それ以外はランダムにするモデルを選びます。

4. 重要な発見：「見える世界は解決できるが、隠れた世界は解決できない」

この論文の最も面白い結論は、**「見える答えは一つに決まるが、隠れた答えは決まらない」**という点です。

• 見える世界（窓）： 「最も自由なモデル」を選べば、「晴れと雨が完全にランダム」というたった一つの正解が導き出せます。
• 隠れた世界（箱の中）： しかし、その「ランダムな天気」を生み出す裏の機械（大気圧や風の動き）は、無数に存在し続けます。
  • シミュレーション A：大気圧が安定しているからランダム。
  • シミュレーション B：風が激しく動き回ってランダム。
  • これらはどちらも「ランダムな天気」を生み出しますが、中身は全く違います。

結論：
私たちは「見えるデータ」から、最も公平な「見える未来」を予測することはできます。しかし、「その裏で何が起きているか」を、データだけから特定することは不可能です。無理に特定しようとすれば、余計な仮定（バイアス）を付け加えてしまうことになります。

5. まとめ：この論文が教えてくれること

1. 不完全な情報でも、最善の選択ができる： 全部が見えなくても、「見える情報」に合う中で、最も偏りのない（エントロピー最大の）答えを選べば、過剰な仮定を避けられます。
2. 「正解」の定義を変える： 「隠れた真実を突き止める」ことがゴールではなく、「観測データに対して最も自然な見方」を見つけることがゴールです。
3. 限界の受容： 隠れた仕組みが一つに定まらないことを受け入れ、その不確実性を「見える世界」の予測に活かすアプローチです。

一言で言うと：
「箱の中がどうなっているかは永遠に謎かもしれない。でも、窓から見える『最も自然で、規則的な振る舞い』を数学的に見つける方法を作ったよ」という論文です。

技術概要

論文「Entropy-Rate Selection for Partially Observed Processes」の技術的サマリー

著者: Oleg Kiriukhin (City University of Hong Kong)
日付: 2026 年 4 月
キーワード: エントロピー率、部分観測、観測ファイバー、エントロピー最大化、定常ブロック法、マルコフ拡張、条件付き相互情報量、隠れ確率過程

---

1. 問題設定と背景

本論文は、情報減少型の観測マップを通じて観測される確率過程において、観測可能なレベルでエントロピー率最大化問題を定式化することを目的としています。

• 背景: 多くの確率モデルは、観測される情報構造によって同定されません（同値性）。異なる隠れたメカニズムが同じ「可視的な法則（visible law）」を生成する可能性があります。従来のアプローチは、観測データから隠れたモデルを特定しようとするものですが、本論文は「観測実験と保持された可視的観測量」を原始的な対象とし、それらが決定する**可視的な完成形（visible completion）**の中から、残存する不確実性が最大となる（すなわち、保持された観測量以外で最小の直列的組織性を持つ）モデルを選択する枠組みを提案します。
• 核心的な問題: 可視的な定常法則 $\nu$ に対して、それを生成する隠れた定常法則の集合（観測ファイバー $E_\Pi(\nu)$）が存在します。有限状態・有限メモリ設定において、保持された観測量（制約）によって定義される「実行可能クラス」内で、エントロピー率を最大化する可視的なブロック法則（$(r+1)$-block law）を特定し、その構造を理論化することです。

2. 手法と定式化

2.1 観測ファイバーと実行可能クラス

• 観測マップ: 隠れ状態空間 $H$ から可視アルファベット $A$ への可測写像 $\Pi$ を定義し、$\Pi^\# Q = \nu$ となる隠れた定常法則 $Q$ の集合を $E_\Pi(\nu)$ とします。
• ブロック法則: 有限メモリ $r$ を仮定し、可視アルファベット上の定常 $(r+1)$-ブロック法則 $u(c, a)$（$c \in A^r$ は文脈、$a \in A$ は次の記号）を扱います。
• 制約条件:
  1. 定常性整合性: 左側と右側の $r$-ブロック周辺分布が一致する。
  2. 観測制約: 保持された観測量 $G_j$ に関する線形等式制約 $\sum u(c,a)G_j(c,a) = b_j$。
• これらの制約を満たす $u$ の集合を実行可能クラス $U_\Pi(\nu)$ と定義します。

2.2 目的関数（エントロピー率）

実行可能クラス $U_\Pi(\nu)$ 上で定義されるエントロピー率汎関数 $J(u)$ は以下の通りです：
$$J(u) = -\sum_{c \in A^r} \sum_{a \in A} u(c, a) \log \frac{u(c, a)}{\eta_u(c)} = \sum_{c \in A^r} \eta_u(c) H(p_u(\cdot | c))$$
ここで、$\eta_u(c)$ は文脈の周辺分布、$p_u(a|c)$ は条件付きカーネルです。これは、与えられた制約条件下で、過程の予測不可能性（エントロピー率）を最大化するモデルを選択します。

3. 主要な理論的貢献と結果

3.1 存在性と一意性

• 存在性: 実行可能クラスはコンパクトかつ凸集合であり、目的関数は連続であるため、最大化解の存在が保証されます（定理 3.1）。
• 一意性:
  • 文脈周辺分布固定の場合: 実行可能クラス内で文脈の周辺分布 $\eta_u$ が一定に固定される場合、解は一意です（定理 3.2）。これはシャノンエントロピーの厳密な凹性に基づくものです。
  • 一般的な場合: より一般的には、行の比例性（row proportionality）による厳密な凹性の特徴付けを通じて一意性が証明されます（定理 3.4, コロラリ 3.5）。具体的には、異なる 2 点 $u, v$ に対して、すべての文脈 $c$ で行 $u(c, \cdot)$ と $v(c, \cdot)$ が比例しない限り、解は一意となります。

3.2 グローバルな特徴付け定理

論文は 2 つの主要なグローバルな特徴付けを示しています：

1. 固定 1 点周辺分布の場合: 保持された観測量が 1 点周辺分布のみを固定する場合、エントロピー率最大化解は、その周辺分布を持つi.i.d. 過程となります（定理 4.1）。
2. 固定 $r$-ブロック法則の場合: 保持された観測量が完全な定常 $r$-ブロック法則 $\mu$ を固定する場合、最大化解は、$\mu$ を拡張する$(r-1)$-ステップマルコフ過程となります（定理 4.3）。
   • この場合、最適解と任意の他の解の間の「ギャップ汎関数」は条件付き相互情報量 $I(X_0, X_r | X_{r-1}^1)$ に等しく、最適解においてのみゼロになります（定理 4.4）。

3.3 局所幾何学と最適性条件

• 最適性条件: ラグランジュ乗数法を用いて、アクティブな支持面上での最適解の対数線形表現（指数族形式に類似）を導出しました（定理 4.5, 4.6）。
• 局所幾何学: 固定された支持面上でのヘッシアン（2 階微分）を解析し、ゼロ方向（null directions）が条件付き法則を保存する行のスケーリング方向であることを示しました（定理 5.1, 5.2）。
• ギャップの二次展開: 最適解からの距離に対するギャップ汎関数の二次展開を導き、局所的な幾何学的構造を明らかにしました（定理 5.7）。

3.4 隠れた実現と不変性

• ランダム・マッピング実現: 選択された可視法則は、独立な一様乱数を用いたランダム・マッピングによって実現可能であり、その可視法則は変化しないことを示しました（定理 6.1）。
• 隠れた測度保存作用: 隠れた状態空間における測度保存変換（measure-preserving actions）は、可視的な条件付き法則を変化させずに作用し得ることを証明しました（定理 6.2）。これは、可視レベルでは区別できない隠れた構造が存在し得ることを意味します。

3.5 経験的整合性

• 観測データから得られる経験的ブロック頻度が真の法則に収束し、それに基づいた経験的実行可能クラス上の最大化解が、真の人口パラメータの最大化解に確率 1 で収束することを示しました（定理 7.4）。

4. 具体例：エイリアシングされた隠れ状態

論文の第 8 章では、**エイリアシング（重なり）**を持つ隠れ状態の具体例を提示し、理論の重要性を実証しています。

• 設定: 隠れ状態 $E=\{a_0, a_1, b_0, b_1\}$ を、可視記号 $0$($a_0, a_1$) と$1$($b_0, b_1$) にマッピングします。
• 結果:
  • 保持された観測量が「定常平均 $m$」のみである場合、可視的な法則（2 値マルコフ連鎖）は一意に定まりません（無限の可視法則が存在します）。
  • しかし、エントロピー率最大化原理を適用すると、**一意な可視法則（i.i.d. ベルヌーイ過程）**が選択されます（定理 8.3）。
  • 重要な洞察: この選択された可視法則に対して、それを生成する隠れた法則は依然として無限に存在します（定理 8.4, 8.6）。
  • つまり、エントロピー最大化は「可視的な不特定性（underidentification）」を解消して最適な可視モデルを選択しますが、「隠れた不特定性」を解消することはできません。隠れたエントロピー最大化とは異なる問題として扱われる必要があります（定理 8.9, 8.12）。

5. 意義と結論

本論文の主な貢献と意義は以下の点に集約されます：

1. 観測レベルでの最適化の確立: 隠れたモデルを特定しようとするのではなく、観測実験と保持された観測量によって定義される「可視的な実行可能クラス」の中で、最も不確実性が高い（最も構造的な仮定が少ない）可視過程を選択する新しい枠組みを提案しました。
2. 構造理論の構築: 最大化解の存在・一意性、グローバルな特徴付け（i.i.d. またはマルコフ拡張）、局所幾何学、およびギャップの条件付き相互情報量による解釈を体系的に確立しました。
3. 可視選択と隠れ完了の分離: 「可視的な法則の選択」と「隠れたメカニズムの特定」は本質的に異なる問題であることを明確にしました。観測データと観測マップのみから導かれる任意の選択則は、観測ファイバー内では一定であり、隠れた不特定性を解消できない限界を示しました。
4. 応用可能性: 部分観測プロセスのモデル選択、隠れマルコフモデルの解釈、および情報理論的制約下での確率過程の推論において、観測可能な量に基づいた頑健な基準を提供します。

結論として、本論文は「観測実験と保持された観測量」を原初的な対象とし、それらによって制約された可視的な法則の空間においてエントロピー率を最大化する**標準的な可視完成形（canonical visible completion）**を提供する理論的基盤を確立しました。これは、隠れたメカニズムの同定が不可能な場合でも、観測可能なレベルで最も合理的なモデルを選択するための強力な枠組みとなります。