Homotopy Cardinality and Entropy

この論文は、ホモトピー型理論と情報理論をホモトピー基数を通じて結びつけ、確率型や確率変数型を定義するとともに、シャノンエントロピーを型のホモトピー基数として定式化し、その連鎖則を導出する。

要約

この論文は、**「数学の形（ホモトピー）」と「情報の量（エントロピー）」**という、一見すると全く関係なさそうな二つの世界をつなぐ、とても面白いアイデアを提案しています。

著者のアンドレス・オルティス＝ムニョスさんは、「確率」や「情報量」を、実は「形」や「空間」の大きさとして計算できることを示しました。

難しい数式を使わず、日常の例え話を使ってこの論文の核心を解説します。

---

1. 核心となるアイデア：「形」で「数」を測る

通常、私たちが「確率」や「情報量」を計算するときは、数字の足し算や掛け算を使います。
しかし、この論文では**「確率分布」や「エントロピー（情報の乱雑さ）」を、ある特別な『形（タイプ）』の『大きさ（ホモトピー・カーディナリティ）』として定義**しています。

例え話：お菓子箱と迷路

• 確率（Probability）：
  Imagine you have a box of mixed candies. Some are chocolate, some are gummy.
  Imagine you have a box of mixed candies. Some are chocolate, some are gummy.
  この論文では、確率を**「そのお菓子が箱の中にいる『重さ』」**のように考えます。
  普通の箱なら「1 個」ですが、この世界では「お菓子が迷路のように入り組んでいる（同じお菓子が何通りにも変形できる）」場合、その「入り組んださ」を考慮して重さを調整します。

  • 確率タイプ（Probability Type）： 「全体の重さがちょうど 1 になるように調整されたお菓子箱」のことです。

• エントロピー（Entropy）：
  エントロピーは「どれくらい予測しにくいか（乱雑さ）」です。
  この論文では、**「お菓子箱の中に、別の『小さな迷路（サイクル）』をいくつ埋め込めるか」**という計算でエントロピーを導き出しています。
  予測しにくい（エントロピーが高い）状態ほど、その「形」の大きさ（ホモトピー・カーディナリティ）が、対数（log）を使って計算された大きな値になります。

2. 重要な発見：3 つのルール

この論文では、いくつかの重要なルール（定理）を証明しています。

① 足し算は簡単（Dependent Sums）

**「お菓子箱 A と、お菓子箱 B を合体させると、全体の重さは単純に足し算できる」**というルールです。
ただし、これは「お菓子箱 A の中身が、B に移る時にガタガタ揺れない（輸送作用が自明）」という条件付きです。

• 日常例： 赤い玉と青い玉を袋に入れる。袋 A に赤、袋 B に青。これらを一つの大きな袋に入れると、赤の確率と青の確率はそのまま足し算されます。

② 掛け算は難しい（Dependent Products）

**「お菓子箱 A から B への『すべての選び方』の重さは、単純な掛け算では求められない」**という発見です。

• 日常例： 「3 人の友達（A）それぞれに、好きな色（B）を選んでもらう」という場合、単純に「3 × 色の数」では計算できません。なぜなら、友達の関係性（形）によって、選び方の「重み」が変わってしまうからです。
  • 著者は、以前の論文で「掛け算でいい」と思っていた部分を訂正し、「実はそう単純ではない」ということをハッキリさせました。

③ エントロピーの連鎖法則（Chain Rule）

これが一番のハイライトです。
「全体の情報の乱雑さ ＝ 最初の情報の乱雑さ ＋ （それぞれの状況ごとの乱雑さの平均）」
という、情報理論の基本ルール（連鎖法則）が、この「形」の計算でも成り立つことを示しました。

• 条件： これも「お菓子が箱から箱へ移る時に、ガタガタ揺れない（輸送が自明）」場合に限られます。
• 意味： 複雑なシステムを分解して考えられるのは、部品同士の関係がシンプルだからです。もし部品同士が絡み合っていたら（非自明な輸送）、この単純な足し算は成り立ちません。

3. 具体的な計算方法：「対数」の正体

エントロピーを計算する際、通常は「対数（log）」を使います。
この論文では、**「対数」を「円形の輪（サイクル）の積み重ね」**として表現しています。

• イメージ：
  「1 つの確率事象」に対して、「1 回、2 回、3 回……と円を描く（サイクルを作る）」ことを考えます。
  この「円を描くパターン」をすべて数え上げると、不思議なことに**「情報の乱雑さ（エントロピー）」の値そのもの**が出てくるのです。
  • 著者はこれを、「有限な円周群（BZn）」という数学的な形を使って、型理論（プログラミングの基礎）で表現しました。

4. なぜこれが重要なのか？

この研究は、「情報」という抽象的な概念を、「空間の形」という具体的な数学の対象として捉え直すことを可能にしました。

• 従来の考え方： 確率は数字の集合、エントロピーは計算式。
• この論文の考え方： 確率は「形」の性質、エントロピーは「形」の大きさ。

これにより、情報理論の法則（連鎖法則など）が、実は「形」の組み合わせの法則（足し算や掛け算の性質）と深く結びついていることがわかりました。

まとめ：一言で言うと？

この論文は、**「情報の乱雑さ（エントロピー）を、数学的な『形』の大きさを測るメジャーで測ることに成功した」**という話です。

• 確率は「形」の重さ。
• エントロピーは「形」の中に隠された「円（サイクル）」の数の合計。
• 連鎖法則は、形を分解して足し算するルール。

少し複雑な「形」の動き（輸送）があると計算が難しくなりますが、シンプルなら、情報の法則がそのまま「形」の法則として美しく現れる、というのがこの論文のメッセージです。

---

著者の謝辞：
この研究は、サンタフェ研究所で始まりました。特にオメル・カントールさんには、重要な証明や、以前の間違いを指摘してくれたことについて感謝しています。数学の世界では、一度間違えたことを正すことも、大きな発見の一部なのです。

技術概要

ホモトピー基数とエントロピーに関する論文の技術的サマリー

アンドレス・オルティス＝ムニョス（Andrés Ortiz-Muñoz）によるこの論文は、ホモトピー型理論（HoTT）と情報理論を「ホモトピー基数（homotopy cardinality）」という概念を媒介として結びつけることを目的としています。特に、シャノン・エントロピーが特定のホモトピー型の基数として表現可能であることを示し、エントロピーの連鎖律（chain rule）を型理論の文脈で導出しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題設定

従来の集合論における集合の濃度（cardinality）や、ベイズとドラン（Baez and Dolan）によって提唱された群圏（groupoid）の基数は、ホモトピー型に対して実数値を割り当てる「ホモトピー基数」へと一般化されています。
本研究の核心的な問いは、**「情報理論における量（特にシャノン・エントロピー）を、ホモトピー基数として表現できるか？」**という点です。
また、ホモトピー基数が依存和（dependent sums）や依存積（dependent products）に対してどのように振る舞うか、特に確率分布やランダム変数の構造を型理論で記述する際に、どのような制約や反例が存在するかも重要な課題でした。

2. 手法と背景

• 理論的基盤: ホモトピー型理論（HoTT）の枠組みを使用。型を空間、項を点、同一性型（identity type）を道（path）として解釈します。
• ホモトピー基数の定義: 型 $X$ の基数 $|X|$ は、集合切断（set truncation）$[X]$ 上の和 $\sum_{x \in X} \frac{1}{|x=x|}$ として定義されます（ここで $|x=x|$ は自己同型群の基数に相当）。
• 確率型とランダム変数型:
  • 確率型: 基数が 1 となる型。
  • ランダム変数型: 基底型 $X$ 上の族 $P: X \to \mathcal{U}$ であり、その依存和 $\sum_{x:X} P_x$ の基数が 1 となるもの。これにより、確率分布 $p_x = |P_x|/|x=x|$ が誘導されます。
• 対数関数の級数展開: シャノン・エントロピーの定義式 $H(p) = -\sum p_x \ln p_x$ において、$-\ln(1-t)$ のべき級数展開 $-\ln(1-t) = \sum_{n=1}^\infty \frac{t^n}{n}$ を利用します。
• 構成: 有限巡回群 $Z/nZ$ のドブロッキング（delooping）$BZ_n$ を用いた「サイクル型（cycle type）」を定義し、これを用いて対数を型理論的に表現します。

3. 主要な貢献と結果

A. ホモトピー基数の演算則に関する定理

1. 依存和の可加性（Theorem 3.4, Omer Cantor による証明）:
   • 基底型 $X$ が 1-切断（1-truncated）であり、各ファイバー $P_x$ が有界な切断レベルを持ち、決定可能な等式（decidable equality）を持つ場合、依存和の基数は以下の式で計算されます。
     $$\left| \sum_{x:X} P_x \right| = \sum_{x \in X} \frac{|P_x|}{|x=x|}$$
   • これは、ファイバー上の輸送（transport）による軌道と安定化群の構造を考慮した、群作用を伴う和の公式です。
2. 依存積の非可乗性（Remark 3.6）:
   • 一般的な依存積（関数型）に対して、$|X \to Y| = |Y|^{|X|}$ という公式は成立しません。
   • 反例: 2 要素集合の型 $Fin(2)$ に対して、$\prod_{X:Fin(2)} X$ の基数は 0 となりますが、 naive な公式 $\sqrt{2}$ とは一致しません。これは、定義域が 1-型（非自明な自己同型を持つ）である場合に、関数型の構造が単純な積にならないためです。
   • ただし、定義域が集合（0-型）である場合、この公式は成立します。

B. エントロピーの型理論的定式化（Theorem 5.3）

• 結果: 決定可能な等式を持つ 1-切断の確率型 $X$ に対して、シャノン・エントロピー $H(p)$ は、以下のように構成された特定の型のホモトピー基数として表現されます。
  $$H(p) = \left| \sum_{x:X} \sum_{c:C} (c=c) \to \bar{X}(x) \right|$$
  • ここで、$C$ はサイクル型（$\sum_{n \ge 1} BZ_n$）、$\bar{X}(x)$ は $x$ の連結成分を除いた「補完型（complement type）」です。
  • この構成は、$-\ln(1-t)$ のべき級数展開と、サイクル型の基数 $|BZ_n| = 1/n$ を組み合わせることで、対数項を自然に導出します。

C. エントロピーの連鎖律（Proposition 5.6）

• 結果: 確率型 $A$ と、その上の確率型族 $B(a)$ について、ファイバー上の輸送作用（transport action）が**自明（trivial）**である場合、依存和のエントロピーは以下の連鎖律を満たします。
  $$H\left( \sum_{a:A} B(a) \right) = H(A) + \sum_{a \in A} p_a H(B(a))$$
• 意義: これは、Faddeev-Leinster によるシャノン・エントロピーの公理化における基本公理（連鎖律）を、HoTT の依存和の構造として再発見したものです。
• 限界: 輸送作用が非自明な場合（ねじれたファイバー束の場合）、結合分布は周辺分布の積にならず、この連鎖律は成立しません（Remark 5.7）。

4. 意義と考察

• 情報理論とホモトピー理論の統合: 確率分布やエントロピーといった情報理論の概念が、単なる数値計算ではなく、ホモトピー型の「形（構造）」そのものとして捉えられることを示しました。
• Faddeev-Leinster 特徴付けとの関係: 確率分布の合成（オペラッド的構成）が、HoTT における確率型の依存和に対応し、エントロピーの連鎖律がその保存則として現れることを明らかにしました。
• 未解決問題と今後の展望:
  • 依存和の公式が 1-切断の仮定なしに成り立つかどうかは未解決です。
  • 型レベルでのエントロピーの等価性（$E(\sum B(a)) \simeq E(A) + \sum E(B(a))$）が成り立つかどうかは、対数の積公式 $\ln(xy) = \ln x + \ln y$ を組み合わせの同型（bijection）で証明する難易度（首飾り（necklaces）の混合項の扱いなど）に起因して、現時点では障壁があると考えられています。
  • 相対エントロピーや相互情報量など、他の情報量も同様に表現できるかが今後の課題です。

結論

この論文は、ホモトピー基数が単なる集合の濃度の一般化を超え、情報理論の核心であるエントロピーを内包的に記述する強力な枠組みとなり得ることを示唆しています。特に、エントロピーを「補完型とサイクル型の関数型の基数」として構成する手法は、情報理論と高次圏論を結びつける新しい視点を提供しています。