Tsallis Entropy derived from the Chaitin-Kolmogorov Informational Entropy

大きなアイデア：「不規則な」ルールが新しい数学を生み出す理由

あなたがコンピュータプログラムを使って物語を書こうとしている場面を想像してみてください。かつての「古典的」な考え方（物理学者が1世紀以上にわたって使用してきたもの）では、もしランダムな文字の長いリストがある場合、その情報の量や「複雑さ」は直線的に増加します。物語の長さが2倍になれば、複雑さも2倍になります。これはレンガを積み上げるようなものです。レンガ1個が少し高さを加え、レンガ2個は高さを2倍にします。これは加法的な振る舞いと呼ばれます。

しかし、この論文の著者であるエアルトン・デップマン（Airton Deppman）は、ルールが存在する場合、この直線的な数学は通用しないと主張しています。

次のように考えてみてください：

• 古い方法（ルールなし）： ブロックでタワーを作っていると想像してください。どんなブロックでも、どのブロックの上にも置くことができます。タワーは予測通りに成長します。
• 新しい方法（ルールあり）： 次に、厳格なルールブック（「文法」）があり、「青いブロックの上にしか赤いブロックを置いてはいけない」とか、「『A』を3回連続で並べてはいけない」といった決まりがあると想像してください。これらのルールはフィルターとして機能します。それらは、あなたが作り得たはずの多くのタライ可能なタワーを排除し、特定の、より小さな有効なタワーの集合だけを残します。

デップマンの論文は、情報の生成方法にこれらの「文法ルール」を適用すると、数学が変化すると主張しています。直線的に成長する代わりに、複雑さは曲線（具体的にはべき乗則）を描いて成長し始めます。この曲線的な数学は、**ツァリス・エントロピー（Tsallis Entropy）**として知られています。

コアとなる発見：文法がコストを変える

この論文は、アルゴリズム情報理論と呼ばれる概念を使用しています。これは、特定のテキストの文字列を作成するために、どれだけの「コード」や「指示」が必要かを測定することだと考えてください。

• テキストが完全にランダムである場合、すべての文字を書き記さなければならないため、コードは長くなります。
• テキストがパターン（詩や文章など）に従っている場合、パターンによって圧縮が可能になるため、コードは短くできます。

デップマンは、制限的な文法ルール（言語のルールのようなもの）を課すと、文字列を生成するための「コスト」は単に線形に上昇するのではなく、べき乗則に従うことを示しています。

「語彙メニュー」の比喩：
レストランを想像してください。

• 古典的な視点： 10個の材料を使った料理が欲しいなら、10項目のメニューが必要です。20個欲しければ、20項目必要です。メニューのサイズは線形に成長します。
• デップマンの視点： ここで、レストランに厳格なルールがあるとします。「自然界にある材料のみを使用した料理を注文でき、スパイスを2回繰り返してはいけない」というルールです。このルールはメニューを変えます。より長く複雑な料理を作ろうとしても、有効な組み合わせの数は、以前ほど爆発的に増えることはありません。これらの料理を作るための「コスト」は、異なる、曲線の経路を辿ります。

この曲線的な経路が、ツァリス・エントロピーです。論文は、これが単なるランダムな数学的トリックではなく、文字列がどのように形成されるかを制限するルール（文法）が存在することから導かれる必然的な結果であることを証明しています。

実生活とのつながり：ジップの法則と言語

この論文は、この抽象的な数学を、人間が実際にどのように話すかという事実に結びつけています。

• ジップの法則（Zipf's Law）： これは言語学における有名な観察です。どの言語においても、最も頻繁に使われる単語（例えば "the"）は、2番目に多い単語の2倍、3番目に多い単語の3倍の頻度で現れるというものです。これは特定の曲線に従っています。
• つながり： デップマンは、彼が数学で使用した「文法ルール」が、自然にこの正確な曲線を生み出すことを示しています。論文は、人間の言語がジップの法則に従う理由は、私たちの脳（あるいは言語の「ユニバーサル・チューリングマシン」）が、これらの非線形でルールに基づいた制約の下で動作しているからであると示唆しています。

熱とコンピュータについては？（ランダウアーの限界）

この論文は、**ランダウアーの限界（Landauer's Limit）**と呼ばれる有名な物理学のルールにも触れています。このルールは、情報の断片を消去すること（例えばファイルを削除すること）は、微量の熱を発生させるというものです。

• 発見： 「古典的」な世界では、ビットを消去するコストは特定の量の熱を伴います。しかし、この「ルールに基づいた（ツァリス）」世界では、長期的な相関関係（データの遠く離れた部分を結びつけるルール）がある場合、情報を消去する際に発生する熱が少なくなることを論文は計算しています。
• 比喩： 書類をシュレッダーにかける場面を想像してください。混沌とした紙の山（ルールなし）の場合、シュレッダーにかけるには多大な労力が必要で、摩擦（熱）が生じます。しかし、もし紙がすでに特定のルールに基づいた整然としたスタックとして整理されているなら、シュレッダーにかける作業はより効率的になり、廃棄熱が少なくなるかもしれません。

「オメガ数」と停止問題

最後に、この論文は**チャイティンのオメガ数（Chaitin's Omega number）**と呼ばれる有名な数学的概念について論じています。この数は、ランダムなコンピュータプログラムが、永遠に走り続けるのではなく、最終的に停止（ハルト）する確率を表しています。

• ひねり： ルールがない世界では、この数は「圧縮不可能」です（そのコードを記述するための短い形式が存在しません）。
• 新しい結果： 文法ルールを加えると、この数は変化する（$\Omega_q$ になる）ことが論文は示唆しています。これは、システムにルールを加えていくにつれて、「決定不能性」（プログラムが停止するかどうかという謎）が連続的に変化することを意味しています。これは、システムがより制約される、あるいは制約が緩まるにつれて、複雑性がどのように進化するかを理解するための扉を開くものです。

まとめ

簡単に言えば、この論文はルールが情報の数学を変えると主張しています。

1. ルールなし： 情報は直線的に成長する（古典的エントロピー）。
2. ルールあり（文法）： 情報は曲線を描いて成長する（ツァリス・エントロピー）。
3. なぜ重要か： これは、なぜ人間の言語や複雑なシステムが特定のパターン（ジップの法則など）に従うのかを説明しており、ルールに基づいたシステムでは、情報の生成や消去が、私たちが以前考えていたよりも「エネルギー効率が良い」（熱が少ない）可能性があることを示唆しています。

著者は、これがツァリス・エントロピーが、単に公式を推測するのではなく、文字列がどのように構築されるかという根本的なルールから、ボトムアップで初めて導出されたものであると主張しています。