Theory of Subjective Entropy: Cognition as compression of information
本論文は、ランダム性をデータとエージェントの内部モデルとの関係として定式化する「主観的エントロピー理論」を提案し、コンテキストツリー重み付けアルゴリズムによる圧縮性の尺度が、従来の頻度に基づくモデルよりも人間のシーケンス予測精度をより良く予測することを実験を通じて実証する。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
あなたの脳が、単なるランダムな出来事の連なり（例えば、コインが何度も裏表に返る様子）という謎を解こうとしている、非常に賢い探偵であると想像してみてください。何十年もの間、科学者たちは「シャノン・エントロピー」と呼ばれるツールを使ってこれらの出来事を観察してきました。これは基本的に、「このコインは公平か？」と問いかけるものです。もしコインが公平であれば、答えは「はい、完全にランダムです」となり、探偵はパターンを見つけることを諦め、パターンはないものと仮定します。しかし、問題はコインにあるのではなく、探偵のノートにあるとしたらどうでしょう？この論文は、「アルゴリズム情報理論」と「能動的推論（アクティブ・インファレンス）」という、科学の非常に興味深い領域に踏み込んでいます。アルゴリズム情報理論を、ファイルを圧縮してサイズを小さくする（フォルダをzip形式にするような）「圧縮」の度合いを調べる研究だと考えてください。もしきつく圧縮できれば、そこにはパターンがあります。もし膨大なままなら、それは真にランダムです。能動的推論とは、私たちの脳が次に何が起こるかを予測することで、自分自身の「驚き」を常に縮小しようとしているという考え方です。これが重要なのは、私たちの世界の見方を変えるからです。つまり、宇宙は混沌としているのではなく、私たちの内部モデルが、隠された秩序を見るのに十分な能力を持っていないだけかもしれない、ということです。
著者であるミカエル・リンドマーク・メスガードとヤコブ・カルゴ・モルテンセンは、「主観的エントロピー理論」という新しい概念を提案しています。彼らの大きな主張は、「ランダムさ」とは単にコインや情報の源に備わっている特性ではなく、一連の出来事と、それを見ている人の内部モデルとの間の「関係性」であるということです。これを検証するために、彼らは159人の参加者を対象とした2つのオンライン実験を行いました。参加者は、画面に現れる正方形の色（青またはオレンジ）を予想するゲームを行いました。正方形はバイナリ・シーケンス（1と0のようなもの）に従って表示されましたが、これは全体としてランダムになるように生成されていました。つまり、全体を見れば、それは公平なコイン投げのように、何のパターンも見当たらないように見えるものです。しかし、研究者たちは「コンテキスト・ツリー・ウェイティング（CTW）」アルゴリズムという特別な数学的ツールを使用して、これらのシーケンスを小さな塊（チャンク）に切り分けました。いくつかの塊は「サブ・エントロピック（低エントロピー的）」であり、そこにはCTWモデルが検知できる隠れた圧縮可能なパターンが存在していました。一方、他の塊は「スーパー・エントロピック（高エントロピック的）」であり、それらは真に乱雑で圧縮不可能なものでした。
ここにひねりがあります。シーケンス全体はランダムであったにもかかわらず、参加者はランダムに予想したわけではありませんでした。研究の結果、シーケンスが「サブ・エントロピック」な領域（隠れたパターンを持つ塊）に入ったとき、参加者は次の色を予測する能力が有意に高くなることが分かりました。実際、塊がより「圧縮可能」であればあるほど（CTWモデルがどれだけそのデータを縮小できるか）、参加者の的中率は高くなりました。この論文は、人間はこれらのCTWモデルのように振る舞っており、目にするデータの最短の「zipファイル」を常に探し求めているのだと示唆しています。パターンを見つけると、彼らは予測の精度を高めるのです。
決定的なことに、著者らはいくつかの単純な説明を排除しました。参加者が単にこれまでに青やオレンジが何回現れたかを数えていた（単純な頻度カウント）のではないことを示しました。彼らは、より深く複雑な構造を実際に検知していたのです。また、彼らは結果を「公平なコイン」の基準と比較し、全体の精度は5割付近（偶然の範囲）を漂っていたものの、パターンが存在する局所的な領域での精度は明らかに高かったことを明らかにしました。この論文は、これが「自由エネルギー最小化」と呼ばれる原理によって起きていることを示唆しています。簡単に言えば、私たちの脳は「驚き」を嫌うため、情報を圧縮して世界をより予測可能なものにするために、積極的にパターンを狩り続けているのです。
研究は高い精度でこれを測定しました。89,520回の試行にわたり、22,000以上の「サブ・エントロピック」な領域と、22,000以上の「スーパー・エントロピック」な領域を特定しました。サブ・エントロピックな領域において、追加の「圧縮」の単位（パターンをどれだけ縮小できるかの尺度）が1ビット増えるごとに、正解の確率が上昇することが分かりました。パターンが存在しないスーパー・エントロピックな領域では、参加者の精度は偶然のレベルにとどまりました。興味深いことに、乱雑な領域が長くなるにつれて、彼らはパターンを探すのをやめる傾向があり、これは彼らが「いつ諦めるべきか」を知っているほど賢いことを示唆していました。
では、これは何を意味するのでしょうか？これは、世界が完全にランダムに見える状況であっても、私たちの脳が常に現実の「郵便番号（zip code）」をスキャンしていることを示唆しています。私たちは単なるノイズを見ているのではありません。潜在的な構造を見ているのです。もしシーケンスに、たとえ微小なものであっても隠れたパターンがあれば、私たちの内部モデルはそれに捉まり、予測を向上させることができます。論文は、「ランダムさ」は主観的であると結論づけています。あるシーケンスは単純な観察者にとってはランダムかもしれませんが、より賢い観察者にとっては秩序に満ちている可能性があります。この枠組みは、単に画面上の色を予想する方法を説明するだけでなく、あらゆる認知システムがどのように情報を処理するかについての新しい考え方を提示しており、思考するという行為そのものが、宇宙を理解可能なものへと圧縮する行為であることを示唆しているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。