Distribution Analysis of Discrete States: reconstructing transition processes from time-resolved state distributions

あなたは、ある謎を解こうとしている探偵だと想像してください。しかし、あなたはノートを失くしてしまいました。手元にあるのは、パーティーの開始時に撮られた写真と、1時間後に撮られた写真の2枚のスナップショットだけです。あなたは、最初の写真で赤、青、緑のシャツを着ている人が何人いたかを知っています。そして、2枚目の写真でもそれらの色の人が何人いるかも知っています。しかし、誰がどこへ移動したのかは全く分かりません。赤いシャツの人が青いシャツの人と入れ替わったのでしょうか？ その人は部屋から出て行ってしまったのでしょうか？ それとも、緑のシャツを着た新しい人が入ってきたのでしょうか？

これは、漁業、選挙、あるいはプラスチックの分解の研究など、全く異なる分野で科学者が直面しているパズルです。彼らはしばしば、集団（魚、有権者、あるいは企業など）の「前」と「後」の写真を見ることになりますが、その間の個々のステップ（動き）を目にすることはありません。何十年もの間、専門家たちは複雑な数学を用いて隠れた動きを推測しようとしてきましたが、多くの場合、壁に突き当たってきました。なぜなら、同じ2枚の写真に適合する「物語」があまりにも多すぎるからです。この論文は、このパズルを解くための、新しく巧妙な方法を紹介しています。それは、群衆をパイプのネットワークのように扱い、「最大エントロピー」と呼ばれる原理（これは、事実に基づいた、最も退屈で偏りのない物語を選ぶという、もっともらしい言い方です）を用いて、その群衆が辿った最も可能性の高い経路を導き出すものです。それは、ダンサーの開始時と終了時の位置だけを知っている状態で、ダンスのルーチンを再構成しようとするようなものです。ただし、あるダンサーは前進しかできず、ある者は行ったり来たりができ、またある者はどこへでもジャンプできるという条件が付いています。

---

偉大なる群衆の再構成者

この論文は、DADS（離散状態の分布分析：Distribution Analysis of Discrete States）と呼ばれる新しいツールキットを提示しています。DADSを、静止した群衆のスナップショットを、その群衆がどのように動いたかを示す映画へと変える「ユニバーサル・トランスレーター（万能翻訳機）」だと考えてください。海洋の魚、選挙の有権者、あるいは倉庫内のバッテリーを追跡する場合でも、数学は驚くほど同じです。つまり、時刻Aにおける各「状態」（年齢、政党、サイズなど）にいるものの数と、時刻Bにおける各状態の数があるだけなのです。

DADSの天才的な点は、数学的な計算を行う前に、科学者に極めて重要な決定を一つ強いることです。それは、**「私たちはどのようなダンスフロアの上にいるのか？」**と問いかけることです。

• 一方通行の道： 物事は前進することしかできないのか？（魚が年を取る、あるいはプラスチックが分解していくようなケース）。
• 近隣エリア： 物事は少し左や右に動くことができるのか？（人々が「やや幸せ」から「非常に幸せ」へと意見を変えるようなケース）。
• フリーフォーオール（自由奔放）： 何でも好きな場所にジャンプできるのか？（有権者がどの政党からどの政党へも切り替えられるようなケース）。

この決定は、**レベル0・トポロジー（Level 0 Topology）**と呼ばれます。論文は、これを間違えることは、壁を無視して迷路を解こうとするようなものだと主張しています。もし、人々が小さなステップしか踏めない状況なのに、どこへでもジャンプできると仮定してしまえば、あなたの計算は大きく狂ってしまうでしょう。この「ダンスフロア」のルールを先に固定することで、DADSは2枚の写真の間で人々がどのように流れたのか、最も可能性の高い経路を計算できるのです。

機械の中の「幽霊」

この論文の大きな発見の一つは、これらの計算に付きまとう「幽霊」についてです。2枚の写真から動きを推測しようとすると、そこには常に、目に見えない隠れた変数、すなわち「幽霊」となる数値が存在します。著者はこれを $\delta$ （デルタ）と呼んでいます。

彼らは、結果を狂わせる可能性がある4種類の異なる幽霊が存在することに気づきました。

1. 物理的な幽霊： 全員を見ていない。例えば、大きな魚だけを捕らえ、小さな魚を見逃したのかもしれません。
2. 意味論的な幽霊： ラベルの意味が変わった。例えば、「左派」が1980年における意味と2020年における意味は全く異なっていたかもしれません。
3. 認識論的な幽霊： 群衆の形状を知らない。平均値は分かっていても、人々がどれくらい分散しているのかは分かりません。
4. 構造的な幽霊： これは新しい発見です！これはデータの不備ではなく、ゲームのルールに関するものです。もしダンスフロアが多くの動き（フリーフォーオールの状態など）を許容している場合、たとえデータがどれほど優れていても、数学的に単一の答えを見つけ出すことは不可能です。

論文は、あるシステム（年を取る魚など）においては、ルールが非常に厳格であるため（年を取ることはあっても、若返ることはない）、幽霊は簡単に修正可能な単一の数値に過ぎないことを示しています。しかし、他のシステム（意見の変化など）では、幽霊は特定するために追加のルールを必要とする「可能性の雲」となります。

大いなる「おっと」の瞬間

ここで、物語は非常に正直で人間的なものになります。著者は、**結合指数（Coupling Index, $K$）**と呼ばれる「魔法の数字」を見つけたと思って論文を書き始めました。彼らは、この数字によって、システムが方向性を持った目的のある変化（行進する群衆のような）をしているのか、それとも単にランダムな変化（シャッフルする群衆のような）をしているのかを判断できると考えていました。彼らがバッテリー、選挙、調査のデータを見たところ、数字は見事に一致しており、普遍的な変化の法則を示唆しているように見えました。

しかしその後、彼らは「統計的探偵」のゲームをすることにしました。彼らはこう自問しました。「このパターンは単なる偶然ではないか？ ランダムなノイズではないか？」 彼らは、もし何も起きていなかったとしても、そのパターンが現れるかどうかを確認するために、大規模なシミュレーション（ブロック・ブートストラップ・ヌルテスト）を実行しました。

結果は、そのパターンは消え去りました。

論文は、その「魔法の数字」がおそらくランダムなサンプリング・ノイズによる偶然の一致であったことを認めています。44回のテストのうち、有意な結果を示したのはわずか2回であり、これは純粋な運によって起こり得る結果とまさに一致していました。著者はこの事実を隠さず、むしろ誇らしげに自らの主張を撤回しました。彼らは、「私たちは間違っていた。そして、どのようにしてそのことに気づいたのかをここに記す」と書きました。この自己修正は、バグではなく「機能」として提示されており、このフレームワークが自らの間違いを検知できるように設計されていることを示しています。

7つの物語、1つの数学

この新しいツールキットが機能することを証明するために、著者は7つの非常に異なる現実世界の物語に適用しました。

1. ドイツの選挙： ワイマール共和国（1928年）と現代のドイツ民主主義（1972年）は、どちらも全く同じ「エントロピー指紋」（無秩序の尺度）を持つ最大安定点に達していることを見出しました。これらは44年の開きがありますが、現代のシステムははるかに安定しており、極端な政党の台頭を2.3倍の係数で抑制しています。
2. 有権者の意見： 「デカップリング（分離）」効果を発見しました。選挙結果が極端化していく一方で（人々が極端な勢力に投票している）、有権者自身の自己記述は中間にとどまっていました。人々は、自分が極端であると認めることなく、周辺的な勢力に投票していたのです。
3. 生活満足度： 1949年以前はデータが信頼するには曖昧すぎましたが、それ以降は、危機（パンデミックなど）がどのように人々を「高い満足度」と「低い満足度」の両方へと同時に押し上げ、分布を「鋭く」させたかを追跡できることを示しました。
4. プラスチックの分解： ラボ実験において、プラスチックがどのように分解していくかを追跡しました。硬さや重量といった測定方法の違いによって、異なる「ダンスフロア」のルールが必要であることを発見しました。ある変化は一方通行（不可逆）ですが、結晶化のような変化は行ったり来たりすることが可能です。
5. 企業の生存： 普遍的なルールを確認しました。新しい企業は古い企業よりも失敗する確率がはるかに高いというルールです。この「新しさによる負債（liability of newness）」の曲線は、米国とドイツで同一であり、数学が国境を越えて機能することを証明しました。
6. 甲殻類の成長： 年齢ではなくサイズによってネプティブス（一種のロブスター）を追跡しました。データの中に「崖」を発見しました。ロブストが法定漁獲サイズに達すると、調査データからほぼ瞬時に消失したのです。これは生物学的な謎ではなく、漁業規制によるものでした。

まとめ

論文は、群衆の個々のステップを常に目にすることはできなくても、ゲームのルールを尊重すれば、その流れを再構成できると結論付けています。最も重要な教訓は、不可逆的なシステム（老化や分解など）は、可逆的なシステム（意見の変化など）よりも数学的に解きやすいということです。しかし、たとえ数学が困難であっても、このフレームワークは、私たちの結論が真実なのか、それとも単なるランダムなノイズなのかをチェックする方法を提供してくれます。

著者は単に新しい計算機を作ったのではありません。不確実は認め、自らの仕事を検証し、漁師の獲物、有権者の投票、そして一片のプラスチックの間に存在する深い構造的な類似性を見出すという、新しい「考え方」を構築したのです。これは、科学において、自分が「何を知らないか」を知ること、そして「間違っていた」と言う勇気を持つことが、答えを見つけることと同じくらい重要であることを思い出させてくれます。