Discrete-time, discrete-state multistate Markov models from the perspective of algebraic statistics

あなたは、物事が時間の経過とともにどのように変化するかを解明しようとしている探偵だと想像してください。ある人の健康状態（健康、病気、あるいは死亡）を追跡したり、システムのステータス（稼働中、不具合、故障）を追跡したり、あるいは単語の文字が一つずつ現れる様子を追跡したりするかもしれません。統計学の世界では、こうした変化する物語は**多状態マルコフモデル（multistate Markov models）**と呼ばれます。これらは、次に起こるステップにとって重要なのは「今どこにいるか」だけであり、「これまでの経緯」は関係ない、という移動の可能性を示す地図のようなものです。

長い間、統計学者たちは標準的な数学的ツールを用いてこれらの地図を研究してきました。しかし、この論文において、研究チームは異なるレンズを通してこれらの地図を見ようと決めました。それが**代数統計学（algebraic statistics）**です。これは、単に数値を計算するのではなく、隠れたパターンや規則、具体的には、その物語がモデルのルールに従っている場合に必ず真となる数学的な方程式を探す作業です。いわば、虫眼鏡を秘密のデコーダーリング（暗号解読器）に持ち替えるようなものです。

2種類のタイムトラベラー

この論文は、これらのモデルを2つの主要な陣営に分けています。その違いは極めて重要です。

1. 「非定常（Nonhomogeneous）」なトラベラー（時間に敏感な者たち）:
   月曜日は「家」から「仕事」へ移動することを好むかもしれないが、火曜日には同じ移動が不可能になるかもしれない、といった具合に、移動のルールが毎日変わるトラベベラーを想像してください。この論文は、これらのトラベラーにとって、数学的なルールが驚くほど整然としていることを証明しています。確率が100%になるという事実を一旦無視すれば、これらのモデルは**分解可能な階層モデル（decomposable hierarchical models）**と呼ばれる既知の代数的な形状のファミリーに完璧に適合します。

   • 朗報: これらが整然としたファミリーに適合するため、私たちはその「秘密のデコーダーリング（消滅イデアル）」がどのような姿をしているかを正確に知っています。それは、単純で予測可能な方程式で構成されています。
   • 結果: 研究者がこれらのトラベラーが辿った最も可能性の高い経路（最大尤度推定）を見つけ出そうとしたとき、高度な代数的メソッドは、従来の統計学的手法と同じ答えを出しました。両者は完全に一致しています。

2. 「定常（Homogeneous）」なトラベラー（時間に盲目な者たち）:
   次に、ルールが決して変わらないトラベラーを想像してください。もし月曜日に「家」から「仕事」へ移動できるのであれば、火曜日でも水曜日でも、そして永遠に、それは可能です。これは**時間定常性（time homogeneity）**と呼ばれます。

   • ひねり: この論文は、この単純さは実は「錯覚」であると主張しています。ルールを時間を通じて一定に強制することで、時間に敏感なバージョンには存在しない、追加の隠れた数学的制約が生じるのです。
   • 驚き: 研究者たちは、これらのトラベラーにとっての「秘密のデコーダーリング」は、はるかに複雑であることを見出しました。それは単なる単純な方程式のセットではなく、もつれた網のようです。実際、彼らは具体的な例（1,000人の架空のトラベラーを用いたシミュレーション）を通じて、より単純なモデルで使用される標準的な代数公式が、ここでは失敗することを示しました。代数的アプローチは迷路に迷い込みますが、古典的な統計学的手法は容易に出口を見つけ出します。
   • 証明: 彼らは、これらのトラベラーのすべての可能な経路の集合が、基本的な代数方程式が示唆するよりも厳密に小さいことを示しました。言い換えれば、モデルの代数的な「形」は、実際のモデル自体よりも大きいのです。

シェイクスピアの単語ゲーム

理論をテストするために、著者たちは抽象的な数字だけでなく、ウィリアム・シェイクスピアの著作からの実際のデータを使用しました。彼らはあらゆる単語を一つの「旅」として扱いました。

• 設定: 彼らはアルファベットの26文字（およびスペース）を「状態」へと変換しました。例えば「the」という単語は、一つの経路です：'t' からスタート $\to$ 'h' へ移動 $\to$ 'e' へ移動 $\to$ スペースで停止。
• 発見:
  • 彼らは単語が出現する確率を計算しました。「the」という単語について、モデルは「時間に盲目な（定常）」バージョンでは1.76%の確率を予測しましたが、「時間に敏感な（非定常）」バージョンでは4.43%の確率を予測しました。
  • 「時間に敏感な」バージョン（非定常）の方が、実際にシェイクスピアの本の中に現れる「the」のカウント（約3.25%）に近い結果となりました。
  • また、「northumberland」のような単語についても調査しました。モデルはこの単語を極めて稀（確率がほぼゼロ）であると予測しましたが、実際には本の中に163回登場していました。なぜでしょうか？それは、モデルが一般的な文字のパターンのみを捉えており、繰り返される特定の登場人物の名前を捉えていないためです。これは、モデルの限界を浮き彫りにしています。つまり、モデルは一般的な文法は捉えますが、特定のプロット上のポイントは捉えません。

彼らが解決できなかったこと

この論文が「何をやっていないか」を知っておくことも重要です。

• 「定常」の謎: 彼らは「時間に盲目な」トラベラーに関するいくつかの追加ルールは見つけ出しましたが、完全なルールのリストはまだ持っていないと明言しています。彼らが見つけた方程式は、あくまで「部分的な生成集合」に過ぎません。これらのモデルの完全な代数的記述は、依然として未解決の問題です。
• 欠損データ: 論文は、「右側打ち切り（right censoring）」の問題には取り組んでいないことを認めています。これは、トラベラーが途中でゲームを抜けてしまうこと（例：臨床試験から脱落する患者）を指します。著者らは、単に「打ち切り」の状態を追加するだけでは、完全な代数的真実を捉えるには不十分である可能性を示唆しており、これは将来に向けた大きな未解決問題であると述べています。
• 不確実性: 彼らは、これらの新しい代数的ツールを用いて、代数的な結果の「曖昧さ」や不確実性（信頼区間など）をどのように測定するかについては解明していません。これも将来への課題です。

結論

この論文は、二つの世界の架け橋となっています。出来事を追跡するという実用的な世界と、代数幾何学という抽象的な世界との架け橋です。

• 時間に敏感なモデルについては: 橋は頑丈で舗装されています。代数的ツールは完璧に機能し、標準的な手法と一致します。
• 時間に盲目なモデルについては: 橋は不安定です。代数的ツールは標準的な手法よりも複雑であり、それ単独では必ずしも正しい答えを与えません。

著者たちは、代数統計学がこれらのモデルの構造を見るための美しい新しい方法を提供している一方で、「時間に盲目な」トラベラーについては、効率的に任務を遂行するために依然として旧来の統計学的手法が必要であると結論付けています。彼らは扉を開けましたが、「定常」モデルの中にある家具のすべてをまだマッピングできていないのです。