A Kolmogorov-Smirnov-Type Test for Dependently Double-Truncated Data

失われた時間の謎

あなたは、ある特定の種類のオブジェクトが通常どのくらい長持ちするかを突き止めようとしている探偵だと想像してください。それは電球かもしれませんし、スマートフォンや、あるいはビジネスかもしれません。統計学の世界では、これを「寿命（lifespans）」の研究と呼びます。しかし、ここには落とし穴があります。すべてのオブジェクトが寿命を迎えるのを待って、それがどれくらい生きたかを確認することはできないのです。あなたは、ある特定の時点の「スナップショット」を見なければなりません。

ここで「切断（truncation）」という概念が登場します。これは、特定の部屋にすでに立っている人々だけを撮影するカメラのようなものだと考えてください。もし、現在待合室にいる人々だけを撮影しているとしたら、まだ到着していない人（左側切断）や、すでに去ってしまった人（右側切断）を見逃してしまいます。現実の世界では、このようなことが常に起こっています。例えば、2014年に閉鎖された企業について研究する場合、2014年時点で存続していた年齢の企業しか見ることができません。2015年に始まった企業は見逃されますし、2010年に閉鎖した企業も見逃されます。

通常、統計学者は「いつ始まったか」は「どのくらい続くか」とは無関係であると仮定します。1990年に設立された企業も、2010年に設立された企業も、すぐに閉鎖される可能性は同じであると想定するのです。しかし、現実の世界では物事はそれほど単純ではありません。平均余命は時間の経過とともに変化しますし、何かを始める時の年齢が、その生存期間に影響を与えることも実際にあります。この論文は、開始時期と終了時期が密かに繋がっている（まるで常にシンクロして動いている二人のダンサーのように）、そのような状況下で、寿命が予測可能なパターンに従うかどうかをテストするという難解な問題に取り組んでいます。

二重切断データのダンス

ロストック大学の統計学者、アンネ＝マリー・トパルクスとラファエル・ヴァイスバッハは、このダンスフロアの謎を解くための新しいツールを作ることにしました。彼らは「コルモゴロフ・スミルノフ型検定（Kolmogorov-Smirnov-Type Test）」を作成しました。これは、理論的な推測がデータの乱雑な現実にどれほど適合しているかを測定するための、非常に精密な定規を作ったということを、格好良く表現したものです。

彼らの主な任務は、特定の仮説を検証することでした。すなわち、「企業の寿命は指数分布に従うか？」という問いです。平易な言葉で言えば、指数分布は、何かが閉鎖されるリスクが一定であることを示唆しています。それは放射性原子のようなものです。原子がどれほど古くなろうとも、次の1秒間に崩壊する確率は常に同じです。もしこれが企業についても真であれば、設立20年の企業が明日倒産する確率は、設立1年の企業が倒産する確率と同じであることになります。

しかし、著者たちはこれが物語のすべてではないのではないかと疑っていました。彼らは、現実の世界では「切断時の年齢（研究が始まる時）」と「寿命（企業が存続する期間）」がしば頻繁に互いに依存していることを知っていました。この繋がりをモデル化するために、彼らは「コピュラ（copula）」と呼ばれる数学的ツール、具体的にはファーリー・ガンベル・モーガン・ステルン（FGM）コピュラを使用しました。コピュラとは、2つの別々の確率曲線を貼り合わせ、それらが同期して動くことを可能にする「接着剤」のようなものだと考えることができます。FGMコピュラは、それらが同じ方向に動いている場合でも、逆方向に動いている場合でも、それらを結合できるという点で特別です。

ドイツのビジネス実験

新しい定規をテストするために、著者たちは膨大なデータセット、すなわち55,279のドイツ企業を調査しました。これらは1990年から2013年の間に設立された企業であり、研究では2014年から2016年の間に事業を終了した企業を対象としました。データには2014年時点で存続していたが2016年までに閉鎖した企業しか含まれていなかったため、このデータは「二重に切断（doubly truncated）」されていました。つまり、始まりと終わりの両方で切り取られていたのです。

研究者たちは、このテストを2回行いました。まず、開始日と寿命が完全に独立していると仮定しました（「簡単な」バージョン）。次に、古い企業が新しい企業とは異なる挙動を示す可能性を考慮して、彼らのFGMコピュラを用いて再びテストを行いました。

結論：時計は一定ではない

結果は明確かつ決定的でした。著者たちがデータを「指数分布」（閉鎖のリスクは時間を通じて一定であるという考え）と比較したところ、検定統計量は非常に大きな値を示しました。実際、それはシミュレーションを通じて算出された臨界値を大きく上回っていました。

この論文は、ドイツ企業の寿命が一定のハザード率を持つ指数分布に従うという仮説を明確に棄却しています。言い換えれば、データは、ビジネスが閉鎖されるリスクが年齢に関わらず同じであるという考えが間違っていることを証明しています。「年齢に依存しない閉鎖ハザード（age-homogeneous closure hazard）」（年齢は関係ないという考え）は明らかに誤りでした。

また、著者たちは開始日と寿命の間の依存関係が実在することも発見しました。彼らは約0.023の「ケンドールのタウ（Kendall's tau）」を算出しました。これは小さく聞こえますが、論文では統計的に有意であると確認されています。この正の依存関係は、生存期間に対する負の時間的傾向を示唆しています。つまり、時間が経過するにつれて、これらの企業の期待寿命は実際に減少したということです。

その手法（舞台裏の魔法）

どのようにしてこれほどの精度で計算できたのかと疑問に思うかもしれません。著者たちは単に推測したのではなく、厳格な数学的エンジンを構築しました。彼らは「関数的デルタ法（functional delta method）」と「ドンスカー・クラス（Donsker-class）の議論」と呼ばれる手法を用いました。もしこれが意味不明に聞こえるなら、データが完璧で滑らかな線ではなく、5万5千もの個別の点からなる、ギザギザで凹凸のある乱雑な塊であったことを処理する方法だと考えてください。

彼らは、グラフ上の特定の「交差点」と「投影」をチェックすることで数値を算出できるアルゴリズム（アルゴリズム1）を開発しました。あらゆる時点をチェックする（それには永遠に時間がかかるでしょう）代わりに、彼らの巧妙な数学的手法により、推測と現実の間の最大の差異を見つけ出すために、有限の地点のみをチェックすればよいことが示されました。

結果が実際に有意なものなのか、それとも単なる偶然なのかを判断するために、彼らは「臨界値」をシミュレートする必要がありました。この複雑で依存関係のあるデータに対して単純な公式は存在しなかったため、彼らはコンピュータ・シミュレーションを1,000回実行し、指数分布の仮説が真であった場合に検定統計量がどのようになるべきかを、ランダムな「ブラウン運動の架け橋（Brownian bridges）」（一種のランダムウォーク）を生成することで確認しました。実際のデータは、このシミュレーションの範囲を大きく外れており、棄却は否定できないものでした。

まとめ

この論文は単に「パターンを見つけた」と言っているのではありません。「ドイツ企業において、失敗のリスクが一定であるという単純な考えが間違っていることを、数学的に証明した」と言っているのです。著者らは、この棄却の理由は、単なる企業の開始時期のランダムな分布ではなく、時間の経過に伴うビジネス環境の変化にある可能性が高いと示唆しています。

この論文はドイツの企業に焦点を当てていますが、彼らが構築したツールは、開始時と終了時が結びついているあらゆる種類の寿命データに対して、理論をテストするための強力な新しい方法となります。これは、データの世界においては物事は決して独立しておらず、時には、過去と現在が共に踊っていることを認めることこそが、未来を理解するための最善の方法であるということを思い出させてくれます。