Modeling and estimating skewed and heavy-tailed populations via unsupervised mixture models

ある群衆の身長に基づいて、その人々を表現しようとしている場面を想像してみてください。ほとんどの人は平均的な身長で、部屋の中央に美しい、滑らかな丘（ヒル）を形成しています。しかし、その後ろには、周囲の人々を見下ろすほど巨大な、数人の巨人が立っています。

保険請求、都市の規模、あるいはバスケットボールのスコアといったデータの世界では、この「丘と巨人」は非常に一般的な問題です。中央部分（「ボディ」）は通常、予測可能なパターンに従いますが、巨人たち（「テイル」）はあまりにも巨大で稀であるため、既存のルールを壊してしまいます。群衆全体を一つの単一の数学的公式で説明しようとすると、通常は失敗します。平均的な人々を完璧に捉えようとすれば巨人を逃してしまい、逆に巨人に合わせようとすれば平均的な人々が奇妙に見えてしまうのです。

長年、統計学者はこれらを解決するために、ボディ用の異なる数式とテイル用の異なる数式を「接合（スプライシング）」する方法を試みてきました。しかし、これは異なる二種類の布を縫い合わせるようなものです。どこで切り、どこで貼り合わせるかという特定の地点を選ばなければならず、継ぎ目に段差ができないように端を完璧に一致させる必要があります。この「切り口」（閾値と呼ばれます）を見つけるのは頭の痛い問題であり、時には計算が非常に複雑になりすぎて、答えを簡単に算出できなくなることもあります。

新しい「魔法のブレンド」
トレント大学の研究者であるマルコ・ビー（Marco Bee）とフラビオ・サンティ（Flavio Santi）は、この群衆に対する新しい視点を提案しました。彼らは、二つの布を縫い合わせるのではなく、塗料のように混ぜ合わせることを提案しています。

彼らはこれを**「静的な対数正規分布-GPD混合モデル（static lognormal-GPD mixture）」**と呼んでいます。仕組みは以下の通りです：

• ボディの塗料： 彼らは、日常的なデータ（丘）を記述するのに優れた「対数正規分布（Lognormal）」の公式を使用します。
• 巨人の塗料： 彼らは、巨大で稀な外れ値（アウトライヤー）を扱うために特別に設計された、特別な公式である「一般化パレート分布（GPD）」を使用します。
• 混ぜるスプーン： 彼らは切り貼りをするのではなく、「これらの二つの塗料を混ぜ合わせる」と考えます。データの一定割合が対数正規分布の塗料から来ており、残りがGPDの塗料であるとします。

最も素晴らしい点は、切り口が存在しないことです。このモデルは「教師なし（unsupervised）」であり、平均的な人と巨人がどこから始まるのかを推測する必要はありません。数学がそれを自動的に判断します。その移行は、ギザギザの継ぎ目ではなく、グラデーションのように滑らかです。

どのようにテストしたか
著者らは、これがうまくいくと単に推測したのではなく、膨大な数のコンピュータ・シミュレーションを実行して、それが本当に通用するかどうかを確認しました。

• 「正解」テスト： 彼らは、この新しい混合モデルと完全に一致する偽のデータを作成しました。その際、成分を逆引きしようとすると、特にデータ量が多い場合（500観測値以上）において、この手法は見事に機能しました。
• 「不正解」テスト： 彼らは、より複雑な手法によって生成されたデータに対して、この新しいモデルを適合させてみました。データが彼らの特定のレシピで作られていなくても、彼らのモデルは驚くほどよく適合しました。実際、ある「一般化ベータ分布」を用いたテストでは、彼らのモデルは他の二つの主要な競合モデルよりも優れた適合度を示しました。
• スピード・テスト： 彼らは、答えを算出するのにかかる時間を比較しました。彼らの手法は、「動的混合法（dynamic mixture）」（もう一つの人気のあるアプローチ）よりもはるかに高速でしたが、「接合（spliced）法」（最も単純な方法）よりはわずかに遅いものでした。しかし、著者らは、彼らの手法は「不可能な数学のパズル」を解く必要がないため、扱いがはるかに容易であると述べています。

現実世界での証明
これが実世界で機能するかどうかを確認するため、著者らは二つの非常に乱れたデータセットを用いてテストを行いました。

1. 自動車保険の請求： 米国の保険会社による6,773件の自動車保険請求を調査しました。データは偏っており、多くの小さな請求と、少数の巨大な請求が存在していました。彼らの混合モデルはデータを完璧に捉えましたが、従来の単一公式の手法（対数正規分布のみ、あるいはGPDのみ）は、全体像を捉えることに失敗しました。
2. 銀行詐欺： イタリアの銀行における内部不正による損失を分析しました。ここでも、データは極めて激しく、ヘビーテイル（重い裾）を持っていました。混合モデルこそが、唯一「適合度検定（goodness-of-fit tests）」を通過したものであり、つまり、実際に現実のデータと一致していた唯一のモデルでした。

分かったこと（そして分からなかったこと）
主な知見は、この「魔法のブレンド」が、歪んだ、あるいはヘビーテイルを持つデータをモデリングするための、柔軟で信頼性が高く、使いやすいツールであるということです。これは、より複雑で困難な手法と同等の精度を得つつ、計算上の負担を軽減できることを示唆しています。

しかし、著者らは過剰な宣伝には慎重です。サンプルサイズが小さい場合（100観測値程度）、数学的な挙動が不安定になることがあり、モデルの「巨人」の部分の推定値が多少変動する可能性があることを指摘しています。また、このモデルはデータの「適合」やリスク（Value-at-Riskなど）の計算には優れていますが、主に人々をグループ分けするために設計されたものではないことも述べています（ただし、数学的にはどの「塗料」が各データポイントを作成した可能性が高いかというヒントを与えてくれます）。

結論
この論文は、保険損失や金融リスクのように、極端な値の長い裾（テイル）を持つデータを扱っているすべての人にとって、この新しい混合モデルが強力な候補になることを示唆しています。それは、完璧な切り口を見つけるという悩みを回避しながら、平均から極端な値まで、群衆全体をモデル化するための、滑らかで閾値のない方法を提供します。それはあらゆる問題を即座に解決する魔法の杖ではありませんが、現在市場にあるものよりも堅牢で、高速で、かつ柔軟なツールです。

これらの手法はすべて、lognGPDという名前のRパッケージとして無料で公開されており、誰でも自分自身の塗料を混ぜ合わせる実験をすることができます。