Bandwidth-free nonparametric density estimation for grouped data

技術要約：グループ化されたデータに対する帯域幅フリーの非パラメトリック密度推定

問題提起
不確実性を伴う実験報告から、機密保持の制約、あるいは非検出（non-detects）に至るまで、多くの科学的および実用的な文脈において、データは従来の個々の観測値の形式では利用できない。代わりに、データは「グループ化」された形式、すなわち特定の区間（ビン）内に落ちる観測値の頻度のみが既知である形で収集される。課題は、事前のパラメトリックな分布に関する知識なしに、これらのグループ化されたカウントから、背後にある未グループ化の確率密度関数（PDF）を推定することにある。

カーネル密度推定をグループ化されたデータに適応させた既存の非パラメトリック手法は、帯域幅（bandwidth）選択への決定的な依存性に苦しんでおり、これが推定値の滑らかさと精度に大きな影響を与える。さらに、標準的な非パラメトリック手法は、グループ化されたデータに適用した場合、識別可能性（identifiability）を欠くことが多い。すなわち、複数の異なる潜在的密度が、同一のグループ化された頻度分布を生み出す可能性がある。

手法：平均調整対数凹性（MALC）推定
著者らは、単変量連続グループ化データのための、完全に自動化された帯域幅フリーの非パラメトリック手法である、平均調整対数凹性（Mean-Adjusted Log-Concave: MALC）密度推定を提案している。この手法は、背後の密度が対数凹（log-concave）である（すなわち、$f(x) = \exp(\phi(x))$ であり、$\phi$ は凹関数である）という仮定に基づいている。このクラスは、ガウス分布、ガンマ分布、ワイブル分布などの多くの一般的な分布を包含しつつ、制限的なパラメトリックな仮定を避けるのに十分な広範さを備えている。

MALCアルゴリズムは、主に以下の3つの段階で進行する：

1. EMによる平均の回復： 未観測データの真の平均は未知であるため、著者らはまずこれを推定する。彼らは推定のためにガウス分布を仮定し、グループ化されたデータに対して期待値最大化（EM）アルゴリズムを適用して、平均の最尤推定量（MLE）である $\hat{\mu}_n$ を求める。理論的結果によれば、カルバック・ライブラー（KL）ダイバージェンスの下で、真の対数凹密度 $f_0$ に最も近いガウス密度は、同一の平均を共有する。したがって、真の分布がガウス分布でない場合でも、このステップは極めて正確な母平均の回復を提供する。その誤差はグリッド幅（$\delta$）によって抑えられる。

2. 離散対数凹性推定： 観測されたビンの経験的確率は、離散的な対数凹確率質量関数（PMF）を得るために平滑化される。これは、logConDiscr Rパッケージを用いて、離散的に凹な関数に対するペナルティ付き対数尤度の最大化によって達成される。このステップにより、観測されたグループ化された頻度に対して、KLの意味で最も近い離散的PMF（$\hat{p}_n$）が得られる。

3. 畳み込みとアングループ化（Ungrouping）： 連続的な密度を回復するために、手法は、離散的な対数凹変数（$\hat{p}_n$に基づく）と、$[0, \delta)$ 上でサポートされる連続的な摂動変数 $Z_{n,\delta}$ の畳み込みとして定義される確率変数 $X_{n,\delta}$ を構築する。摂動は（ベータ分布を用いて）パラメータ化され、結果として得られる畳み込みの平均が、回復された平均 $\hat{\mu}_n$ と等しくなるように設定される。最後に、logcondens パッケージを用いて、この畳み込みからのサンプルから連続的な対数凹密度が計算される。このステップは、畳み込み分布に最も近い連続的な対数凹密度を見つけることによって、事実上の「アングループ化」を行う。

主要な理論的貢献

• 識別可能性と一貫性： 本論文は、グループ化されたデータから対数凹密度を回復する問題は一般に非識別的であるが（複数の密度が同一のグループ化された確率を生み出し得る）、提案されたMALC推定量が一意の極限に収束することを確立している。サンプルサイズ $n \to \infty$ かつグリッド幅 $\delta \to 0$ のとき、真の密度が対数凹であれば、推定量は真の背後にある密度と一貫していることが示される。
• 帯域幅フリーの性質： カーネルベースの手法とは異なり、MALCアプローチはユーザーによる平滑化パラメータや帯域幅の選択を必要とせず、完全に自動化されている。
• 堅牢性（Robustness）： 理論およびシミュレーションの結果は、対数凹性の仮定が堅牢であることを示している。本手法は、真の分布が厳密には対数凹でなくても、特に小規模から中規模のサンプルサイズにおいて良好に機能する。

結果と評価
MALCの性能は、3つのカーネルベースの競合手法（Blower and Kelsall (2002), BinnedNP (Barreiro Ures et al., 2019a), KernSmooth (Wand et al., 2025)）との広範なシミュレーションを通じて評価された。

• シミュレーション研究： 様々な分布（ガンマ分布やカイ二乗分布のような対数凹なもの、および対数正規分布やStudentの $t$ 分布のような非対数凹なもの）および、様々なサンプルサイズ（$10^2$ から $10^6$）とグリッド幅にわたり、MALCは一貫して最小の $L_2$ 誤差を達成した。小規模サンプル領域において優れた性能を示し、カーネルベースの手法と比較して、グリッド幅の変化に対する安定性（感度の低さ）を示した。
• 実世界への適用： 本手法は、0〜110歳までの6カ国（カナダ、アメリカ、日本、韓国、ノルウェー、オーストラリア）のグループ化された死亡率データに適用された。結果は、年齢特異的な死亡密度およびハザード関数を正常に推定し、日本やノルウェーがアメリカよりも高い平均余命を持つといった、予想通りの人口統計学的パターンを明らかにした。また、本手法は、対数凹密度の特性と一致する、滑らかで非減少のハザード関数推定を提供した。

意義と主張
著者らは、MALCが伝統的なグループ化データ解析に対する、堅牢で自動化された代替案を提供すると主張している。その主な意義は、非パラメトリック推定における不安定性とユーザー依存性の一般的な原因である、帯域幅選択の必要性を排除したことにある。本手法は、技術的または機密保持の制約によりデータが本質的にグループ化されており、かつ背後の分布が未知または複雑であるシナリオにおいて特に価値がある。

論文では、限界についても控えめに述べている。現在の実装は、一様グリッド幅を持つ単変量データに限定されている。加えて、本手法は対数凹性を仮定しているが、結果として得られる推定量が元のグループ化されたデータの正確なビン確率を完全に保持しない（適合性）可能性があることも認めているが、シミュレーションによれば、このトレードオフは好ましい全体的な密度推定をもたらすことが示唆されている。今後の課題として、非一様グリッドおよび多変量設定への拡張が挙げられている。