Finite-Sample Bias Correction for Plug-in Estimators of Extropy, Rényi Extropy, and Tsallis Extropy

技術的要約：プラグイン推定量によるエクストロピー尺度における有限サンプル・バイアス補正

問題提起
本論文は、有限支持を持つ離散型確率変数に適用されるシャノン（Shannon）、レニー（Rényi）、およびツァリス（Tsallis）のエクストロピーに対するプラグイン推定量の、有限サンプルにおけるバイアス（偏り）に対処するものである。エクストロピーはエントロピーの補完的な尺度として、事象の非発生に関連する不確実性を定量化し、分布の裾に対して敏感であることが証明されているが、これらの尺度に対する標準的なプラグイン推定量は、有限サンプルにおいてバイアスが生じることが知られている。このバイアスは、サンプルサイズ $n$ が中程度、サポートサイズ $r$ が中程度、あるいはパラメータ $\alpha$（レニーおよびツァリスのエクストロピーにおいて）が1から逸脱している場合に、推定精度を著しく低下させる可能性がある。カーネルベースの手法、ベイズ的手法、あるいはブートストラップ再サンプリングといった既存のバイアス軽減手法は、計算の集約性、チューニングパラメータへの敏感さ、あるいは離散データへの適用の困難さといった問題を抱えていることが多い。

手法
著者は解析的なバイアス補正アプローチを採用している。核心となる手法は以下の通りである：

1. 中間関数の解析: 本研究は、レニーおよびツァリスのエクストロピーを定義する上で中心となる中間関数 $S_\alpha(p) = \sum_{i=1}^r (1-p_i)^\alpha$ に焦点を当てる。
2. テイラー展開: 真の確率 $p_i$ の周りで関数 $\phi(t) = (1-t)^\alpha$ に対して2次のテイラー展開を適用することにより、経験的推定量 $\hat{S}_\alpha$ に対する明示的な1次バイアス公式を導出する。
3. バイアスの伝播: 導出された $\hat{S}_\alpha$ のバイアスを用いて、シャノン、レニー、およびツァリスのエクストロピーのプラグイン推定量に対する1次バイアス（$O(1/n)$）を解析的に導出する。
4. 補正の構築: 元のプラグイン推定量から推定されたバイアス項を差し引くことにより、明示的なバイアス補正済み推定量を構築する。
5. 漸近解析: 補正された推定量と補正されていない推定量の差が $O(1/n)$ のオーダーであることを証明し、それらの漸近的等価性を確立する。

主な貢献
本論文は、以下の具体的な理論的および実用的貢献を提供する：

• 明示的なバイアス公式: 以下に対する閉形式の1次バイアス表現（$O(1/n)$）の導出：
  • シャノン・エクストロピー: バイアスは $-1/(2n)$ となり、特定の確率分布 $p$ に依存しないことが示される。
  • ツァリス・エクストロピー: バイアスは $\alpha$ および確率に依存し、具体的には $-\frac{\alpha}{2n} \sum p_i(1-p_i)^{\alpha-1}$ である。
  • レニー・エクストロピー: 変形された確率の1次および2次のモーメントと関数 $S_\alpha$ を含む複雑なバイアス項。
• バイアス補正済み推定量: 有限サンプルの精度を向上させるために、これらのバイアス項を組み込んだ特定の推定量の提案。
• 漸近的等価性の証明: 補正された推定量と補正されていない推定量の差が $O(1/n)$ の項のみであり、それらが同じ漸近的性質（一致性と漸近正規性）を共有することを厳密に実証する。
• シミュレーションによる検証: 様々なサンプルサイズ（$n=10$ から $2000$）およびパラメータ（$\alpha=0.5, 3$）にわたる包括的なシミュレーション研究（$M=1000$ 回の反復）により、理論的なバイアス公式を検証し、補正された推定量が中程度のサンプルサイズにおいて補正されていないものよりも有意に優れていることを確認する。

結果

• 有限サンプルの性能: シミュレーション結果は、補正されていないプラグイン推定量が、有限の $n$ において真のエクストロピー値を系統的に過小評価（負のバイアス）することを確認している。バイアス補正済み推定量は、この主要なバイアス項を効果的に除去し、小規模から中規模のサンプルサイズにおいても無視できるほどのバイアスを実現する。
• 漸近的挙動: $n \to \infty$ となるにつれ、補正されていない推定量のバイアスは $1/n$ の速度で消失し、補正されたものと補正されていないものの両方の標準偏差は $1/\sqrt{n}$ の速度で減衰する。したがって、漸近的な領域において、RMSE（平方根平均二乗誤差）および推定量の極限は両方のバージョンで同一となる。
• パラメータの感度: 有限サンプルのバイアスの大きさは $\alpha$ に依存することが示されている。希少な事象を強調する $\alpha = 0.5$ の推定量は、支配的な事象を強調する $\alpha = 3$ よりも大きなバイアスを示すが、補正は両方のケースにおいて有効である。

意義および主張
本論文は、その主要な意義は、伴走論文 [1] で示されているように、漸近的な設定（ほとんど確実な収束や漸近正規性を伴う設定など）における単純な、補正されていないプラグイン推定量の使用に対する理論的正当化を提供することにあると主張している。著者は、補正されたバージョンと補正されていないバージョンは漸近的に等価であるため、大規模なサンプル理論の分析にはより単純な補正されていない推定量で十分であると論じている。

しかしながら、中程度のサンプルサイズを伴う実用的なアプリケーションにおいては、より高い精度を確保するために、提案されたバイアス補正済み推定量を使用することを推奨している。本研究は、解析的なアプローチが、ブートストラップ法やベイズ法のようなより複雑なバイアス低減手法と比較して、計算効率が高く、解釈可能で、パラメータフリーな代替手段を提供することを強調している。最後に、今後の研究方向として、これらを可算無限のアルファベットへと拡張すること、およびブートストラップに基づく分散推定量を開発することが挙げられている。