技術要約：ベッセルの補正、バリアンス（Bariance）、および新規の実行時最適化推定法について

問題提起

母分散の標本からの推定は、統計学および計量経済学における基礎的な課題である。標準的な手法は、不偏性を確保するために、偏差の平方和を $n$ ではなく $n-1$ で割るベッセルの補正を利用している。理論的には妥当であるが、本論文は以下の2つの主要な改善領域を特定している：

1. 教育的および実践的なトレードオフ： 小標本や特定の応用文脈において、不偏推定量は高い分散を示すことがあり、結果として劣悪な平均二乗誤差（MSE）を招く可能性がある。Rosenthal [8] が指摘するように、偏った推定量（$n$ で割る手法）や縮小推定量（shrunken estimator）の方が、全体的な誤差を低減できる場合があり、不偏性への教条的な固執に疑問を投げかけている。
2. 計算効率： 従来の分散推定は平均からの偏差に依存する。これは計算量としては線形（$O(n)$）であるが、ペアごとの差に基づく代替アプローチ（U統計量やジニ係数に関連するもの）は、すべてのペアを評価する必要があるため、通常は二次的な複雑さ（$O(n^2)$）に苦しむ。ペアの構造を活用して堅牢性や概念的な明快さを得つつ、二次的な計算コストを回避できる推定法が必要とされている。

手法

本論文は、代数的な導出、幾何学的な解釈、および経験的なシミュレーションを組み合わせた多角的なアプローチを採用している：

• 代数的導出： 著者は、$n$ 分母の分散のバイアスとベッセルの補正の必要性を厳密に導出している。その後、すべての観測値間の平方差の平均として定義される**バリアンス（Bariance）**を導入する：
  $$\text{Bariance} = \frac{1}{n(n-1)} \sum_{i \neq j} (X_i - X_j)^2$$
• 最適化： 代数的な操作を通じて、論文は明示的なペアの反復を回避する線形時間（$O(n)$）のバリアンス公式を導出している。この最適化された形式は、データのスカラー和とその平方の和に依存する：
  $$\text{Bariance}_{opt} = \frac{2n}{n(n-1)} \sum X_i^2 - \frac{2}{n(n-1)} \left(\sum X_i\right)^2$$
  論文では、平均中心化されたデータにおいて、バリアンスが正確に不偏標本分散のちょうど2倍（$2\hat{S}^2$）になることを証明している。
• 幾何学的解釈： 論文は、$\mathbb{R}^n$ における直交射影を通じて分散推定を可視化し、全成分が1のベクトルに対して直交する部分空間への射影によって自由度が1失われる様子を説明している。また、バリアンスを、観測値をノードとする完全グラフの平均平方エッジ重みとしてフレーム化している。
• シミュレーション研究： 正規分布およびガンマ分布（高分散ケースを含む）を用いて、以下の項目を評価するための広範なシミュレーションを実施した：
  • 分母の値（$\hat{\sigma}^2_a$ の $a$）によるバイアス、分散、およびMSE。
  • 4つの推定器（偏った分散、$n-1$ による不偏分散、素朴なバリアンス、$O(n^2)$、および最適化されたバリアンス、$O(n)$）の経験的実行時間。
  • さまざまなハードウェア環境およびプログラミング実装（PythonおよびJava）における実行時間の検証。

主な貢献

1. 「バリアンス（Bariance）」の定式化： 本論文は、中心となる平均からの偏差ではなく、ペアごとの平方差に基づく明確な分散尺度として、バリアンスを正式に定義し分析している。
2. 線形時間の最適化： 本論文の主要な技術的貢献は、バリアンスの代数的に最適化された公式の導出である。これにより、標準的な分散計算の複雑さと一致する線形時間で、二次的な計算コストを回避しながら不偏分散の計算が可能となる。
3. 経験的な実行時間の検証： 本研究は、テストされたすべてのサンプルサイズおよび分布（正規分布およびガンマ分布）において、最適化されたバリアンス推定器が標準的な不偏分散推定器よりも計算速度において一貫して優れているという経験的証拠を提供している。
4. 分母の選択に関する再評価： 論文は、分母の選択に関する議論を強化しており、シミュレーションデータを通じて、最小平均二乗誤差（MSE）を実現する分母は、$n-1$ や $n$ よりもわずかに大きい値（具体的には $n+1$ に近い値）になることが多いことを示し、厳密な不偏性が常に最適であるとは限らないという主張を支持している。

結果

• 統計的性質： シミュレーションにより、バリアンスは母分散の偏った推定量であること（具体的には $E[\text{Bariance}] = 2\sigma^2$）が確認されたが、これは不偏標本分散に直接比例する。中心化されたデータについては $\text{Bariance} = 2\hat{S}^2$ という関係が成立する。
• MSE分析： 分母 $a \in [3.5, 8.5]$（$n=5$ の場合）にわたるシミュレーション研究は、最小平均二乗誤差（MSE）が $n-1$ よりわずかに大きい分母（具体的には 5.5 から 6.5 の間）で達成されることを示しており、これは、厳密な不偏性が必ずしも総誤差の最小化に最適ではないという議論を裏付けている。
• 計算性能：
  • **素朴なバリアンス（Naïve Bariance）**は、予想通り二次的な実行時間の増大（$O(n^2)$）を示す。
  • **最適化されたバリアンス（Optimized Bariance）**は、すべてのテストされたサンプルサイズおよび分布（正規分布およびガンマ分布）において、壁時計時間（wall-clock execution time）の観点から、偏った分散および不偏分散の両方の標準的な分散推定器を一貫して上回る。
  • 実行時間の差のカーネル密度推定は、最適化されたバリアンスが標準的な不偏分散推定器よりも統計的に高速であることを裏付けている。

意義と主張

本論文は、バリアンスの枠組みが、理論的な分散推定とアルゴリズムの効率性を橋渡しするものであると主張している。その意義は以下の3点にある：

1. 計算のスケーラビリティ： ペアベースの分散推定を線形時間へと削減することで、バリアンスはビッグデータ、リアルタイムシステム、およびストリーミング分析において、計算速度が極めて重要となる場面での実行可能な代替手段を提供する。
2. 概念的な柔軟性： バリアンスは、中心となる平均に依存しない分散尺度を提供する。これは、平均が不安定であったり、定義が困難であったり、あるいは誤解を招きやすい領域（ネットワーク分析、ゲノミクス、順序調査、クラスタリングなど）において、分散に関する座標に依存しない視点を提供できる可能性がある。
3. 教育的および実践的な洞察： 本研究は、ベッセルの補正が不偏性のために数学的に必要である一方で、実務家はバイアスと分散のトレードオフ、および計算コストを考慮すべきであるという、より微細な視点を支持している。論文は、最適化されたバリアンス推定器が、「偶然ではあるが重要な発見」であり、より高速で統計的に妥当な不偏分散推定の手法を提供すると断じている。

著者は、多くの推定法が計算上の利点のためにバイアスをトレードオフとしているが、最適化されたバリアンス公式は、予測、計算生物学、金融などのリアルタイムの多変量アプリケーションにおいて、スケーラブルで不偏な分散推定が不可欠な場面での有望な代替案となる、と結論づけている。