Maximum softly penalised likelihood in factor analysis

この論文「Maximum softly penalised likelihood in factor analysis（因子分析における最大軟正則化尤度）」は、探索的因子分析（EFA）において頻繁に発生する「ハイウッドケース（Heywood cases）」の問題を解決し、かつ最大尤度推定（ML）が持つ望ましい漸近的特性を維持するための新しい枠組み「最大軟正則化尤度（MSPL）」を提案するものです。

以下に、論文の技術的な要約を問題定義、手法、主要な貢献、結果、意義の観点から詳細に記述します。

1. 問題定義：ハイウッドケースと既存手法の限界

ハイウッドケース（Heywood cases）とは：
因子分析の推定において、誤差分散（$\psi_j$）がゼロまたは負の値、あるいは因子負荷量の絶対値が 1 を超えるなど、パラメータ空間の境界（または外側）に推定値が収束する現象を指します。

• 原因： 外れ値、モデルの誤指定、サンプルサイズが小さい、因子の過剰抽出、真のパラメータ値が境界に近い場合のサンプリング変動など。
• 影響： 推定値、標準誤差、因子得点、適合度検定統計量が信頼できなくなる。特に、負の分散は実質的に意味をなさず、数値的最適化の失敗や収束の破綻を引き起こす。

既存の対処法とその課題：

• 境界制限（制約付き最適化）： 負の分散をゼロに制限するが、尤度関数の正則性条件を破り、推定量や検定の手続きの性質を評価しにくくする。
• ベイズ的アプローチ（事前分布）： 負の値を許さない事前分布（例：Martin & McDonald, 1987; Akaike, 1987; Hirose et al., 2011）を用いる。
  • 課題： これらのペナルティ（正則化項）がハイウッドケースを回避するかどうかの形式的な証明が欠けていた。また、ペナルティの強さ（スケーリング因子 $\rho$）を適切に設定しないと、有限サンプルにおける推定値に大きなバイアスが生じ、モデル選択（AIC/BIC）の性能も低下する可能性がある。

2. 提案手法：最大軟正則化尤度（MSPL）

著者らは、最大軟正則化尤度（Maximum Softly Penalised Likelihood: MSPL） という新しい推定枠組みを提案します。

基本的な定式化：
対数尤度関数 $\ell(\theta; S)$ にペナルティ項 $P^*(\theta)$ を加えた目的関数 $\ell^*(\theta; S) = \ell(\theta; S) + P^*(\theta)$ を最大化します。ここで $\theta$ は因子負荷量と誤差分散のパラメータベクトルです。

「軟（Softly）」なペナルティの条件：
MSPL の核心は、ペナルティの強さがサンプルサイズ $n$ に応じて適切に減衰することにあります。具体的には、ペナルティ項を $P^*(\theta) = c_n P(\theta)$ とし、スケーリング因子 $c_n$ が $O(n^{-1/2})$ のオーダー（より正確には $c_n = o(\sqrt{n})$）で減衰するように設計します。

• 存在性の保証： ペナルティがパラメータ空間の境界（$\psi_j \to 0$）で $-\infty$ に発散するように設定することで、推定値が常に内部（正の分散）に存在することを保証します。
• 漸近性の維持： ペナルティが $n \to \infty$ で無視できるほど小さくなる（soft）ため、最大尤度推定量（MLE）が持つ**一致性（Consistency）と漸近正規性（Asymptotic Normality）**を MSPL 推定量も引き継ぎます。

具体的なペナルティの適用：
Akaike (1987) と Hirose et al. (2011) が提案した既存のペナルティ（因子負荷量や誤差分散に関する対数尤度への追加項）が、上記の「存在性」の条件を満たすことを初めて証明しました。さらに、これらのペナルティを MSPL として機能させるために、スケーリング因子を $\rho = 2\sqrt{2/n^3}$（すなわち $O(n^{-1/2})$ のオーダー）に調整する手法を提案しています。

3. 主要な理論的貢献

1. 推定値の存在定理（Theorem 4.1）：
   対数尤度に対するペナルティが特定の条件（連続性、上方有界性、境界での発散）を満たせば、ハイウッドケースが発生することなく、パラメータ空間の内部に最大正則化尤度推定量（MPL）が存在することを証明しました。これにより、Akaike (1987) と Hirose et al. (2011) のペナルティがハイウッドケースを回避する有効な手段であることが形式的に示されました。

2. 漸近的特性の証明（Theorem 5.1, 5.2）：

   • 一致性： ペナルティ項が $n^{-1} P^*(\theta_0) \to 0$ となる条件下で、MPL 推定量が真のパラメータ値に確率収束することを示しました。
   • $\sqrt{n}$-一致性と漸近正規性： ペナルティの強さが $c_n = o(\sqrt{n})$（具体的には $n^{-1/2}$ のオーダー）である場合、MSPL 推定量は MLE と漸近的に同等の振る舞い（$\sqrt{n}(\tilde{\theta} - \hat{\theta}) \xrightarrow{p} 0$）を示し、漸近正規分布に従うことを証明しました。

3. 不変性の保持：
   提案されたペナルティは、データのスケーリングや因子負荷量の回転に対して不変（equivariant）であり、因子分析における一般的な慣習（相関行列の使用など）と整合性が取れていることを示しました。

4. 数値的評価と結果

シミュレーション研究（Section 7）：

• 設定： サンプルサイズ $n \in \{50, 100, 400\}$、因子数 $q=3$、項目数と因子数の比率（3:1, 5:1, 8:1）を変化させ、多様な負荷量パターン（A3, B3 など）で比較を行いました。
• 比較対象： 通常の ML、ペナルティの強さを固定した MPL（Akaike[n], Hirose[n]）、提案された MSPL（Akaike[$n^{-1/2}$], Hirose[$n^{-1/2}$]）。
• 結果：
  • ハイウッドケースの回避： ML では多くのケースでハイウッドケースが発生しましたが、MSPL ではほぼ完全に回避されました。
  • 推定精度（バイアスと RMSE）： 従来の MPL（ペナルティが $O(n)$ の強さ）は、因子負荷量や分散の推定において大きなバイアス（特に過小評価）を示しました。一方、MSPL はバイアスと RMSE が最小に近く、理論的に期待される収束率を達成しました。
  • モデル選択（AIC/BIC）： MSPL を用いたモデル選択は、正しい因子数を選択する確率がサンプルサイズとともに増加し、ML や過剰なペナルティを用いた MPL よりも優れた性能を示しました。特に小サンプル（$n=50$）でも MSPL は ML よりも安定していました。

実データ分析（Section 8）：
Davis, Emmett, Maxwell の 3 つの古典的なデータセット（過去にハイウッドケースが報告されているもの）を用いて分析を行いました。

• ML 推定では特定の項目で異常に大きな共通性（communality）や負の分散が出現しましたが、MSPL ではすべての分散推定値が正となり、合理的な値が得られました。
• ハイウッドケースが発生しない場合、MSPL と ML の推定値は非常に類似しており、MSPL が ML の性質を損なわずに問題を解決していることが確認されました。

5. 意義と結論

この論文の主な意義は以下の通りです：

1. 理論的裏付けの提供： 既存のペナルティ手法（Akaike, Hirose）がハイウッドケースを回避し、かつ漸近的に最適な推定量を与えるための厳密な条件を初めて証明しました。
2. 実用的な解決策： 「軟（Soft）」なペナルティの概念を導入することで、ハイウッドケースによる推定の不安定性を解消しつつ、最大尤度推定が持つ統計的性質（一致性、漸近正規性、モデル選択の一貫性）を維持する実用的な枠組みを提供しました。
3. 実装の容易さ： 既存のアルゴリズム（EM アルゴリズムや Newton-Raphson 法）に、適切なスケーリング因子を伴うペナルティ項を追加するだけで実装可能であり、実務者にとって有用なツールとなります。

今後の課題：
現在の理論は、サンプル共分散行列の極限が真の因子分析モデルクラス内にあることを仮定しています。モデルの誤指定がある場合（White, 1982 の「least-false」解釈）への拡張や、ロジスティック因子分析などの他のモデルへの適用が今後の研究課題として挙げられています。

総じて、この論文は因子分析における長年の課題であるハイウッドケースに対し、理論的に裏付けられた、かつ実用的に優れた統計的解決策を提示した重要な研究です。