Maximum softly penalised likelihood in factor analysis

논문 개요

이 논문은 탐색적 요인 분석 (Exploratory Factor Analysis, EFA) 에서 빈번하게 발생하는 하이우드 사례 (Heywood cases) 문제를 해결하기 위해 최대 연성 페널티 가능도 (Maximum Softly Penalised Likelihood, MSPL) 프레임워크를 제안합니다. 저자들은 하이우드 사례를 방지하면서도 최대 가능도 추정량 (ML Estimator) 이 가지는 이상적인 점근적 성질 (일관성, 점근적 정규성) 을 유지할 수 있는 이론적 조건을 유도하고, 이를 실증적으로 검증합니다.

1. 문제 제기 (Problem)

• 하이우드 사례 (Heywood cases): 요인 분석 모델의 추정 과정에서 오차 분산 (error variance) 이 0 이거나 음수가 되거나, 요인 부하량 (factor loading) 의 절대값이 1 을 초과하는 등 모수 공간의 경계 (boundary) 에 추정치가 위치하는 현상입니다.
• 발생 원인: 이상치, 모델 오지정, 표본 크기 부족, 과잉 추출 (over-extraction), 수렴 실패 등 다양한 원인이 있습니다.
• 문제점:
  • 수치적 최적화 절차의 실패나 수렴 불능을 초래합니다.
  • 요인 점수 (factor scores) 와 모델 선택에 대한 오해석을 유발합니다.
  • 기존 해결책 (음수 분산을 0 으로 고정하거나 경계 제약 적용) 은 최대 가능도 추정의 정규성 조건을 위반하여 추정량과 검정 통계량의 성질을 평가하기 어렵게 만듭니다.
  • 기존 베이지안 접근법이나 페널티 기반 방법 (Akaike, 1987; Hirose et al., 2011) 은 하이우드 사례를 해결할 수 있다는 증거가 부족하며, 페널티 강도가 너무 강할 경우 유한 표본에서의 편향 (bias) 을 크게 증가시킵니다.

2. 방법론 (Methodology)

저자들은 로그 가능도 함수에 페널티 항을 추가한 최대 페널티 가능도 (MPL) 추정량을 도입하되, 페널티의 크기가 표본 크기 ($n$) 에 따라 적절히 감소하도록 설계한 MSPL을 제안합니다.

• MSPL 추정량:
  $$\tilde{\theta} = \arg \max_{\theta \in \Theta} \{ \ell(\theta; S) + P^*(\theta; S) \}$$
  여기서 $P^*(\theta)$는 페널티 함수이며, $\Theta$는 오차 분산이 양수인 모수 공간입니다.

• 페널티 함수의 조건 (존재성 보장):
  하이우드 사례가 발생하지 않도록 (즉, 추정치가 모수 공간 내부에 존재하도록) 하기 위해 페널티 함수 $P^*(\theta)$가 다음 세 가지 조건을 만족해야 함을 증명했습니다 (Theorem 4.1):

  1. 연속성 (Continuity): $\Theta$ 위에서 연속이어야 함.
  2. 상한 유계 (Boundedness): $\Theta$ 위에서 위로 유계여야 함.
  3. 발산 조건 (Divergence): 오차 분산이 0 에 수렴하거나 모수 공간의 경계로 가는 시퀀스에 대해, 공분산 행렬의 최소 고유값이 양수일 때 페널티 값이 $-\infty$로 발산해야 함.

• 연성 페널팅 (Soft Penalisation):
  기존 Akaike (1987) 와 Hirose et al. (2011) 의 페널티는 위 조건을 만족하지만, 페널티 강도 ($\rho$) 가 고정되어 있으면 유한 표본에서 큰 편향을 유발합니다. 따라서 페널티의 크기가 표본 정보의 누적 속도에 맞춰 점근적으로 0 으로 수렴하도록 스케일링합니다.

  • 제안된 스케일링 인자: $c_n = \sqrt{2/n}$ (또는 $\rho \propto n^{-1/2}$).
  • 이를 통해 페널티가 $n \to \infty$일 때 무시할 수 있을 정도로 작아지도록 하여, 점근적 성질을 보존합니다.

3. 주요 기여 (Key Contributions)

1. 존재성 증명: 제안된 페널티 조건 하에서 MPL 추정량이 항상 모수 공간 내부 (내부점) 에 존재함을 수학적으로 증명했습니다. 이는 Akaike (1987) 와 Hirose et al. (2011) 의 페널티가 실제로 하이우드 사례를 방지한다는 것을 처음으로 공식적으로 증명한 것입니다.
2. 점근적 성질 확보: 페널티가 "연성 (soft)"하게 스케일링될 때, MSPL 추정량이 최대 가능도 추정량 (ML) 과 동일한 **일관성 (consistency)**과 **점근적 정규성 (asymptotic normality)**을 가진다는 것을 증명했습니다.
   • 특히, $\sqrt{n}$-일관성을 유지하며 ML 추정량과 점근적으로 동등해짐을 보였습니다.
3. 불변성 (Equivariance) 유지: 제안된 방법은 데이터의 재스케일링 (rescaling) 과 요인 회전 (rotation) 에 대해 ML 추정량과 동일한 불변 성질을 유지합니다. 이는 요인 분석의 표준 관행 (상관계수 행렬 사용 등) 과 호환됩니다.
4. 실용적 프레임워크: 기존 베이지안 접근법이나 단순 페널티법의 단점 (편향 증가) 을 보완하면서, 하이우드 사례를 효과적으로 처리하는 실용적인 알고리즘을 제시했습니다.

4. 결과 (Results)

• 시뮬레이션 연구:
  • 하이우드 사례 제거: ML 추정량은 다양한 시나리오에서 상당수의 하이우드 사례를 발생시켰으나, MSPL 추정량은 거의 0% 에 가까운 비율로 이를 성공적으로 방지했습니다.
  • 편향 및 RMSE: 페널티 강도가 너무 강한 기존 방법 (Akaike[n], Hirose[n]) 은 요인 부하량과 오차 분산을 과소평가하여 큰 편향과 RMSE 를 보였습니다. 반면, 연성 페널팅을 적용한 MSPL (Akaike[$n^{-1/2}$], Hirose[$n^{-1/2}$]) 은 ML 추정량과 유사하거나 더 나은 편향과 RMSE 를 보였습니다.
  • 모델 선택: AIC 와 BIC 를 사용한 요인 수 선택에서 MSPL 기반 방법은 ML 기반 방법보다 더 안정적인 성능을 보였으며, 특히 작은 표본 ($n=50$) 에서도 하이우드 사례 처리 덕분에 우수한 선택률을 보였습니다.
• 실제 데이터 분석:
  • Davis, Emmett, Maxwell 데이터셋을 분석한 결과, ML 추정 시 하이우드 사례 (비정상적으로 큰 공분산 추정치, 음수 분산 등) 가 발생했으나, MSPL 을 적용한 결과 모든 분산 추정치가 양수이고 합리적인 범위를 가졌습니다.
  • 하이우드 사례가 발생하지 않는 경우, ML 과 MSPL 의 추정치는 매우 유사했습니다.

5. 의의 및 결론 (Significance)

• 이론적 의의: 요인 분석 분야에서 하이우드 사례를 해결하면서도 ML 추정량의 이상적인 점근적 성질을 유지할 수 있는 최초의 엄밀한 이론적 기반을 마련했습니다.
• 실무적 의의: 연구자들이 요인 분석을 수행할 때 발생하는 수치적 불안정성과 비합리적인 추정치를 방지할 수 있는 강력한 도구를 제공합니다. 특히 표본 크기가 작거나 모델이 복잡할 때 유용합니다.
• 향후 연구: 이 프레임워크는 확인적 요인 분석 (CFA) 이나 로지스틱 요인 분석 (이항 데이터) 등 다른 모델로 확장 가능하며, 모델 오지정 (misspecification) 상황에서의 'least-false' 해석으로의 확장이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 **적절한 스케일링을 가진 페널티 가능도 추정법 (MSPL)**을 통해 요인 분석의 고질적인 문제인 하이우드 사례를 해결하면서도, 통계적 추론의 타당성 (편의성, 정규성) 을 훼손하지 않는 이상적인 해결책을 제시했습니다.