Two-stage Estimation of Latent Variable Regression Models: A General, Root-N Consistent Solution

기술 요약: 잠재 변수 회귀 모델의 2단계 추정

문제 제기
잠재 변수(Latent Variable, LV) 모델은 관찰 불가능한 구성 개념을 조작적으로 정의하기 위해 심리학 연구에서 표준적으로 사용된다. 1단계 최대 가능도(Maximum Likelihood, ML) 추정이 "골드 스탠다드(gold standard)"이지만, 이는 수치적 불안정성(예: 비수렴, 헤이우드 케이스), 복잡한 다차원 모델의 적분로 인한 계산적 난해함, 소프트웨어 제약, 그리고 데이터 가용성 문제(예: 합성 점수만 사용 가능한 경우)와 같은 실질적인 한계에 직면하는 경우가 많다. 결과적으로 연구자들은 빈번하게 2단계 요인 점수 회귀(Factor Score Regression, FSR)에 의존하게 된다. FSR에서는 먼저 측정 모델을 적합시켜 요인 점수를 예측한 다음, 이 점수들을 관측된 변수처럼 취급하여 2단계 구조 회귀를 수행한다. 그러나 FSR을 나이브(naive)하게 적용하면 측정 오차와 요인 점수의 공분산 구조와 실제 잠재 변수 간의 불일치로 인해 구조적 파라미터의 편향된 추정치를 얻게 된다. 기존의 편향 수정 방법들은 특정 모델 클래스(예: 선형 SEM)에 국한되거나 특정 유형의 요인 점수를 요구하는 경우가 많으며, 더 넓은 범위의 LV 모델에 적용할 수 있는 일반적이고 계산 효율적인 솔루션이 부족하다.

방법론
저자들은 다수의 초점 파라미터(focal parameters)와 넌스 파라미터(nuisance parameters)를 가진 파라미터 벡터 $\theta$에 적용 가능한 일반적인 편향 수정 프레임워크를 제안한다. 이 방법은 FSR에 특화되어 설계되었으나, 최소한의 분석적 유도를 요구하는 "블랙박스" 솔루션이 되도록 설계되었다.

1. 통계적 프레임워크: 파라미터 벡터 $\theta$는 넌스 파라미터($\nu$, 예: 측정 파라미터)와 초점 파라미터($\phi$, 예: 구조적 회귀 계수)로 분할된다. 2단계 절차는 먼저 $\hat{\nu}$를 추정하고, 그 다음 $\hat{\nu}$에 조건화된 $\hat{\phi}$를 추정한다.
2. 편향 수정 전략: Leung과 Wang(1998)의 연구를 바탕으로, 저자들은 $h(\phi; \nu) = E[\hat{\phi}(Y; \nu)]$를 정의하며, 이는 초기(편향된) 추정량의 기댓값을 나타낸다. 편향 수정된 추정량 $\hat{\phi}_{BC}$는 이 관계를 역전시킴으로써 얻어진다: $\hat{\phi}_{BC} = h^{-1}(\hat{\phi})$.
3. 이론적 토대: 본 논문은 완만한 정규성 조건 하에서 편향 수정된 추정량의 $\sqrt{n}$-일치성(consistency)을 입증한다. 핵심적인 명제는 초기 추정량들이 공동으로 $\sqrt{n}$-일치한다면, 편향 수정된 초점 파라미터 추정량 또한 실제 파라미터 $\phi^*$에 대해 $\sqrt{n}$-일치하며, 유도된 점근적 공분산 행렬(Asymptotic Covariance Matrix, ACM)을 갖는다는 것을 보여준다.
4. 계산 알고리즘: $h(\phi; \nu)$ 및 그 미분값에 대한 복잡한 분석적 유도를 피하기 위해, 저자들은 두 가지 확률적 알고리즘을 도입한다.
   • 점 추정(알고리즘 1): 로빈스-몬로(Robbins-Monro) 확률적 근사(Stochastic Approximation, SA) 알고리즘이다. 현재의 파라미터 추정치를 사용하여 모델로부터 데이터를 시뮬레이션하고, 생성된 초기 추정량을 관측 데이터의 초기 추정량과 비교함으로써 초점 파라미터를 반복적으로 업데이트한다.
   • 분산 추정(알고리즘 2): ACM에 필요한 자코비안(Jacobian) 행렬을 수치적으로 근사하기 위해 동시 섭동(Simultaneous Perturbation, SP)을 사용하는 몬테카를로 기반 절차이다. 이를 통해 1단계에서 전달된 불확실성을 반영하는 유효한 표준 오차(Standard Error, SE)를 계산할 수 있다.

주요 기여

• 일반성: 선형 SEM이나 특정 유형의 요인 점수(예: Bartlett 또는 ARM 점수)에 제한되었던 기존 솔루션과 달리, 제안된 방법은 비선형 구조적 관계와 비정규 분포의 표시 변수를 포함한 광범위한 LV 모델에 적용 가능하다.
• 계산 효율성: 이 방법은 폐쇄형(closed-form) 분석적 해법 대신 확률적 근사와 몬테카를로 시뮬레이션에 의존하므로, 1단계 ML이 계산적으로 불가능한 복잡한 모델에도 적응 가능하다.
• 요인 점수 선택에 대한 강건성: 일관성을 달기 위해 특정 유형의 요인 점수(예: 회귀 점수 vs Bartlett 점수)를 선택할 필요가 없다. 편향 수정은 초기 스코어링 방식에 관계없이 작동한다.
• 이론적 엄밀성: $\sqrt{n}$-일치성에 대한 공식적인 증명과 교정된 추정량을 위한 유효한 대표본 표준 오차 도출 방법을 제공한다.

결과
제안된 편향 수정 FSR(BC-FSR)을 나이브 FSR 및 1단계 ML(연구 3에서는 DWLS 포함)과 비교 평가하기 위해 세 가지 시뮬레이션 연구가 수행되었다.

1. 연구 1 (단순 잠재 회귀): 연속형 표시 변수를 가진 모델에서, 나이브 FSR은 유의미한 감쇄 편향(기울수의 경우 최대 19%)과 분산 편향을 보였다. BC-FSR은 모든 조건과 요인 점수 유형(평균, Bartlett, 회귀)에 대해 상대적 편향을 거의 0(<5%)으로 줄였으며, 정확도와 효율성 모두에서 1단계 ML과 유사한 성능을 보였다.
2. 연구 2 (잠재 조절): 비정규 분포 결과를 가진 이선형 상호작용 모델에서, 나이브 FSR은 상당한 편향(상호작용 효과의 경우 최대 33%)을 보였다. BC-FSR은 수치 적분(Mplus 활용)을 통한 1단계 ML의 성능과 일치하며 무시할 만한 수준의 편향으로 파라미터를 성공적으로 회복했다.
3. 연구 3 (다차원 IRT): 이분형 문항과 다수의 예측 변수가 포함된 복잡한 모델에서, 나이브 FSR은 파라미터에 따라 8%에서 33% 사이의 편향을 보였다. BC-FSR은 이 편향을 제거하였으며, 1단계 ML(MH-RM 알고리즘 활용) 및 대각 가중 최소제곱법(DWLS)과 대등한 성능을 보였다.
   모든 연구에서 몬테카를로 기반의 SE 추정치(알고리즘 2)는 정확했으며, SE의 상대적 편향은 일반적으로 10% 미만이었다.

의의 및 주장
저자들은 자신들의 접근법이 직관적인 "측정 후 구조(measure-then-structural)" 전략(FSR)을 편향에 취약한 휴리스틱에서 통계적으로 유효한 $\sqrt{n}$-일치 추정법으로 변모시킨다고 주장한다. 이 연구의 의의는 다음과 같다.

• 실용적 유용성: 연구자들이 계산적 또는 데이터적 제약에 직면했을 때, 점근적 정확성을 희생하지 않으면서 1단계 ML의 용이한 대안을 제공한다.
• 방법론적 전환: 나이브 FSR이 본질적으로 결함이 있고 회복 불가능하다는 전통적인 관점에 도전하며, 확률적 근사를 통해 편향을 체계적으로 제거할 수 있음을 입증한다.
• 접근성: 분석적 유도에 대한 의존도를 최소화함으로써, 표준 소프트웨어 패키지의 능력을 넘어서는 복잡하고 맞춤화된 LV 모델에 엄격한 2단계 추정을 적용하는 장벽을 낮춘다.

본 논문은 제안된 편향 수정 FSR이 2단계 방법의 구현 편의성을 누리면서도 1단계 방법의 이론적 엄밀성과 효율성을 달 수 있음을 결론지으며, 이를 통해 연구자들이 잠재 구성 개념 간의 더 넓은 범위의 복잡한 관계를 조사할 수 있도록 지원할 수 있다고 밝힌다.