The purpose of an estimator is what it does: Misspecification, estimands, and over-identification

1. 문제 제기 (Problem)

• 이론과 실무의 괴리: 계량경제학 교과서는 과도식별 모델에서 과식별 제약 (over-identifying restrictions) 을 검정하고, 모델이 맞다고 가정할 때 가장 효율적인 추정량 (예: 효율적 GMM) 을 사용할 것을 권장합니다. 그러나 실제 경제학 논문 (특히 AER 2020-2024 년 간 GMM 사용 논문) 을 분석한 결과, 연구자들은 종종 최적 가중치를 사용하지 않거나 (비효율적 추정량 사용), 과식별 제약에 대한 공식적 검정 (J-test) 을 거의 수행하지 않는 것으로 나타났습니다.
• 모델 오설의 현실성: 경제 모델은 근사적으로만 참일 가능성이 높습니다 (White, 1982 등). 모델이 오설되어 있을 때, 서로 다른 추정량 (예: 다른 가중치 행렬을 사용하는 GMM) 은 서로 다른 모수 (estimand) 를 추정하게 됩니다. 즉, 모델이 틀렸을 때 "가장 효율적인" 추정량이라는 개념은 의미가 없으며, 연구자가 선택한 추정 방식이 실제로 무엇을 추정하는지 (pseudo-true value) 를 이해하는 것이 중요합니다.
• 연구자 자유도 (Researcher Degrees of Freedom): 모델 오설에 대한 우려를 이유로 연구자가 추정량이나 가중치를 선택할 수 있다면, 이는 연구 결과 조작 (p-hacking) 의 여지를 제공합니다. 특히 가중치 행렬을 임의로 선택하여 원하는 가설을 기각하거나 특정 결과를 도출할 수 있는지가 중요한 문제입니다.

2. 방법론 및 이론적 틀 (Methodology & Framework)

저자들은 다음과 같은 이론적 틀을 구축하여 문제를 분석합니다.

• 계량경제 모델 vs 통계 모델:

  • 계량경제 모델 (Econometric Model, $M$): 관심 있는 경제 모수 $\theta$와 데이터 분포 $P$ 사이의 관계를 정의합니다.
  • 통계 모델 (Statistical Model, $P$): 데이터가 실제로 따르는 분포의 집합입니다.
  • 오설의 정의:
    • 통계적 오설 (Statistical Misspecification): 실제 데이터 분포 $P$가 통계 모델 $P$에 속하지 않는 경우 ($P \notin P$).
    • 계량경제적 오설 (Econometric Misspecification): 실제 $(\theta, P)$ 쌍이 계량경제 모델 $M$에 속하지 않는 경우.
  • 모델이 통계적으로 오설되었을 때, 추정량 $\hat{\theta}$는 수렴하는 값 (probability limit) 이 추정량마다 달라지며, 이를 pseudo-true value라고 부릅니다.

• 국소 오설 (Local Misspecification):

  • 고정된 오설 (Global Misspecification) 대신, 표본 크기 $n$이 커짐에 따라 오설의 크기가 $\frac{1}{\sqrt{n}}$ 비율로 줄어든다고 가정하는 국소 오설 프레임워크를 사용합니다.
  • 이는 실제 데이터에서 오설의 정도가 표본 오차와 비슷한 규모일 때를 모델링하며, J-통계량과 추정량 범위 사이의 관계를 분석하는 데 적합합니다.

• 가중치 행렬의 선택과 J-통계량:

  • 주어진 모멘트 조건 하에서 연구자가 선택할 수 있는 가중치 행렬 $\Omega$의 집합을 정의하고, 이 집합 내에서 얻을 수 있는 추정량의 범위와 J-통계량의 관계를 유도합니다.

3. 주요 기여 및 새로운 결과 (Key Contributions & Results)

A. 추정량과 추정 대상 (Estimand) 의 재해석

• 핵심 명제: "추정량의 목적은 그것이 수행하는 기능이다 (The purpose of an estimator is what it does)."
• 모델이 오설되었을 때, 효율적 GMM 추정량과 비효율적 추정량 (예: 단위 행렬 가중치, 수동 선택 가중치) 은 서로 다른 모수를 추정합니다.
• 따라서 연구자는 모델이 맞다고 가정하는 것이 아니라, 자신이 선택한 추정량이 어떤 pseudo-true value 를 추정하는지 명시해야 합니다.

B. J-통계량의 새로운 해석 (새로운 이론적 결과)

저자들은 Hansen 의 J-통계량이 단순한 모델 적합도 검정 (J-test) 을 넘어, 특정 표준오차 수준에서 달성 가능한 추정치의 범위를 측정한다는 새로운 이론적 결과를 증명했습니다.

• 주요 정리 (Proposition 5.2): 국소 오설 하에서, 효율적 GMM 추정량 $\hat{\theta}_{\Sigma^{-1}}$을 중심으로 하고, 효율적 추정량의 표준오차 대비 $(1+\tau^2)$배 이내의 표준오차를 가지는 모든 가중치 행렬 $\Omega$로 얻을 수 있는 추정치들의 집합 $\hat{\Theta}(\kappa, \tau)$는 점근적으로 다음 구간과 동일합니다:
  $$\left[ \hat{\theta}_{\Sigma^{-1}} - \tau \sqrt{J} \hat{\sigma}_{\Sigma^{-1}}, \quad \hat{\theta}_{\Sigma^{-1}} + \tau \sqrt{J} \hat{\sigma}_{\Sigma^{-1}} \right]$$
  즉, **J-통계량의 제곱근 ($\sqrt{J}$)**은 연구자가 가중치를 임의로 선택하여 얻을 수 있는 추정치의 편차 범위를 결정합니다.

• t-통계량 조작 가능성 (Corollary 5.3):

  • 임의의 귀무가설 $H_0: \theta = \theta_0$에 대해, 연구자가 가중치 행렬을 적절히 선택하면 절대값이 $\sqrt{J}$ 이상인 t-통계량을 얻을 수 있습니다.
  • 만약 $\sqrt{J} > 1.96$ (5% 유의수준 임계값) 이라면, 악의적인 연구자는 가중치를 조작하여 어떤 귀무가설이든 5% 수준에서 기각할 수 있습니다.
  • 이는 J-통계량이 "가중치 해킹 (weight-hacking)"의 가능성을 측정하는 지표임을 의미합니다.

C. 실증 분석 (Empirical Evidence)

• AER 논문 분석: 2020-2024 년 AER 에 게재된 GMM 사용 논문 36 편 중 22 편이 과도식별 모델이었습니다.
  • 14 편의 논문에서 효율적 가중치를 사용하지 않았습니다 (단위 행렬, 대각선 역행렬, 수동 선택 가중치 등 사용).
  • J-통계량을 보고한 논문은 3 편에 불과했습니다.
• J-통계량 재계산: 데이터와 코드가 공개된 6 편의 논문에 대해 J-통계량을 재계산한 결과, 5% 수준에서 모델이 기각된 경우는 1 건이었으나, $\sqrt{J} > 1.96$인 경우는 4 건 (10 개 사양 중) 이었습니다. 이는 J-검정 (J-test) 으로 모델이 기각되지 않더라도, 가중치 선택에 따라 통계적으로 유의미한 결과가 달라질 수 있음을 보여줍니다.

4. 권장 사항 (Recommendations)

저자들은 투명하고 견고한 실증 연구를 위해 다음과 같은 네 가지 권장 사항을 제시합니다.

1. 오설의 구분 명확화: 계량경제적 오설 (모델이 경제 관계를 올바르게 설명하는가) 과 통계적 오설 (모델이 데이터 분포를 잘 적합하는가) 을 구분하여 논의해야 합니다.
2. 추정량 선택의 명시: 비효율적 추정량 (비최적 가중치 등) 을 사용할 경우, 왜 그 추정량이 선호되는지 (어떤 pseudo-true value 를 추정하려는지) 명시해야 합니다.
3. 오설-강건한 표준오차 사용: 표준 GMM 표준오차는 오설 하에서 부정확할 수 있으므로, White (1982) 의 로버스트 표준오차나 부트스트랩 (recentering 하지 않은) 을 사용해야 합니다.
4. J-통계량 보고: J-검정 (모델 기각 여부) 을 수행하지 않더라도, J-통계량 값을 반드시 보고해야 합니다. 이는 연구자가 가중치를 변경했을 때 얻을 수 있는 결과의 범위를 독자에게 알리는 핵심 지표이기 때문입니다.

5. 의의 및 결론 (Significance)

• 계량경제학의 패러다임 전환: "모델이 맞다"는 가정 하에 효율성을 추구하는 전통적 접근에서, "모델은 틀릴 수 있다"는 전제 하에 추정량이 실제로 무엇을 의미하는지를 해석하는 접근으로의 전환을 촉구합니다.
• 연구 윤리 및 투명성: J-통계량이 연구자의 "가중치 해킹" 가능성을 정량화한다는 점을 지적함으로써, 연구 결과의 신뢰성을 높이기 위한 새로운 기준을 제시합니다.
• 실용적 지침: 경제학자들이 GMM 등을 사용할 때, 단순히 모델 적합도 검정에만 의존하지 않고, J-통계량을 통해 추정치의 불확실성과 민감도를 평가하도록 유도합니다.

요약하자면, 이 논문은 모델 오설이 불가피한 현실에서, J-통계량은 단순한 적합도 지표를 넘어 추정 결과의 신뢰성과 연구자의 선택 자유도를 평가하는 핵심 도구임을 이론적으로 증명하고 실증적으로 뒷받침했습니다.