Identification and Estimation of Demand Models with Endogenous Product Entry and Exit

이 논문은 제품 진입과 퇴출의 내생적 선택으로 인한 편향을 해결하기 위해 잠재적 진입 확률 (latent propensity scores) 을 활용하는 새로운 준모수적 추정 방법을 제안하며, 항공 산업 데이터를 적용한 결과 기존 방법론들이 수요의 가격 탄력성을 과소평가하고 있음을 보여줍니다.

핵심

1. 문제 상황: "보이지 않는 손"의 장난

상상해 보세요. 여러분이 항공 노선 데이터를 분석하고 있다고 칩시다.
어떤 도시 A 와 도시 B 사이에는 '대한항공'이 비행기를 띄우고 있고, 다른 도시 C 와 D 사이에는 '대한항공'이 아예 없습니다.

• 기존 연구자들의 생각: "아, C 와 D 사이에는 수요가 없어서 대한항공이 안 온구나. 그럼 이 데이터를 바탕으로 '수요가 적을 때 가격을 어떻게 책정하는지'를 분석하면 되겠네."
• 현실 (이 논문의 주장): "잠깐! 대한항공은 수요가 많을 것 같아서 A-B 노선에 온 거예요. 그리고 C-D 노선은 수요가 적을 것 같아서 아예 가지 않은 거예요."

여기서 문제가 생깁니다. 연구자들은 **'수요가 많을 것 같다는 예측 (보이지 않는 정보)'**을 가지고 있지 못합니다. 하지만 기업은 그 정보를 가지고 있습니다.

비유:

마치 스마트한 상인이 "이 동네는 장사가 잘 될 것 같으니 가게를 열겠다"라고 생각해서 가게를 연다면, 나중에 통계학자가 "이 동네에 가게가 있는 이유"를 분석할 때, **"장사가 잘 될 것 같았기 때문"**이라는 사실을 모르고, 단순히 **"가게가 있어서 장사가 잘 된다"**라고 착각하게 되는 것입니다.

이렇게 기업이 미리 알고 있는 정보 때문에 데이터가 왜곡되는 현상을 이 논문은 **'선택 편향 (Selection Bias)'**이라고 부릅니다.

2. 기존 방법의 한계: "단순한 계산기로는 안 돼"

기존 통계 방법들은 이 문제를 해결하려고 노력했지만, 두 가지 큰 걸림돌이 있었습니다.

1. 너무 많은 가정: "기업은 수요를 전혀 모르고 무작위로 가게를 연다"라고 가정하고 분석하는 방법인데, 현실은 기업들이 매우 똑똑해서 수요를 예측하고 들어옵니다.
2. 너무 복잡한 모델: "기업의 모든 생각과 경쟁 상황을 다 계산해서 분석하자"는 방법인데, 계산이 너무 복잡하고 가정이 너무 많아서 결과가 신뢰하기 어렵습니다.

비유:

기존 방법들은 **"모든 상인이 눈가리개를 하고 무작위로 가게를 연다"**라고 믿거나, **"모든 상인의 머릿속을 다 읽어내야 한다"**는 두 가지 극단적인 방법만 썼습니다. 하지만 현실은 **"상인은 눈가리개를 안 했지만, 모든 머릿속을 다 읽을 필요도 없다"**는 중간의 길이 필요했습니다.

3. 이 논문의 해결책: "잠재된 그룹 (Latent Propensity Scores)" 찾기

이 논문은 새로운 방법을 제안합니다. 바로 **"잠재된 그룹 (Latent Propensity Scores)"**을 찾는 것입니다.

핵심 아이디어:
기업들이 "어디에 가게를 열까?"를 결정할 때, 서로의 선택이 영향을 미칩니다.

• 예: "A 항공사가 이 노선에 들어오면, B 항공사도 따라 들어올 가능성이 높다."
• 이 서로의 연결고리를 분석하면, 연구자들이 볼 수 없는 **'보이지 않는 시장 특성 (잠재된 그룹)'**을 추론해 낼 수 있습니다.

비유:

imagine 어떤 파티가 있다고 칩시다.

• 관찰 가능한 것: 누가 왔는지 (데이터), 파티 장소의 크기 (시장 규모).
• 관찰 불가능한 것: 파티의 분위기, 참석자들의 친밀도 (보이지 않는 수요 정보).

기존 방법은 "누가 왔는지만 보고 분위기를 추측"하려다 실패했습니다.
하지만 이 논문의 방법은 **"누가 누구와 함께 왔는지 (상호작용)"**를 자세히 봅니다.
"A 와 B 는 항상 같이 오네? 아, 이 두 사람은 같은 '친구 그룹'에 속하는구나. C 와 D 는 서로 멀리 있네? 이 사람들은 다른 '그룹'이구나."

이렇게 **사람들이 어떻게 뭉치는지 (상관관계)**를 분석하면, 눈에 보이지 않는 **'보이지 않는 그룹 (잠재된 시장 유형)'**을 찾아낼 수 있습니다. 이 그룹을 찾아내면, "아, 이 그룹은 수요가 많아서 들어온 거구나"라고 추측할 수 있게 됩니다.

4. 두 단계로 해결하는 새로운 방법

이 논문은 이 아이디어를 바탕으로 **두 단계 (Two-Step)**로 분석하는 방법을 만들었습니다.

• 1 단계 (탐정 단계): 기업들이 어디에 들어왔는지, 누가 누구와 함께 들어왔는지 데이터를 보며 **"보이지 않는 시장 유형 (그룹)"**을 찾아냅니다. (예: "수요가 폭발적인 고수익 그룹", "경쟁이 치열한 저수익 그룹" 등)
• 2 단계 (분석 단계): 이제 찾아낸 '그룹' 정보를 이용해, 수요 분석을 다시 합니다. "아, 이 데이터는 '고수익 그룹'에서 나온 거니까, 그 특성을 반영해서 가격을 분석하자"는 식입니다.

결과:
이 방법으로 분석하니, 기존 방법들이 **수요의 가격 민감도 (가격이 오르면 구매가 얼마나 줄어드는지)**를 너무 작게 잡았다는 사실이 드러났습니다. 즉, 기존 연구들은 "가격을 올려도 사람들이 별로 안 줄어든다"고 잘못 생각했지만, 실제로는 **"가격이 조금만 올라도 사람들이 많이 떠난다"**는 것을 이 논문의 방법이 찾아낸 것입니다.

5. 결론: 왜 이 논문이 중요한가?

이 논문은 **"기업이 미리 알고 있는 정보를 무시하지 않으면서도, 너무 복잡한 계산 없이도 정확한 분석이 가능하다"**는 것을 증명했습니다.

• 기존: "기업이 모른다고 가정하자" (현실과 다름) 또는 "모든 것을 다 계산하자" (너무 복잡함).
• 이 논문: "기업들이 서로 어떻게 영향을 미치는지 보면, 보이지 않는 정보를 찾아낼 수 있다" (현실적이고 효율적).

한 줄 요약:

"기업들이 숨겨진 정보를 가지고 시장에 들어온다는 사실을 인정하고, 그들 사이의 '연결고리'를 분석하면, 왜곡된 데이터를 바로잡아 진짜 수요를 찾아낼 수 있다!"

이 방법은 항공 산업뿐만 아니라, 슈퍼마켓, 앱 스토어, 부동산 등 어떤 제품이 어디에 들어갈지 결정하는 모든 시장에서 유용하게 쓰일 수 있습니다.

기술 요약

1. 연구 문제 (Problem)

• 내생적 선택 편향: 기업은 수요가 높을 것으로 예상되는 시장에 제품을 진입시킵니다. 연구자가 관찰하지 못하는 수요 충격 (unobserved demand shocks) 에 대한 정보를 기업은 가지고 있기 때문에, 관찰된 제품 가용성 (product availability) 은 무작위가 아니라 기업의 기대에 따라 선택됩니다. 이는 수요 파라미터 추정에 심각한 편향을 초래합니다.
• 기존 방법론의 한계:
  • 강한 가정: 기존 연구들은 진입 시 기업이 수요 충격에 대한 정보를 알지 못한다고 가정하거나, 진입 비용을 관찰 가능한 변수에만 의존한다고 가정하여 편향을 제거하려 했습니다. 이는 현실과 부합하지 않을 수 있습니다.
  • 균형 모델의 결합 추정: 수요, 가격 경쟁, 진입을 모두 결합하여 구조적 모델을 추정하는 방법 (Ciliberto et al., 2021 등) 은 편향을 해결하지만, 공급 측 (비용 함수, 경쟁 형태 등) 에 대한 강한 가정에 의존하여 수요 식별이 공급 측 가정에 과도하게 의존하게 됩니다.
  • 단조성 (Monotonicity) 조건 위반: 차별화된 제품 시장에서는 진입 결정이 다차원적인 수요 충격과 비가산적 (non-additive) 인 효과를 가지며, 여러 균형이 존재할 수 있어 표준적인 선택 보정 방법 (Propensity Score) 에 필요한 단조성 조건이 깨집니다. 따라서 기존 2 단계 추정법이나 도구변수 (IV) 접근법은 일관된 추정을 보장하지 못합니다.

2. 방법론 (Methodology)

저자는 **잠재적 성향 점수 (Latent Propensity Scores)**를 활용한 새로운 2 단계 반모수적 추정법을 제안합니다.

A. 모델 설정

• 수요 시스템: Berry-Levinsohn-Pakes (BLP) 프레임워크를 따르며, 역수요 함수 (inverse demand function) 를 사용하여 선택 조건을 제품 $j$의 진입 여부 ($a_{jt}=1$) 만으로 표현합니다.
• 진입 게임: 기업은 관찰 가능한 변수 ($x_t$) 와 관찰 불가능한 공통 지식 변수 ($\kappa_t$, 수요 및 비용 충격 포함) 를 알고 진입을 결정합니다. 이는 완전 정보 또는 불완전 정보 게임을 포괄합니다.
• 선택 편향 함수: 수요 방정식의 오차항인 선택 편향 $\lambda_j(x_t) = E[\xi_{jt} | a_{jt}=1, x_t]$는 관찰 가능한 변수 $x_t$의 함수가 아니라, 잠재적 시장 유형 $\kappa_t$에 의존합니다.

B. 식별 전략 (Identification)

1. 잠재적 성향 점수 (Latent Propensity Scores):

   • 관찰 가능한 $x_t$와 잠재적 공통 지식 $\kappa$를 조건으로 한 진입 확률 $P_j(x_t, \kappa)$를 정의합니다.
   • Proposition 3 에 따르면, 선택 편향 함수 $\lambda_j(x_t)$는 이러한 잠재적 성향 점수와 $\kappa$의 분포에 대한 **합성곱 (convolution)**으로 표현될 수 있습니다.
   • 핵심 아이디어: 제품 간 진입 결정의 상관관계는 공통된 관찰 불가능한 요소 $\kappa_t$에 의해 발생하므로, 진입 결정의 결합 분포를 분석함으로써 $\kappa_t$의 분포와 조건부 진입 확률을 비모수적으로 식별할 수 있습니다.

2. 2 단계 Sieve 기반 추정 (Two-Step Sieve-Based Estimator):

   • 1 단계 (진입 모델 추정): 관찰된 진입 결정 데이터 ($a_{jt}$) 를 사용하여 **유한 혼합 모델 (Finite Mixture Model)**을 추정합니다.
     • 관찰되지 않는 시장 유형 (latent market types) 을 $L$개의 이산적 클래스로 근사합니다 (Sieve approximation).
     • 각 유형별 진입 확률 $P_{j,\ell}(x)$와 유형별 확률 분포 $f_\ell$을 최대우도법 (MLE, EM 알고리즘) 으로 추정합니다.
   • 2 단계 (수요 파라미터 추정):
     • 1 단계에서 추정된 잠재적 성향 점수를 기반으로 **통제 변수 (Control Function)**를 구성합니다.
     • 구성된 통제 변수를 포함하는 GMM (Generalized Method of Moments) 회귀를 통해 수요 파라미터 ($\alpha, \beta, \sigma$) 와 선택 편향 파라미터를 추정합니다.
     • 이 방법은 공급 측 (비용 함수, 경쟁 형태) 에 대한 강한 가정을 요구하지 않습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 식별 조건: 제품 진입이 내생적이고 단조성 조건이 깨지는 환경에서도, 제품 간 진입 결정의 상관관계를 활용하여 수요 파라미터를 **순차적 (sequential)**으로 식별할 수 있음을 증명했습니다.
2. 반모수적 접근: 공급 측 구조나 기업 정보에 대한 강한 가정을 배제하면서도 선택 편향을 보정할 수 있는 투명하고 계산적으로 간단한 2 단계 추정법을 제시했습니다.
3. 이론적 확장: 기존 표본 선택 (Sample Selection) 이론을 확장하여, 선택 결정이 동시적 시스템 (simultaneous system) 내에서 발생하고 비단조적 (non-monotonic) 인 오차항이 존재하는 경우에도 통제 함수를 식별할 수 있음을 보였습니다. 이는 노동 시장 매칭, 가계 공동 의사결정 등 다른 분야에도 적용 가능한 결과입니다.

4. 실증 분석 결과 (Empirical Results)

미국 항공 산업 (2012-2013 년, 주요 100 개 MSA 간 노선) 데이터를 사용하여 방법을 적용했습니다.

• 모델 선택: 잠재적 시장 유형 수 ($L$) 를 3 으로 설정했을 때 모델 적합도와 수요 파라미터 추정의 안정성이 가장 좋았습니다.
• 수요 탄력성 (Price Elasticity) 추정:
  • 기존 방법 (OLS, 2SLS, Heckman 등): 내생적 진입을 제대로 보정하지 않거나 단순한 가정을 적용할 경우, 수요의 가격 탄력성을 과소평가했습니다 (예: 평균 탄력성 약 -1.60 ~ -5.55).
  • 제안된 방법 (Finite Mixture, $L=3$): 잠재적 이질성을 고려한 통제 변수를 도입한 결과, 가격 탄력성이 상당히 커짐을 발견했습니다 (평균 탄력성 약 -7.60 ~ -7.75).
  • 경제적 함의: 기존 방법들은 시장의 경쟁 강도를 과소평가하고, 가격 마진 (Lerner Index) 을 과대평가하는 경향이 있었습니다. 제안된 방법으로는 Lerner Index 가 68.8% (OLS) 에서 15.1% 로 크게 감소하여 시장이 더 경쟁적임을 시사합니다.
• 한계 비용 (Marginal Cost) 추정: 진입 선택 편향이 수요 추정에는 큰 영향을 미치지만, 한계 비용 추정에는 상대적으로 덜 민감한 것으로 나타났습니다. 이는 항공사의 진입 결정이 주로 수요 측의 관찰 불가능한 요인에 의해 좌우됨을 시사합니다.
• 반사실적 실험 (Counterfactuals): 내생적 진입을 고려하지 않은 모델은 합병 후 신규 진입 가능성을 과대평가하는 경향이 있어, 시장 경쟁성 (contestability) 을 과장할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

• 방법론적 혁신: 내생적 진입으로 인한 복잡한 선택 편향을 해결하기 위해 공급 측 가정에 의존하지 않는 새로운 반모수적 프레임워크를 정립했습니다.
• 실증적 중요성: 기존 연구들이 내생적 진입을 무시하거나 단순화할 경우 수요 탄력성과 시장 경쟁력을 심각하게 왜곡할 수 있음을 실증적으로 입증했습니다.
• 정책적 함의: 항공 산업과 같은 차별화된 제품 시장에서의 합병 심사, 규제 정책 등을 수립할 때 내생적 진입을 고려한 정확한 수요 추정 모델이 필수적임을 강조합니다.

이 논문은 구조적 산업 조직론 (Structural IO) 분야에서 내생적 진입 문제를 해결하는 데 있어 중요한 이정표가 될 것으로 기대됩니다.