Neural Demand Estimation with Habit Formation and Rationality Constraints

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"우리가 물건을 살 때, 과거의 습관이 현재의 선택에 얼마나 큰 영향을 미치는지"**를 인공지능 (AI) 을 이용해 분석한 연구입니다.

기존의 경제학 모델들은 "오늘의 가격과 소득만 보고 내일 무엇을 살지 결정한다"고 가정했습니다. 하지만 현실에서는 어떨까요? 커피를 매일 마시는 사람이 오늘 커피 가격이 조금 올라도 당장 다른 차를 사지 않는 것처럼, 우리의 소비는 '습관 (Habit)'이라는 보이지 않는 끈으로 과거와 연결되어 있습니다.

이 논문은 이 복잡한 '습관'을 AI 가 학습하도록 만들었고, 그 결과 기존 모델보다 훨씬 정확한 예측과 더 현실적인 복지 분석이 가능해졌음을 보여줍니다.

핵심 내용을 쉬운 비유로 설명해 드릴게요.

1. 문제: "기억력 없는 경제학자" vs "기억력 있는 AI"

기존 모델 (AIDS 등): 마치 메모를 안 하는 학생과 같습니다. 시험지 (오늘의 가격) 만 보고 답을 쓰려다 보니, 과거에 무엇을 공부했는지 (과거 소비 습관) 전혀 고려하지 못합니다. 그래서 "가격이 오르면 무조건 덜 산다"는 단순한 공식만 따릅니다.
이 논문의 모델 (신경망 + 습관): 마치 과거의 시험지까지 꼼꼼히 복습한 학생입니다. "어제 커피를 많이 마셨으니, 오늘 가격이 조금 올라도 여전히 커피를 살 가능성이 높다"는 **습관 (Habit)**을 데이터에 담았습니다.

2. 방법론: "AI 가 경제 법칙을 배운다"

저자는 AI(신경망) 를 훈련시킬 때 두 가지 중요한 규칙을 적용했습니다.

합리적인 선택 (규칙 준수): AI 가 아무리 똑똑해도 "가격이 오르면 더 많이 사는 기이한 행동"을 하거나, "A 와 B 의 관계가 B 와 A 의 관계와 다르게 나오는" 모순을 만들어서는 안 됩니다. AI 는 **경제학의 기본 법칙 (슬래츠키 대칭성 등)**을 위반하지 않도록 '규칙 (Penalty)'을 받으며 학습합니다.
기억의 저장 (습관 스톡): AI 는 과거의 소비 데이터를 **지수 가중 이동 평균 (EWMA)**이라는 방식으로 기억합니다. "어제 많이 먹은 건 오늘에도 영향을 미치지만, 1 년 전 일은 영향이 적다"는 식으로 기억의 강도를 조절합니다.

3. 실험 결과: "습관을 무시하면 얼마나 큰 실수를 할까?"

연구진은 두 가지 시나리오로 실험을 했습니다.

시나리오 A (단순한 세상): 가격이 변할 때 소비가 자연스럽게 변하는 경우.
- 결과: 기존 모델과 AI 모델 모두 잘 맞췄습니다.
시나리오 B (습관이 중요한 세상): 소비자가 과거 습관에 따라 움직이는 경우.
- 결과: 기존 모델은 완전히 엉뚱한 예측을 했습니다. 마치 습관을 무시하고 "가격이 오르면 무조건 덜 사야 한다"고 외우는 학생처럼, 실제 데이터와 동떨어진 결과를 냈습니다.
- 반면, 습관을 기억하는 AI 모델은 과거 데이터를 바탕으로 미래의 소비 패턴을 놀라울 정도로 정확하게 예측했습니다.

4. 실제 적용: "두통약 (진통제) 시장 분석"

실제 미국의 대형 마트 데이터 (도미니크스) 를 이용해 진통제 (아스피린, 아세트아미노펜, 이부프로펜) 시장을 분석했습니다.

기존 모델의 오해: "아스피린 가격이 오르면 사람들이 이부프로펜으로 넘어간다"고 해석했습니다. (단순한 대체 효과로 착각)
AI 모델의 발견: "아니요, 그건 상점별 고객 층의 차이 (세그먼트) 때문이에요. 아스피린을 좋아하는 가게는 이부프로펜 가격과 상관없이 아스피린을 계속 사요."
- 비유: 어떤 가게는 '아스피린 팬'들이 모이고, 다른 가게는 '이부프로펜 팬'들이 모입니다. 가격이 변해서 바뀐 게 아니라, 처음부터 다른 사람들이 모였을 뿐인 것입니다. 기존 모델은 이 '사람들의 성향'을 무시하고 가격 탓만 했습니다.

5. 결론: "행복 (후생) 계산이 달라집니다"

가장 중요한 점은 정책 결정에 미치는 영향입니다.

상황: 이부프로펜 가격이 10% 올랐다고 가정해 봅시다.
기존 모델의 결론: "가격이 10% 올랐으니 소비자들이 조금만 불편해할 거야. (후생 손실 작음)"
이 논문의 결론: "아니요, 사람들은 습관 때문에 이부프로펜을 포기하기 어려워요. 그래서 훨씬 더 큰 고통을 겪을 거예요. (후생 손실 15~16% 더 큼)"

요약하자면:
이 논문은 **"소비자의 과거 습관을 무시하면, 가격 변화가 사람들에게 미치는 고통을 과소평가하게 된다"**는 것을 AI 를 통해 증명했습니다. 마치 기억력 없는 의사가 환자의 병력을 무시하고 약만 처방하는 것처럼, 과거를 무시한 경제 정책은 현실과 동떨어진 결과를 낳을 수 있다는 경고입니다.

이제 우리는 AI 가 과거의 '기억'을 통해 더 똑똑하고 인간적인 경제 분석을 할 수 있게 되었습니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 제기 (Problem)

전통적인 수요 시스템 (예: Almost Ideal Demand System, AIDS) 은 소비자 이론의 제약 (적분 가능성, 슬루츠키 대칭성 등) 을 기반으로 하지만, 다음과 같은 현대적 도전에 직면해 있습니다:

고차원성: 많은 재화와 속성에 걸친 복잡한 가격 변동.
상태 의존성 (State Dependence): 습관 형성 (habit formation), 재고 축적, 기준점 의존성 등으로 인해 과거 소비가 현재 선택에 영향을 미침.
후생 분석의 필요성: 유연한 모델이면서도 경제적으로 일관된 (integrable) 비교 정적 분석과 후생 (welfare) 측정이 가능해야 함.

기존의 정적 (static) 수요 모델은 습관 형성을 무시하여, 구조적 대체 효과 (substitution) 와 지속적인 세그먼트 선택 (segmentation) 을 혼동하게 만들고, 이로 인해 후생 분석 (예: 가격 상승에 따른 보상 변형, CV) 에 편향을 초래합니다.

2. 방법론 (Methodology)

저자는 **연속적인 예산 할당 (continuous budget allocation)**을 위한 유연한 신경망 수요 시스템을 개발했습니다.

A. 기본 프레임워크

목표: 주어진 경제 상태 (가격, 소득) 에서 관찰된 예산 비중 (budget shares) 의 조건부 분포를 추정.
손실 함수: 관찰된 비중과 예측된 비중 사이의 **KL 발산 (Kullback-Leibler divergence)**을 최소화. 이는 확률 심플렉스 (simplex) 위의 합성 데이터 (compositional data) 에 적합한 최대우도추정 (MLE) 접근법입니다.
구조:
- Softmax 매핑: 유연한 "선호 점수 (preference scorer)" 신경망 (MLP) 의 출력을 Softmax 를 통해 예산 비중으로 변환. 이는 자동으로 '합계 조건 (adding-up, $\sum w_i = 1$ )'을 만족시킵니다.
- 상태 의존성 (습관 형성): 과거 소비의 지수 가중 이동 평균 (EWMA) 으로 정의된 **습관 재고 (habit stock, $\bar{x}_t$ $\overset{x}{ˉ}_{t}$ )**를 상태 벡터에 포함시킵니다.
  - $\bar{x}_t(\delta) = \delta \bar{x}_{t-1} + (1-\delta)x_{t-1}$
  - 선호 점수 함수가 이 습관 재고에 비모수적으로 (nonparametrically) 조건부 의존하도록 설계.

B. 경제학적 제약 및 정규화 (Regularity Penalties)

후생 분석을 위해 추정된 시스템이 소비자 이론의 제약에 부합하도록 훈련 목적 함수에 페널티를 추가합니다:

슬루츠키 대칭성 (Slutsky Symmetry): 보상된 교차 가격 효과 행렬의 비대칭성을 패널티.
단조성 (Monotonicity): 마샬린 수요가 가격 상승 시 감소해야 함 (기펜 재화 배제).
근접 적분 가능성 (Near-integrability) 진단: 추정된 모델이 이론적 제약에서 얼마나 벗어나는지 진단 지표를 보고.

C. 습관 감쇠 파라미터 ( $\delta$ ) 추정

습관 감쇠율 $\delta$ 는 데이터 내 적합도 (in-sample fit) 로부터 약하게 식별 (weakly identified) 됩니다.
프로파일링 (Profiling) 접근법: 검증 집합 (out-of-sample) 의 KL 발산을 기준으로 $\delta$ 를 선택하는 프로파일 기준을 사용.
식별 집합 (Identified Set): 단일 점 추정보다는 $\delta$ 의 식별 집합 (near-minimizers) 을 보고하여 후생 결론의 견고성을 확보합니다.

D. 내생성 처리 (Endogeneity)

가격과 관측되지 않은 수요 충격 간의 상관관계를 해결하기 위해 통제 함수 (Control Function) 접근법을 적용합니다.
1 단계에서 가격의 잔차를 추정하여 신경망 입력에 포함시키고, 2 단계에서 이 잔차를 조건으로 하여 인과적 수요 매핑을 추정합니다.

3. 주요 기여 (Key Contributions)

신경망 수요 추정기 제안: 심플렉스 (simplex) 위의 연속 예산 할당을 KL 최소화 방식으로 추정하며, 구조적 계산을 유지하면서 차원 확장성이 뛰어남.
이론적 제약 통합: 파라메트릭 효용 함수를 강제하지 않으면서도, 정규화 (regularization) 와 진단을 통해 유연한 모델에서 후생 분석을 가능하게 함.
상태 의존성 확장 및 실증적 검증: 습관 재고를 포함한 상태 의존적 수요 프레임워크를 제시하고, 습관 감쇠 파라미터의 약한 식별 문제를 프로파일링으로 해결. 이를 통해 스캐너 데이터에서 구조적 대체와 지속적인 세그먼트 선택을 분리하는 방법을 보여줌.

4. 결과 (Results)

A. 시뮬레이션 결과

정확도: CES, Leontief, Stone-Geary 등 다양한 데이터 생성 과정 (DGP) 에서 신경망 모델은 기존 AIDS/QUAIDS 및 비모수 추정기보다 예측 오차 (RMSE) 가 현저히 낮음.
후생 회복: 보상 변형 (CV) 을 거의 완벽하게 회복.
습관 형성 효과: DGP 에 습관이 포함된 경우, 정적 모델 (Neural Demand static) 은 실패하지만, 습관 재고를 포함한 모델은 RMSE 를 80% 이상 감소시키고 KL 발산을 1 차수 (order of magnitude) 감소시킴.
내생성: 통제 함수 (CF) 를 적용하지 않으면 내생성으로 인해 예측이 실패하지만, CF 적용 시 정확도가 회복됨.

B. 실증 분석 (Dominick's Analgesics 데이터)

데이터: Dominick's Finest Foods 의 OTC 진통제 카테고리 (아스피린, 아세트아미노펜, 이부프로펜) 스캐너 데이터.
예측 정확도: 습관 형성 모델을 도입한 결과, LA-AIDS 기준 대비 33% 의 아웃-오브-샘플 오차 감소.
탄력성 및 대체 패턴:
- 정적 모델은 아스피린과 이부프로펜 사이에 인위적인 대체 효과 (positive cross-price elasticity) 를 보임.
- 습관 모델을 통해 상태를 고정 (fixed state) 하면 아스피린 - 이부프로펜 간 대체 효과가 0 에 수렴함. 이는 기존 모델이 '선택 (selection)'을 '대체 (substitution)'로 잘못 해석했음을 의미.
- 아세트아미노펜과 이부프로펜 간의 대체 효과는 robust 하게 유지됨.
후생 분석 (Welfare):
- 이부프로펜 가격 10% 상승 시, 습관 모델은 정적 모델 대비 약 15~16% 더 큰 보상 변형 (CV) 손실을 추정.
- 이는 습관 형성으로 인해 소비자의 브랜드 충성도가 높아져 가격 변화에 대한 대체가 둔화되고, 따라서 후생 손실이 더 크다는 것을 시사.

5. 의의 및 결론 (Significance)

이론과 머신러닝의 연결: 소비자 이론을 완전한 파라메트릭 제약이 아닌, **제약된 준모수적 정규화 (constrained semi-parametric discipline)**로 활용하여 신경망 기반 계량경제학의 새로운 방향을 제시.
정책적 함의: 반복 구매 시장에서 상태 의존성 (습관) 을 무시하면 후생 분석이 왜곡될 수 있음을 보여줌. 가격 정책, 인플레이션 측정, 조세 분석 시 습관 요소를 고려해야 함.
실용성: 제안된 방법은 유연하면서도 경제적으로 해석 가능한 탄력성과 후생 지표를 제공하며, 코드와 방법론은 오픈 소스로 공개되어 재현성 확보.

요약하자면, 이 논문은 신경망을 사용하여 유연하게 수요를 추정하되, 경제 이론의 제약 (합리성) 을 페널티로 부과하고 습관 형성을 상태 변수로 포함시킴으로써, 기존 정적 모델이 놓쳤던 구조적 대체 효과와 후생 손실을 정확하게 포착할 수 있음을 입증했습니다.