Regression Adjustments for Double Randomization in Two-Sided Marketplaces

이 논문은 두 면 시장 (two-sided marketplace) 의 이중 무작위화 실험에서 간섭 효과를 고려하여 총, 스킬러, 직접 효과를 추정하기 위한 최적의 회귀 조정 전략을 제안하고, 이를 통해 기존 방법보다 효율성을 크게 향상시킨다는 점을 입증합니다.

핵심

이 논문은 **'두 면이 있는 시장 (Two-sided Marketplace)'**에서 실험을 할 때, 어떻게 하면 더 정확하고 똑똑하게 결과를 분석할 수 있는지에 대한 새로운 방법을 제안합니다.

한마디로 요약하면: "기존의 단순한 계산법으로는 놓치는 중요한 정보들이 많았는데, 우리는 '최적의 보정 (Regression Adjustment)'이라는 새로운 공식을 만들어서 실험의 정확도를 획기적으로 높였습니다."

이 복잡한 통계 논문을 일상적인 언어와 비유로 풀어서 설명해 드릴게요.

---

1. 배경: 왜 기존 방식으로는 부족할까? (두 면의 시장)

우리가 흔히 아는 'A/B 테스트'는 예를 들어, 어떤 앱의 버튼을 빨간색으로 바꾸면 클릭이 늘는지 확인하는 실험입니다. 이때는 사용자 A 와 B 를 무작위로 나누어 실험하면 됩니다.

하지만 **이 논문이 다루는 '두 면의 시장' (예: 우버, 에어비앤비, 쿠팡 등)**은 다릅니다.

• **구매자 (Buyer)**와 **판매자 (Seller)**가 서로 맞물려 있습니다.
• 만약 구매자만 실험하고 판매자는 그대로 두면, 판매자들이 "아, 구매자들이 바뀌었네?"라고 반응하면서 결과가 왜곡될 수 있습니다. 이를 **'간섭 (Interference)'**이라고 합니다.

기존의 방법 (MRD, Multiple Randomization Designs) 은 이런 복잡한 상황을 해결하기 위해 구매자와 판매자 양쪽을 모두 무작위로 실험군과 대조군으로 나눕니다. 하지만 문제는 이 방식이 실험을 할 때 '노이즈'가 너무 많아서 진짜 효과를 찾기 어렵다는 점입니다. 마치 시끄러운 카페에서 속삭이는 소리를 듣는 것과 비슷합니다.

2. 해결책: '현명한 보정' (Regression Adjustment)

연구자들은 "과거의 데이터나 사용자 정보를 활용하면 이 시끄러운 소리를 줄일 수 있지 않을까?"라고 생각했습니다. 이를 통계학에서는 **'회귀 보정 (Regression Adjustment)'**이라고 합니다.

• 기존 방식 (ANCOVA): "지난달 매출이 높은 가게는 이번 달에도 매출이 높을 거야. 그래서 과거 매출을 빼고 계산하자."라는 단순한 선형 공식을 썼습니다.
• 이 논문의 발견: "잠깐! 그 단순한 공식은 때로는 오히려 정확도를 떨어뜨리거나, 실험 결과가 왜곡될 때 더 큰 실수를 범할 수도 있어!"라고 경고했습니다.

3. 핵심 아이디어: '최적의 저울' (Optimal Regression)

이 논문이 제시한 핵심은 **"어떤 보정 공식을 써야 가장 정확한가?"**를 수학적으로 찾아낸 것입니다.

🏪 비유: 장바구니 저울

가게에서 물건을 살 때, 저울이 정확하지 않다고 가정해 봅시다.

• 일반적인 방법: "이 물건의 무게는 보통 1kg 이니까, 1kg 을 빼고 계산하자." (단순한 보정)
• 이 논문의 방법: "아니, 이 물건의 무게는 오늘의 날씨, 가게의 위치, 구매자의 성별에 따라 달라져. 이 모든 요소를 고려해서 **가장 정확한 가중치 (Weight)**를 매겨서 계산해야 해."

연구자들은 이 '가장 정확한 가중치'를 데이터에서 직접 계산해내는 공식을 개발했습니다. 이 공식을 사용하면:

1. 노이즈 제거: 실험의 잡음을 훨씬 잘 걸러냅니다.
2. 안전장치: 만약 보정을 잘못 적용하면 결과가 더 나빠질 수 있는데, 이 방법은 **"최악의 경우에도 기존 방법보다 나쁘지 않다 (No-harm principle)"**는 것을 수학적으로 증명했습니다.

4. 놀라운 발견: 예상치 못한 결과

이 논문에서 가장 흥미로운 점은, 우리가 흔히 쓰는 '가장 간단한 공식'이 최적이 아니었다는 것입니다.

• 비유: 우리가 "가장 빠른 길"을 찾기 위해 네비게이션을 켰는데, 알고 보니 가장 복잡한 우회로가 실제로는 가장 빨랐던 것과 같습니다.
• 구체적인 예: '직접 효과 (Direct Effect)'를 계산할 때, 단순한 회귀 분석 대신 **'가중치가 달린 복잡한 패널 회귀 분석'**을 사용해야 가장 정확한 결과를 얻는다는 것을 발견했습니다. 이는 마치 "모든 가게의 평균 매출을 단순히 빼는 게 아니라, 가게 크기와 위치에 따라 다르게 보정해야 한다"는 뜻입니다.

5. 결론: 왜 이 연구가 중요한가?

이 연구는 다음과 같은 가치를 제공합니다:

1. 더 짧은 실험 기간: 같은 정확도를 얻기 위해 더 적은 데이터나 더 짧은 시간만으로도 실험을 끝낼 수 있게 되어, 기업은 더 빠르게 의사결정을 내릴 수 있습니다.
2. 더 안전한 결론: "우리가 실험한 결과가 진짜 효과가 있는가?"에 대한 확신을 더 높여줍니다.
3. 새로운 표준: 앞으로 두 면이 있는 시장 (플랫폼) 에서 실험을 할 때, 단순한 A/B 테스트 대신 이 '최적 보정 방법'을 쓰는 것이 새로운 표준이 될 것입니다.

요약

이 논문은 **"복잡한 시장 실험에서 단순한 계산법은 위험할 수 있다"**고 경고하며, **"데이터의 숨겨진 패턴을 이용해 가장 똑똑하게 보정하는 새로운 수학적 도구"**를 개발했습니다. 이는 마치 시끄러운 방에서 속삭이는 소리를 듣기 위해, 단순히 귀를 막는 게 아니라 소리의 주파수를 맞춰주는 고급 헤드폰을 개발한 것과 같습니다. 덕분에 기업들은 더 명확하고 정확한 실험 결과를 얻을 수 있게 되었습니다.

기술 요약

이 논문은 양면 시장 (Two-sided Marketplaces) 에서 발생하는 간섭 (Interference) 문제를 해결하기 위해 고안된 다중 무작위화 설계 (Multiple Randomization Designs, MRDs) 에 대한 회귀 조정 (Regression Adjustment) 전략을 제안하고 이론적으로 분석한 연구입니다. 저자들은 Timothy Sudijono, Lihua Lei, Lorenzo Masoero, Suhas Vijaykumar, Guido Imbens, James McQueen 입니다.

다음은 이 논문의 기술적 요약입니다.

---

1. 문제 정의 (Problem Statement)

• 배경: 디지털 경제에서 양면 시장 (예: 구매자와 판매자, 광고주와 콘텐츠 제작자) 은 보편적입니다. 이러한 환경에서 개입의 효과를 측정하기 위해 표준적인 A/B 테스트를 수행할 때, 단위 간 간섭 (Interference) 이 발생하여 결과가 왜곡될 수 있습니다. 예를 들어, 구매자에게 적용된 처치가 판매자의 행동에 영향을 미치고, 이는 다시 다른 구매자 - 판매자 쌍의 결과에 영향을 줄 수 있습니다 (스필오버 효과).
• MRD 의 한계: 기존 연구 [BBI+21, MVR+24] 는 이러한 간섭을 처리하기 위해 구매자와 판매자 양쪽을 동시에 무작위화하는 MRD 를 제안했습니다. 이를 통해 총 효과 (Total Effect), 직접 효과 (Direct Effect), 그리고 스필오버 효과 (Spillover Effects) 를 추정할 수 있습니다.
• 핵심 문제: 기존 MRD 프레임워크는 공변량 (Covariate) 조정을 통한 추정량의 정밀도 향상 방법을 다루지 못했습니다. 양면 시장의 한쪽이 작거나 무작위화가 두 번 이루어지는 경우, 표본 크기가 상대적으로 작아 통계적 검정력 (Power) 이 낮아질 수 있습니다. 기존 A/B 테스트에서 널리 쓰이는 공변량 조정 (예: ANCOVA, CUPED) 을 MRD 에 단순히 적용하는 것은 비효율적이거나 오히려 분산을 증가시킬 수 있습니다.

2. 방법론 (Methodology)

저자들은 MRD 환경에서 최적의 회귀 조정 (Optimal Regression Adjustment) 을 도출하기 위해 다음과 같은 접근법을 취했습니다.

• 임의화 기반 추론 (Design-based Inference): 잠재 결과 (Potential Outcomes) 를 고정된 값으로 간주하고, 무작위화 과정에서의 변동성만을 고려하는 유한 모집단 (Finite Population) 프레임워크를 사용합니다.
• 보간 추정량 (Imputation Estimators): 관심 있는 효과 $\tau_c$에 대해, 공변량 $X_{ij}$를 사용하여 잔차를 보정한 추정량을 정의합니다.
  $$\hat{\tau}_c(\beta) = \sum_{\gamma \in \Gamma} c_\gamma \frac{1}{I_\gamma J_\gamma} \sum_{(i,j) \in \gamma} (y_{ij} - X_{ij}^\top \beta)$$
  여기서 $\gamma$는 처치/대조군 그룹 (tr, ib, is, cc) 을 나타냅니다.
• 최적 계수 도출: 위 추정량의 점근적 분산을 최소화하는 $\beta$를 찾습니다.
  • 비교 (Non-interacted) 조정: 모든 그룹에서 동일한 $\beta$를 사용합니다.
  • 상호작용 (Interacted) 조정: 그룹별로 다른 $\beta_\gamma$를 사용할 수 있습니다.
• 최적 조정의 추정: 이론적으로 최적의 $\beta$는 관찰되지 않는 잠재 결과에 의존하지만, 저자들은 관측 데이터로부터 일관성 있게 추정 가능한 $\hat{\beta}$ 를 제시합니다. 이는 최소제곱법 (OLS) 과는 다른 가중치를 사용하는 가중 최소제곱 (Weighted Least Squares, WLS) 형태로 해석됩니다.
  • 특히 직접 효과 (Direct Effect) 의 경우, 최적 조정은 상호작용된 양방향 고정 효과 (Interacted Two-Way Fixed Effects, TWFE) 를 포함한 가중 회귀와 동일합니다.
  • 이 가중치는 소수 그룹 (Tyranny-of-the-minority) 에 더 큰 가중치를 두는 구조를 가지며, 이는 분산을 최소화하기 위함입니다.

3. 주요 기여 (Key Contributions)

1. 최적 회귀 조정의 도출: 잠재 결과에 대한 선형 모델 가정이 없어도, MRD 에서 분산을 최소화하는 회귀 조정 계수를 유도했습니다. 이 계수는 관찰 데이터로 추정 가능하며, 기존 ANCOVA 나 단순 무조정 추정량보다 점근적 분산이 항상 작거나 같습니다 (No-harm Principle).
2. 이론적 기반 강화 및 중심극한정리 (CLT):
   • MRD 에 대한 새로운 중심극한정리를 1-Wasserstein 거리 기반으로 증명했습니다. 이는 기존 연구 [MVR+24] 의 CLT 가 적용되지 않는 경우 (예: 행/열 평균의 변동성이 매우 작거나 0 에 수렴하는 희소 데이터) 에도 적용 가능합니다.
   • 보수적인 분산 추정량 (Conservative Variance Estimator) 의 일관성을 증명하여 신뢰구간 구성을 가능하게 했습니다.
3. 실증적 효율성 증대: 시뮬레이션을 통해 제안된 최적 조정 방법이 기존 ANCOVA 나 무조정 방법보다 효율성이 크게 향상됨을 보였습니다. 특히 불균형한 실험 설계 (Imbalanced Experiments) 에서 ANCOVA 가 오히려 분산을 증가시킬 수 있는 반면, 제안된 방법은 항상 우월한 성능을 보였습니다.
4. 새로운 통계적 도구 개발: MRD 에 대한 이론적 분석을 위해 Stein 방법과 샘플링 집중도 (Concentration of Measure) 도구를 활용한 새로운 CLT 를 개발했습니다.

4. 주요 결과 (Results)

• 직접 효과 (Direct Effect): 최적 조정은 가중 TWFE 회귀 계수와 일치하며, 이는 그룹 크기에 반비례하는 가중치를 부여합니다. 이는 소수 그룹의 정보를 더 잘 활용하여 분산을 줄입니다.
• 총 효과 및 스필오버 효과: 이들에 대한 최적 조정도 유도되었으나, 직접 효과만큼 깔끔한 회귀 형태로 표현되지는 않습니다.
• 시뮬레이션 결과:
  • 불균형 실험: 처치 비율이 낮을 때 (예: 10%), 제안된 방법 (Opt) 은 ANCOVA 보다 훨씬 작은 분산을 보였습니다. ANCOVA 는 오히려 무조정 방법보다 분산이 커지는 경우가 있었습니다.
  • 균형 실험: 균형 잡힌 설계에서도 제안된 방법이 ANCOVA 와 유사하거나 더 좋은 성능을 보였습니다.
  • 신뢰구간: 제안된 방법은 더 짧은 신뢰구간을 유지하면서도 원하는 커버리지 (Coverage) 를 달성했습니다.
• 모델 강건성 (Robustness): 잠재 결과에 선형 모델이 성립하지 않더라도 (Model-robustness), 제안된 추정량은 일관성 있고 점근적으로 정규분포를 따릅니다.

5. 의의 및 결론 (Significance)

이 논문은 양면 시장 실험에서 회귀 조정의 표준 (Analog of classical regression adjustments) 을 제시합니다.

• 실무적 가치: MRD 를 실제 비즈니스 환경 (예: Amazon, Uber 등) 에 적용할 때, 표본 크기가 작거나 불균형한 상황에서도 통계적 검정력을 높일 수 있는 강력한 도구를 제공합니다.
• 이론적 확장: 기존 MRD 이론의 한계를 넘어, 더 넓은 조건 (희소성, 다양한 스케일링) 에서의 점근적 정규성을 증명함으로써 MRD 분석의 이론적 토대를 강화했습니다.
• 향후 연구: 상호작용 조정 (Interacted Adjustments) 에 대한 이론적 분석은 향후 과제로 남겼으나, 비상호작용 조정의 방법론이 이를 자연스럽게 확장할 수 있음을 시사합니다. 또한, 고차원 공변량이나 비선형 모델 (Poisson, Logistic) 로의 확장 가능성도 언급되었습니다.

요약하자면, 이 연구는 양면 시장의 복잡한 간섭 구조 하에서도 공변량 정보를 효과적으로 활용하여 더 정밀하고 강력한 인과 추론을 가능하게 하는 최적의 회귀 조정 프레임워크를 제시한 획기적인 작업입니다.