Regression Adjustments for Double Randomization in Two-Sided Marketplaces

1. Problemstellung und Motivation

Hintergrund:
Zweiseitige Märkte (z. B. Plattformen mit Käufern und Verkäufern) sind im digitalen Ökosystem allgegenwärtig. Standard-A/B-Tests scheitern in diesen Umgebungen oft an Interferenzen (Spillover-Effekten): Eine Intervention bei einer Gruppe (z. B. Käufern) beeinflusst nicht nur deren Ergebnisse, sondern auch die Ergebnisse der anderen Seite (Verkäufer) und deren Interaktionen.

Multiple Randomization Designs (MRDs):
Um Interferenzen zu handhaben, wurden Multiple Randomization Designs (MRDs) entwickelt. Dabei werden sowohl Käufer als auch Verkäufer unabhängig voneinander randomisiert. Dies erzeugt vier Gruppen von Käufer-Verkäufer-Paaren:

1. tr (treated-treated): Beide Seiten behandelt.
2. ib (interfered-buyer): Käufer behandelt, Verkäufer nicht.
3. is (interfered-seller): Verkäufer behandelt, Käufer nicht.
4. cc (clean-control): Beide Seiten unbehandelt.

Unter der Annahme lokaler Interferenz können daraus kausale Effekte wie der direkte Effekt, Spillover-Effekte und der Gesamteffekt geschätzt werden.

Das fehlende Puzzleteil:
Bisherige MRD-Frameworks (z. B. Bajari et al., 2021; Masoero et al., 2024) bieten Schätzer ohne Kovariatenanpassung. In der Praxis leiden diese Schätzer jedoch oft unter geringer statistischer Power, insbesondere wenn eine Seite des Marktes klein ist oder die Randomisierung unausgewogen ist. Die Integration von Kovariaten (z. B. historische Outcomes) zur Varianzreduktion ist in MRDs noch nicht ausreichend erforscht. Einfache lineare Regressionen (ANCOVA) können in diesem Kontext sogar die Varianz verschlechtern, ähnlich wie Freedman (2008) für klassische Experimente zeigte.

2. Methodik

Das Paper entwickelt eine Theorie für optimale Regressionsanpassungen im Kontext von MRDs, die auf einem endlichen Populationsrahmen (finite population framework) basiert, bei dem die potenziellen Outcomes fest sind und die Zufälligkeit nur aus der Randomisierung stammt.

Kernansatz: Imputationsschätzer
Die Autoren betrachten eine Klasse von Schätzern, die als „nicht-interagierte Imputationsschätzer" bezeichnet werden:
$$\hat{\tau}_c(\beta) = \sum_{\gamma \in \Gamma} c_\gamma \frac{1}{I_\gamma J_\gamma} \sum_{(i,j) \in \gamma} (y_{ij} - X_{ij}^\top \beta)$$
Hierbei ist $\beta$ ein Vektor von Regressionskoeffizienten, der die Kovariaten $X_{ij}$ gewichtet, um die Residuen zu minimieren.

Optimale Anpassung:
Im Gegensatz zu klassischen Experimenten, wo oft separate OLS-Schätzungen pro Gruppe oder eine interagierende Regression (Lin, 2013) verwendet werden, leiten die Autoren den Koeffizienten $\beta$ her, der die asymptotische Varianz des Schätzers $\hat{\tau}_c(\beta)$ minimiert.

• Ergebnis: Der optimale $\beta$ ist aus den beobachteten Daten schätzbar und hängt nicht von nicht-identifizierbaren Kontrasten potenzieller Outcomes ab.
• Besonderheit: Der optimale $\beta$ ist im Allgemeinen nicht identisch mit den Koeffizienten einer gewöhnlichen linearen Regression (OLS) oder ANCOVA.

Spezifische Ergebnisse für verschiedene Effekte:

1. Direkter Effekt: Der optimale Schätzer entspricht einem gewichteten Least-Squares-Regression mit zwei-Wege-Fixed-Effects (TWFE), die mit Interaktionstermen versehen sind. Die Gewichte ähneln der „Tyranny-of-the-Minority"-Regression (LL22), bei der kleinere Gruppen höher gewichtet werden.
2. Gesamt- und Spillover-Effekte: Für diese Effekte existieren keine so einfachen geschlossenen Formen wie beim direkten Effekt, aber die optimalen $\beta$ können dennoch konsistent geschätzt werden.

Theoretische Verbesserungen für MRDs:
Um die Inferenz für diese Schätzer zu ermöglichen, verbessern die Autoren die theoretischen Grundlagen für MRDs:

• Sie leiten einen neuen Zentralen Grenzwertsatz (CLT) für doppelt randomisierte Summen her, der in der 1-Wasserstein-Distanz gilt.
• Dieser CLT gilt auch in Szenarien, in denen die Varianz schneller als $\Theta(I^{-1} + J^{-1})$ abfällt (z. B. $\Theta((IJ)^{-1})$), was in früheren Arbeiten (MVR+24) als Voraussetzung galt.
• Sie nutzen Methoden aus der Stein'schen Methode und Konzentrationsungleichungen für Stichproben ohne Zurücklegen.

3. Wichtige Beiträge

1. Optimale Regressionsanpassungen: Herleitung von $\beta$-Vektoren, die die asymptotische Varianz für beliebige lineare Kombinationen von potenziellen Outcomes minimieren, ohne Annahmen über das lineare Modell der Outcomes zu treffen (Modell-Robustheit).
2. Schätzbarkeit: Beweis, dass diese optimalen Anpassungen konsistent aus den beobachteten Daten geschätzt werden können (Plug-in-Schätzer).
3. Inferenz und Konfidenzintervalle: Entwicklung konservativer Varianzschätzer und Beweis der asymptotischen Normalität der adjustierten Schätzer, was valide Konfidenzintervalle ermöglicht.
4. Erweiterung der MRD-Theorie: Bereitstellung neuer theoretischer Werkzeuge (verbesserter CLT und konsistente Varianzschätzung), die schwächere Annahmen als vorherige Arbeiten benötigen und somit eine breitere Klasse von Skalierungsszenarien abdecken.
5. No-Harm-Prinzip: Nachweis, dass die optimale Anpassung asymptotisch mindestens so effizient ist wie unadjustierte Schätzer oder naive ANCOVA, und in vielen Fällen signifikant besser.

4. Ergebnisse und Simulationen

Die Autoren validieren ihre Methoden durch umfangreiche Simulationen:

• Vergleich: Sie vergleichen drei Methoden: (1) Unadjustierter MRD-Schätzer, (2) Naive ANCOVA (OLS mit Kovariaten) und (3) Den optimalen Plug-in-Schätzer.
• Ergebnisse:
  • Der optimale Schätzer übertrifft in fast allen Szenarien die anderen Methoden, insbesondere bei unausgewogenen Experimenten (imbalanced designs).
  • ANCOVA kann schädlich sein: In unausgewogenen Szenarien führt die naive ANCOVA oft zu einer höheren Varianz als der unadjustierte Schätzer (Bestätigung von Freedmans Kritik in MRDs).
  • Effizienzgewinn: Die Varianzreduktion durch den optimalen Schätzer ist beträchtlich, was zu deutlich kürzeren Konfidenzintervallen bei gleicher Abdeckung führt.
  • Robustheit: Die Konfidenzintervalle basierend auf den konservativen Varianzschätzern erreichen die gewünschte Abdeckung (Coverage).

Ein spezifisches Beispiel zeigt, dass für den direkten Effekt der optimale Schätzer eine gewichtete TWFE-Regression darstellt, die asymptotisch effizienter ist als die Standard-OLS-Anpassung.

5. Bedeutung und Fazit

Dieses Paper schließt eine signifikante Lücke in der Methodik für Experimente auf zweiseitigen Märkten. Es bietet einen praktischen Weg, die Präzision von MRD-Experimenten durch Kovariatenanpassung zu steigern, ohne dabei die Gefahr einzugehen, die Schätzung zu verschlechtern (wie es bei naiver Regression der Fall sein kann).

Praktische Implikationen:

• Datenanalysten in Plattformen sollten nicht einfach Standard-OLS für MRDs verwenden.
• Stattdessen sollten die hier vorgeschlagenen optimalen Gewichte und Regressionsformulierungen (insbesondere die gewichtete TWFE für direkte Effekte) genutzt werden.
• Die entwickelten theoretischen Werkzeuge (CLT für MRDs) ermöglichen verlässliche Inferenz auch in Szenarien mit geringer Varianz oder Sparsity, was für reale Marktplatzdaten (wo viele potenzielle Interaktionen nicht stattfinden) entscheidend ist.

Zusammenfassend stellt die Arbeit das Äquivalent zu klassischen Regressionsanpassungen für A/B-Tests dar, jedoch speziell angepasst an die komplexen Interferenzstrukturen von zweiseitigen Märkten.