Hierarchical Bayesian Experimental Estimation of Incremental Local Advertising Effects with Secure Aggregation and Differential Privacy

Technische Samenvatting: Hiërarchische Bayesiaanse Experimentele Schatting van Incrementele Lokale Advertentie-effecten met Veilige Aggregatie en Differentiele Privacy

1. Probleemstelling

Het artikel behandelt de uitdaging van het meten van de incrementele effectiviteit van lokale commerciële advertenties in de Verenigde Staten onder strikte privacybeperkingen. Traditionele meetmodellen worden geconfronteerd met drie primaire hindernissen:

• Datasparsiteit en Bias: Lokale bedrijven (bijv. restaurants, winkeliers) hebben vaak een lage advertentie-investering, weinig conversie-indicatoren en korte campagnecycli. Standaard "last-click" attributiemodellen slagen er niet in om onderscheid te maken tussen door advertenties gedreven conversies en organische vraag, waardoor incrementele effecten vaak worden overschat.
• Privacybeperkingen: Toenemende regelgeving beperkt de toegang tot gebruikersniveau gedragsgegevens, wat de noodzaak voor geaggregeerde, privacy-beschermende statistieken vergroot.
• Statistische Identificatie: Hoewel Secure Aggregation (SA) en Differential Privacy (DP) individuele gegevens beschermen, introduceren ze ruis die de statistische identificatiecapaciteiten verzwakt, met name voor campagnes met kleine steekproeven waar de signaal-ruisverhouding laag is.

Het kernprobleem is het construeren van een framework dat nauwkeurig incrementele conversies en Return on Ad Spend (ROAS) kan schatten met behulp van privacy-geperturbueerde regionale data, zonder de ruis als verwaarloosbaar te behandelen of de privacybescherming op te offeren.

2. Methodologie

De auteurs stellen een computationele pipeline voor die regionale gerandomiseerde experimenten, veilige aggregatie, differentiele privacy en hiërarchische Bayesiaanse inferentie integreert.

A. Experimenteel Ontwerp en Datacollectie

• Omvang: De studie beslaat 1.860 lokale bedrijven in 12 Amerikaanse staten, met betrokkenheid van 4.720 campagnes, 1,26 miljard impressies en 2,18 miljoen aankoop/afspraakrecords.
• Gepaarde Regio-Randomisatie: Er wordt een zip-code-niveau gepaard gerandomiseerd experiment toegepast. Bedrijven worden in treatment- en controlegroepen verdeeld op basis van een 4-dimensionale vector: populatiegrootte, historische omzet, industriële categorie en advertentie-uitgaven.
• Matching Algoritme: Het systeem gebruikt Z-score normalisatie voor continue variabelen, KD-tree kandidaat-retrieval (top 5) en Mahalanobis-afstand voor de uiteindelijke selectie (1:1 matching zonder substitutie). Een SHA-256 hash van de campagne-ID dient als willekeurige seed voor toewijzing.

B. Privacy-Preserving Dataggregatie

• Secure Aggregation (SA): Lokale nodes coderen impressies, bezoeken, conversies en advertentie-uitgaven in fixed-point vectoren. Gebruikmakend van 256-bit sleutels genereren nodes gepaard gemaskeerde waarden die elkaar tijdens de sommatie opheffen, waardoor de server geen toegang heeft tot individuele shard-data.
• Differential Privacy (DP): Na aggregatie voegt een Gaussisch mechanisme ruis toe aan de regionale wekelijkse statistieken. Het systeem werkt met een privacybudget van $\epsilon = 2$ en $\delta = 10^{-6}$. De ruisvariantie wordt expliciet bewaard en doorgegeven aan het inferentiemodel.

C. Hiërarchisch Bayesiaans Inferentiemodel

• Constructie van de Likelihood: Het model behandelt de geobserveerde ruizige telling ($\tilde{Y}_{ipt}$) als een realisatie van een latente ware telling ($Y_{ipt}$) die is geperturbeerd door Gaussische ruis.
  • Observatielaag: $\tilde{Y}_{ipt} \sim N(Y_{ipt}, \sigma_{DP}^2)$
  • Tellinglaag: $Y_{ipt} \sim \text{NegativeBinomial}(\mu_{ipt}, \phi)$
• Hiërarchische Structuur: De latente gemiddelde ($\mu_{ipt}$) volgt een 4-niveau random-effects structuur modellerend:
  1. Firm (Bedrijfsniveau)
  2. Industry (Industrie)
  3. Metropolitan Area (Metropoolgebied)
  4. Ad Placement Week (Advertentieplaatsing week)
• Inferentie: Het model gebruikt de geregistreerde privacy-ruisvariantie ($\sigma_{DP}^2$) binnen de likelihood functie, waardoor de inferentie rekening kan houden met de perturbatie in plaats van de geperturbeerde tellingen als ruisvrije observaties te behandelen. Parameters worden geschat met behulp van NUTS-sampling (4 chains, 4.000 iteraties).

D. Besluitvormingsframework

• Counterfactual Generatie: Posterior samples worden gebruikt om counterfactual conversievolumes te genereren door de treatment variabele op 1 (advertentie) en 0 (controle) te zetten.
• Budget Optimalisatie: Beslissingen (Verhogen, Aanhouden, Verlagen, Stoppen) worden genomen door een posterior risicofunctie te minimaliseren op basis van de waarschijnlijkheid van het behalen van rendementstargets en de 5e, 50e en 95e percentielen van de posterior distributie.

3. Belangrijkste Resultaten

Het voorgestelde framework werd geëvalueerd tegenover een standaard Difference-in-Differences (DiD) baseline en een niet-hiërarchisch model.

• Schatting Nauwkeurigheid:
  • De Mean Absolute Error (MAE) voor incrementele conversies daalde van 71,4 (standaard DiD) naar 43,6 (Hiërarchisch Bayesiaans), een reductie van 38,9%.
  • De absolute fout voor incrementele ROAS daalde van 0,39 naar 0,17, een reductie van 56,4%.
• Interval Kalibratie: Het 90% posterior betrouwbaarheidsinterval bereikte een dekking van 91,2%, wat de nominale 90% licht overtreft.
• Impact van Differential Privacy:
  • Het introduceren van DP-ruis ($\epsilon=2$) voegde een extra fout toe van 6,3 conversies vergeleken met een scenario zonder ruis (MAE steeg van 37,3 naar 43,6).
  • Ondanks dit bleef de fout aanzienlijk lager dan de standaard DiD baseline.
  • Beslissingsstabiliteit: 83% van de bedrijven behield hun oorspronkelijke budgetretentie of aanpassingsbeslissing, terwijl 17% van de acties wijzigde, wat aangeeft dat de ruiscorrectie in de likelihood functie de beslissingsvolatiliteit effectief heeft gemitigeerd.
• Prestaties bij Kleine Steekproeven:
  • Voor campagnes met minder dan 500 conversies verminderde de hiërarchische informatieoverdracht de Minimum Detectable Effect (MDE) van 8,6% naar 5,9% (een relatieve reductie van 31,4%).
  • De mediaan posterior standaarddeviatie nam af van 0,084 naar 0,061, en de posterior variantie nam met ongeveer 47,3% af.

4. Betekenis en Claims

Het artikel claimt een statistisch rigoureus, privacy-preserverend pipeline te bieden voor het meten van lokale advertenties die de beperkingen van traditionele attributiemodellen overwint.

• Statistische Innovatie: De primaire bijdrage is de constructie van een hiërarchisch Bayesiaans negative binomial model dat expliciet de privacy-ruisvariantie in de likelihood incorporeert. Dit maakt de inferentie van incrementele effecten mogelijk zonder de privacybescherming op te offeren of de ruizige data als grondwaarheid te behandelen.
• Praktisch Nut: Het framework maakt stabiele budgetoptimalisatiebeslissingen mogelijk, zelfs in scenario's met lage conversie en kleine steekproeven waar traditionele methoden falen door hoge variantie. Door gebruik te maken van multi-level parameter sharing (firm, industrie, metro, week), kan het model effectief kracht lenen over de hiërarchie om de schattingsvariantie te verminderen.
• Privacy-Utility Trade-off: De studie toont aan dat met passende ruiscorrectie en hiërarchische modellering, het nutverlies door Differential Privacy (een extra fout van 6,3 conversies) beheersbaar is en de meerderheid van de zakelijke beslissingen niet significant verandert (83% stabiliteit).

De auteurs concluderen dat deze aanpak een interpreteerbaar statistisch alternatief biedt voor tracking op gebruikersniveau, waarbij een balans wordt gevonden tussen beschikbaarheid van data, statistische betrouwbaarheid en individuele privacy. Zij erkennen beperkingen met betrekking tot externe marktveranderingen, cross-regionale spill-overs en industriële heterogeniteit, en suggereren dat toekomstig werk dynamische tijd-variërende causale structuren kan incorporeren.