Estimating Treatment Effects under Algorithmic Interference: A Structured Neural Networks Approach

Dit artikel introduceert een gestructureerd semiparametrisch raamwerk dat dubbel machine learning combineert met modellen voor algoritmekeuze en kijkersrespons om de vertekende schattingen van behandelingseffecten door algoritmische interferentie in tweezijdige markten te corrigeren en zo nauwkeurige globale effecten voor platformrollouts te kunnen bepalen.

De kern

Stel je voor dat je een gigantisch online videoplatform runt, zoals TikTok of YouTube, maar dan in China (WeChat). Op dit platform zijn er twee groepen mensen: de makers (die video's maken) en de kijkers (die naar die video's kijken).

Om de makers te helpen, betaalt het platform soms voor "promotie". Het algoritme (de slimme computer) moet dan beslissen: Welke video toon ik aan welke kijker?

De auteurs van dit paper, Ruohan Zhan en zijn team, hebben een groot probleem ontdekt bij het testen van nieuwe algoritmes. Hier is hun verhaal, vertaald naar simpele taal met een paar leuke vergelijkingen.

1. Het Probleem: De "Gekke" Test

Stel je voor dat je een nieuwe, snellere auto wilt testen. Normaal gesproken laat je twee auto's racen op een gesloten circuit. Auto A (de nieuwe) en Auto B (de oude) rijden tegen elkaar, en je meet wie het snelst is.

Op een videoplatform is het echter niet zo simpel. Het is meer alsof je duizenden auto's tegelijkertijd op één drukke snelweg zet, en je wilt weten of een nieuw navigatiesysteem (het nieuwe algoritme) beter werkt.

Het platform doet een test:

• Ze geven de nieuwe navigatie aan 50% van de auto's (de makers).
• De andere 50% krijgt de oude navigatie.

Het probleem: Alle auto's rijden op dezelfde snelweg en vechten om dezelfde plekken op de weg. Als de auto's met de nieuwe navigatie iets slimmer zijn en sneller een plekje vinden, dan duwen ze de auto's met de oude navigatie letterlijk van de weg.

Dit noemen de auteurs algoritmische interferentie.

• De test is niet eerlijk meer, omdat de uitkomst van de ene auto afhangt van wat de andere auto doet.
• Als je gewoon kijkt naar wie er wint (de standaard methode), denk je misschien dat de nieuwe navigatie geweldig is, terwijl hij in werkelijkheid alleen maar de oude auto's heeft verdrongen.

2. De Twee Valkuilen

De paper legt uit dat deze "ongelijke strijd" twee soorten fouten veroorzaakt:

1. De "Verdringing"-fout (Content Exposure Bias):
   Stel je een feestje voor. Als de gasten met de nieuwe uitnodiging (behandeling) iets chiquer zijn, krijgen ze sneller een plekje bij de bar. De gasten met de oude uitnodiging (controle) blijven buiten. Je denkt dan: "De nieuwe uitnodiging werkt goed!" Maar eigenlijk is het alleen maar omdat ze de anderen hebben weggedrukt.
2. De "Publieks"-fout (Viewer Selection Bias):
   Het algoritme is slim. Het merkt dat de nieuwe navigatie vooral werkt bij rijke gasten (specifieke kijkers). Dus de nieuwe auto's rijden alleen maar door rijke wijken, terwijl de oude auto's door arme wijken rijden. Als je nu vergelijkt wie er sneller is, is dat niet eerlijk, want de rijke wijken hebben minder file. Je vergelijkt appels met peren.

Het resultaat: Als het platform deze fouten niet corrigeert, kan het een slecht algoritme kiezen dat het platform geld kost, of juist een goed algoritme weggooien.

3. De Oplossing: Een Slimme "Twee-Stappen" Methode

De auteurs zeggen: "We kunnen niet gewoon kijken naar wie er wint. We moeten begrijpen hoe het verlies werkt."

Ze hebben een nieuwe methode bedacht die bestaat uit twee delen, alsof je een detective bent die een misdrijf reconstrueert:

• Stap 1: De "Keuzemodel" Detective (Het Algoritme begrijpen)
  Ze bouwen een slim model (met neurale netwerken, dus heel geavanceerde AI) dat precies nabootst hoe het platform beslist welke video er getoond wordt. Ze leren het model: "Als auto A deze nieuwe navigatie heeft en auto B de oude, wie wint er dan de race?"
  Dit model simuleert de strijd op de snelweg.

• Stap 2: De "Reactie" Detective (De kijker begrijpen)
  Vervolgens kijken ze naar wat de kijker doet nadat hij de video heeft gezien. Kijkt hij lang? Likt hij? Deelt hij? Ze gebruiken een tweede AI om dit te voorspellen.

De Magische Combinatie:
In plaats van alleen te kijken naar de echte testresultaten (die vies zijn door interferentie), gebruiken ze deze twee modellen om een virtuele wereld te bouwen.

• Ze simuleren: "Wat zou er gebeuren als iedereen de nieuwe navigatie had?"
• En: "Wat zou er gebeuren als iedereen de oude navigatie had?"

Door deze twee virtuele werelden met elkaar te vergelijken, krijgen ze het ware effect, alsof ze de snelweg zouden kunnen splitsen in twee perfecte, gescheiden circuits.

4. Waarom is dit zo belangrijk?

Normaal gesproken is de enige manier om dit perfect te testen om het hele platform te splitsen in twee delen (een "dubbelzijdige test"). Maar dat is extreem duur en lastig:

• Je halveert je markt (minder creators, minder kijkers).
• Het kost veel tijd en geld.

De methode van deze auteurs is een slimme truc. Ze gebruiken de "viesse" data van de gewone test, maar corrigeren de fouten met hun wiskundige model.

Het bewijs:
Ze hebben dit getest op een echt platform (WeChat).

• De oude methode (gewoon vergelijken) zei: "Het nieuwe algoritme is geweldig! Het werkt 20% beter!"
• De ware waarheid (uit de dure, gesplitste test) was: "Nee, het nieuwe algoritme is eigenlijk slechter. Het werkt 10% slechter."
• De nieuwe methode van de auteurs zei: "Het nieuwe algoritme is 10% slechter."

Ze hadden gelijk! Als het platform had geluisterd naar de oude methode, hadden ze een slecht algoritme geïntroduceerd en geld verspeeld.

Samenvatting in één zin

Deze paper leert ons dat je niet kunt vertrouwen op simpele vergelijkingen in een competitieve omgeving (zoals sociale media), maar dat je slimme, gestructureerde AI-modellen nodig hebt om te begrijpen wat er écht gebeurt, zodat je geen slechte beslissingen neemt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Estimating Treatment Effects under Algorithmic Interference: A Structured Neural Networks Approach" van Ruohan Zhan et al., vertaald en samengevat in het Nederlands.

Titel: Schatting van Treatment Effects onder Algorithmische Interferentie: Een Gestructureerde Neuraal Netwerk Benadering

1. Het Probleem: Algorithmische Interferentie in Creator-side Experimenten

Online platforms voor door gebruikers gegenereerde content (zoals short-video apps) gebruiken algoritmen om promotietraffic te alloceren. Om nieuwe algoritmen te evalueren, voeren platforms vaak creator-side gerandomiseerde experimenten uit, waarbij makers (en hun content) willekeurig worden toegewezen aan een behandelingsgroep (nieuw algoritme) of een controlegroep (bestaand algoritme).

Het centrale probleem is algorithmische interferentie:

• Competitie om blootstelling: Behandelde en gecontroleerde items concurreren binnen dezelfde "overwegingsset" (consideration set) om de aandacht van de kijker.
• Schending van SUTVA: De uitkomst van een item hangt niet alleen af van zijn eigen behandeling, maar ook van de behandeling van concurrenten. Dit schendt de Stable Unit Treatment Value Assumption (SUTVA).
• Bias in standaard schatters: De gebruikelijke Difference-in-Means (DIM) schatters zijn zwaar bevooroordeeld. Er ontstaan twee soorten bias:
  1. Content Exposure Bias: Items met het nieuwe algoritme krijgen vaak hogere scores en verdringen gecontroleerde items, waardoor de werkelijke blootstelling afwijkt van de toewijzingskans.
  2. Viewer Selection Bias: Omdat ranking gepersonaliseerd is, worden behandelde items blootgesteld aan een systematisch andere kijkerpopulatie dan gecontroleerde items.

Gevolg: Standaard methoden kunnen leiden tot ernstig verkeerde zakelijke beslissingen, zoals het implementeren van een inferieur algoritme omdat de schatting een positief effect suggereert terwijl het werkelijke effect negatief is.

2. Methodologie: Een Gestructureerd Semiparametrisch Framework

De auteurs ontwikkelen een nieuwe schatter die interferentie expliciet modelleert en corrigeert, gebaseerd op Double Machine Learning (DML).

A. Het Model
Het framework bestaat uit twee gekoppelde componenten:

1. Algorithm Choice Model (Semiparametrisch):

   • Dit model simuleert hoe blootstelling wordt toegewezen binnen een overwegingsset.
   • Het gebruikt een multinomiaal logit-structuur gebaseerd op een latente score: $S_{i,k} = s_0(V_i, C_{i,k}) + W_{i,k} \cdot s_1(V_i, C_{i,k}) + \epsilon_{i,k}$.
   • $s_0$ en $s_1$ worden geschat met flexibele neuraal netwerken (Deep Learning) om complexe, gepersonaliseerde relaties tussen kijker en content te vangen.
   • De structuur (logit) zorgt ervoor dat contrafactuele scenario's (bijv. "wat als iedereen het nieuwe algoritme had?") berekenbaar blijven.

2. Viewer Response Model:

   • Een tweede neuraal netwerk ($z$) voorspelt de uitkomst (bijv. klik, like) gegeven dat een item is blootgesteld.
   • Dit model is volledig non-parametrisch en flexibel.

B. De Debiased Estimator (DB)
Om de Global Treatment Effect (GTE) te schatten, simuleren ze de uitkomsten onder een wereld met volledig nieuwe algoritmen versus volledig oude algoritmen. Omdat de neuraal netwerken (de "nuisance functions") langzamer convergeren dan $O(n^{-1/2})$, zou een directe plug-in schatter bevooroordeeld zijn.

• De auteurs gebruiken een debiased estimator gebaseerd op Neyman-orthogonaliteit.
• Deze schatter voegt een correctieterm toe die de eerste-orde bias veroorzaakt door fouten in de schatting van de nuisance-functies neutraliseert.
• Formule (vereenvoudigd): $\hat{\tau} = \text{Plug-in} - \nabla\mu^\top H^{-1} \nabla\ell$.

C. Theoretische Uitbreiding: Correlatie
Een belangrijke methodologische doorbraak is de uitbreiding van de DML-asymptotiek naar gecorreleerde steekproeven. In platformexperimenten zijn steekproeven niet onafhankelijk (i.i.d.) omdat dezelfde items in meerdere overwegingssets voorkomen (overlap). De auteurs bewijzen dat hun schatter consistent en asymptotisch normaal is onder deze correlatie, mits aan bepaalde voorwaarden wordt voldaan (bijv. beperkte gemiddelde blootstelling per item).

3. Belangrijkste Resultaten

A. Monte Carlo Simulaties
De auteurs vergelijken hun DB-schatting met benchmarks:

• DIM (Horvitz-Thompson & Hájek): Vertonen grote bias en onbetrouwbare standaardfouten.
• Pure Deep Learning (PDL): Faalt om correct te extrapoleren naar contrafactuele scenario's en vertoont bias.
• Propensity-based (IPW/AIPW): Theoretisch onbevooroordeeld, maar vertoont een exponentiële variatiegroei naarmate de grootte van de overwegingsset toeneemt, wat ze in de praktijk onbruikbaar maakt.
• Gevolg: Alleen de voorgestelde DB-schatting levert een onbevooroordeelde schatting met geldige statistische inferentie.

B. Empirische Validatie (WeChat Channels)
De methode werd getest op een groot veldexperiment op het Chinese short-video platform WeChat.

• Opzet: Ze voerden tegelijkertijd een standaard creator-side experiment uit en een dure double-sided experiment (waarbij kijkers en makers in gescheiden universa werden geplaatst om interferentie te elimineren). De double-sided versie diende als "ground truth".
• Vindingen:
  • De DB-schatting kwam zeer nauwkeurig overeen met de ground truth van de double-sided experimenten.
  • Standaard DIM-schatters gaven in sommige gevallen een tegenovergesteld teken van het effect (bijv. een negatief effect werd als positief geschat).
  • Concreet voorbeeld: Voor één van de uitkomstmaten suggereerden alle benchmarks een significant positief effect van het nieuwe algoritme, terwijl de ground truth een significant negatief effect liet zien. Zonder de nieuwe methode zou het platform een slechter algoritme hebben geïmplementeerd.

4. Bijdragen en Significantie

Praktische Bijdrage:

• Platforms kunnen nu betrouwbare treatment effects schatten met standaard, goedkope creator-side experimenten, zonder de enorme kosten en complexiteit van double-sided experimenten.
• Het voorkomt het implementeren van inferieure algoritmen door interferentiebias te corrigeren.

Methodologische Bijdrage:

• Semiparametrische Structuur: Combinatie van een gestructureerd keuze-model (voor contrafactuele geldigheid) met flexibele neuraal netwerken (voor voorspellingskracht).
• DML onder Correlatie: De eerste uitbreiding van Double Machine Learning theorie naar scenario's met gecorreleerde steekproeven (door overlap van items), wat de toepasbaarheid van DML in markten en paneldata aanzienlijk verruimt.
• Validatie: Een rigoureuze empirische validatie die aantoont dat theoretische correcties voor interferentie in de praktijk essentieel zijn voor goede zakelijke beslissingen.

Conclusie:
Het artikel biedt een robuust framework om de valkuilen van algorithmische interferentie in online marktplaatsen te overwinnen. Het combineert economische theorie (keuzemodellen) met moderne machine learning (neuraal netwerken en DML) om causale inferentie mogelijk te maken in complexe, competitieve omgevingen waar traditionele A/B-testmethoden falen.