Policy relevance of causal quantities in networks

Dit artikel betoogt dat de verwachte gemiddelde uitkomst, die zowel over eenheden als behandeltoewijzingen middelt, de enige schatting is die zowel interpreteerbaar is als unit-level effecten vat als voldoende voor het nemen van optimale beleidskeuzes in netwerken met kruisende effecten.

De kern

Stel je voor dat je een leraar bent in een grote klas. Je wilt weten of het geven van een extra taak (de "behandeling") de cijfers van de leerlingen verbetert.

In een simpele wereld werkt dat zo: als leerling A een taak krijgt, wordt A beter. Als leerling B geen taak krijgt, blijft B zoals hij is. Je kunt dan gewoon het gemiddelde cijfer van de groep met taak vergelijken met die zonder taak. Dat is de klassieke manier om effecten te meten.

Maar in de echte wereld, en zeker in sociale netwerken (zoals Facebook, WhatsApp-groepen of dorpen), werkt het anders. Als leerling A een taak krijgt, helpt die misschien ook leerling B, omdat ze samenwerken. Als leerling C een taak krijgt, kan dat juist stress veroorzaken voor leerling D. De uitkomst van iemand hangt dus niet alleen af van wat die persoon doet, maar ook van wat de rest doet.

Deze paper, geschreven door Sahil Loomba en Dean Eckles van MIT, stelt de vraag: Hoe meten we dan het effect van een ingreep op de beste manier?

Ze vergelijken twee manieren om naar de data te kijken, en gebruiken een mooi verhaal om het uit te leggen.

De twee manieren van kijken

Stel je voor dat je een grote pot met gekleurde ballen hebt (de mensen) en je gooit ze in een machine die ze willekeurig verdeelt over verschillende tafels (de behandelingen).

1. De "Kijk eerst naar de tafel" methode (AFEO)

Dit is de methode die veel onderzoekers nu gebruiken.

• Hoe het werkt: Je kijkt eerst naar alle tafels waar precies één persoon een taak heeft gekregen. Je berekent het gemiddelde cijfer van die specifieke mensen. Dan doe je dat voor tafels met twee mensen met een taak, en zo verder.
• Het probleem: Dit is alsof je zegt: "Mensen met precies één vriend die een taak heeft, scoren gemiddeld 8."
• Waarom dit misleidt: Stel je voor dat je een beleid wilt maken: "Geef 50% van de klas een taak." In die situatie krijgen sommige mensen 0 vrienden met een taak, anderen 1, en anderen 3. De "tafel-methode" geeft je alleen cijfers voor specifieke situaties (precies 1 vriend), maar vertelt je niet wat er gebeurt als je het beleid kiest. Het is alsof je een kaart hebt van alle mogelijke routes, maar je weet niet welke route je daadwerkelijk gaat rijden. Je kunt er niet op vertrouwen om het beste beleid te kiezen.

2. De "Kijk eerst naar het beleid" methode (EAO)

Dit is de methode die de auteurs voorstaan.

• Hoe het werkt: Je kiest eerst een beleid (bijvoorbeeld: "Elke leerling krijgt 50% kans op een taak"). Dan laat je de machine draaien, kijkt je naar de hele klas, en berekent je het totale gemiddelde cijfer dat je zou verwachten onder dat beleid.
• Het voordeel: Dit geeft je direct het antwoord op de vraag die een beleidsmaker wil stellen: "Als ik dit beleid kies, wat is het resultaat voor de hele groep?"
• De kracht: Deze methode is zowel begrijpelijk (het is een gemiddelde van individuele effecten) als bruikbaar (het helpt je het beste beleid kiezen).

De creatieve analogie: De Recepten-boek

Stel je voor dat je een kok bent die een nieuw recept (beleid) wil testen voor een groot feest.

• De oude methode (AFEO) is alsof je in je kookboek kijkt naar: "Hoe smaakt de soep als er precies 2 uien in zitten?" en "Hoe smaakt de soep als er precies 3 uien in zitten?".

  • Het probleem: Als je het feest organiseert, kun je niet garanderen dat elke pan precies 2 of 3 uien krijgt. Sommige pannen krijgen er 1, andere 4. Als je alleen kijkt naar de pannen met 2 uien, weet je niet hoe je hele feest gaat smaken als je een willekeurige hoeveelheid uien gebruikt. Je kunt er geen goed beleid op baseren.

• De nieuwe methode (EAO) is alsof je zegt: "Ik ga 100 pannen maken, waarbij elke pan een willekeurig aantal uien krijgt volgens mijn nieuwe regel." Je proeft dan de gemiddelde smaak van alle 100 pannen samen.

  • Het voordeel: Dit vertelt je direct of je nieuwe regel voor het hele feest een succes wordt. Het is het enige getal dat je echt nodig hebt om te beslissen: "Moeten we dit recept gebruiken of niet?"

Waarom is dit belangrijk?

Veel onderzoekers in sociale netwerken (over vaccinaties, marketing, of onderwijs) gebruiken de "oude methode". Ze zeggen: "Mensen met 2 besmette buren worden 10% zieker." Dat klinkt logisch, maar het helpt een beleidsmaker niet om te beslissen of ze nu 10% of 50% van de mensen moeten vaccineren.

De auteurs zeggen: Stop met het vasthouden aan die specifieke "tafel-cijfers".
In plaats daarvan moeten we kijken naar de verwachte uitkomst van het hele beleid.

• Als je wilt weten of een beleid werkt, moet je kijken naar het gemiddelde resultaat van de hele groep onder dat beleid.
• Dit getal (de Expected Average Outcome of EAO) is het enige dat je zowel een goed verhaal geeft over wat er gebeurt (het is een som van individuele effecten) als een zekerheid geeft over welk beleid je moet kiezen om de beste resultaten te krijgen.

Conclusie in één zin

In een wereld waar alles met elkaar verbonden is, kun je niet alleen kijken naar wat er gebeurt in specifieke, kleine situaties; je moet kijken naar het totale plaatje dat ontstaat als je een beleid toepast, omdat alleen dat plaatje je vertelt of je beleid echt werkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Policy relevance of causal quantities in networks" van Loomba en Eckles, geschreven in het Nederlands.

Titel: Policy relevance of causal quantities in networks

Auteurs: Sahil Loomba en Dean Eckles (MIT)
Datum: 9 maart 2026

---

1. Het Probleem

In traditionele causale inferentie, waar er geen sprake is van interferentie (d.w.z. de uitkomst van een eenheid hangt alleen af van zijn eigen behandeling), is de Average Treatment Effect (ATE) vaak voldoende voor beleidskeuzes. De ATE vat de gemiddelde uitwerking van een behandeling samen en is direct toepasbaar voor het maximaliseren van welvaart (bijvoorbeeld utilitair welzijn).

Echter, in netwerksituaties (zoals sociale netwerken, verspreiding van informatie, of milieu-effecten) is er sprake van interferentie: de uitkomst van een eenheid $i$ hangt niet alleen af van zijn eigen behandeling $Z_i$, maar ook van de behandelingen van zijn buren. In deze context is er een proliferatie van voorgestelde schattingen (estimands) om effecten te kwantificeren, waaronder diverse vormen van "spillover"-effecten.

De auteurs identificeren een fundamenteel probleem: veel van deze veelgebruikte schattingen missen één van de twee cruciale eigenschappen die een schatting zou moeten hebben om nuttig te zijn voor beleidsmakers:

1. Interpreteerbaarheid als samenvatting van eenheidsniveau-effecten: De schatting moet een gemiddelde zijn van causale effecten op individueel niveau.
2. Relevantie voor beleidskeuze: De schatting moet voldoende informatie bevatten om een beleid (een verdeling van behandelingen) te kiezen dat de verwachte welvaart maximaliseert.

De auteurs tonen aan dat de meest voorkomende schattingen in de literatuur vaak wel interpreteerbaar zijn, maar niet voldoende zijn voor optimale beleidskeuzes. Omgekeerd zijn schattingen die wel voldoende zijn voor beleidskeuzes vaak niet interpreteerbaar als een gemiddelde van individuele effecten.

2. Methodologie en Conceptueel Kader

De paper analyseert verschillende schattingen door te kijken naar de volgorde van twee gemiddelde-berekeningen (averaging steps):

1. Gemiddelde over eenheden (over de populatie).
2. Gemiddelde over behandelingen (over mogelijke toewijzingen onder een bepaald beleid).

De auteurs onderscheiden twee hoofdtypen van schattingen gebaseerd op de volgorde van deze operaties:

A. Eerst over behandelingen, dan over eenheden (AFEO)

Dit is de meest gebruikelijke aanpak in de netwerkinferentie.

• Definitie: Average Focal Expected Outcome (AFEO). Eerst wordt voor elke eenheid de verwachte uitkomst berekend onder een bepaalde "blootstelling" (exposure), gegeven een beleidsverdeling. Vervolgens wordt hierover gemiddeld over de eenheden.
• Formule: $AFEO(\pi, f, y) \triangleq \langle E_\pi [y_i(Z) \mid f_i(Z) = 1] \rangle_{i \in \text{supp}_f(\pi)}$.
• Interpretatie: Dit geeft een dosis-respons curve op basis van blootstelling (bijv. "gemiddelde uitkomst voor eenheden met precies 1 behandelde buur").
• Beperking: De auteurs bewijzen dat zelfs als de blootstellingskaart (exposure map) correct is gespecificeerd, AFEO's vaak niet voldoende zijn voor beleidskeuze.
  • Reden: Een beleid (zoals een Bernoulli-beleid met een vaste kans $\pi$) leidt vaak tot een heterogene verdeling van blootstelling over de eenheden (afhankelijk van hun graad in het netwerk). AFEO's comprimeren de potentiële uitkomsten op een manier die de kansverdeling van blootstelling onder een specifiek beleid niet vastlegt.
  • Gevolg: Het is vaak onmogelijk om op basis van AFEO's te voorspellen wat het totale welzijn onder een nieuw beleid zal zijn, omdat de relatie tussen beleid en blootstellingsverdeling niet eenduidig is afgeleid uit de AFEO's.

B. Eerst over eenheden, dan over behandelingen (EFAO/EAO)

• Definitie: Expected Focal Average Outcome (EFAO). Eerst wordt voor een specifieke behandelingstoewijzing het gemiddelde over de eenheden berekend, en vervolgens wordt hierover gemiddeld over de verdeling van behandelingen onder het beleid.
• Formule: $EFAO(\pi, f, y) \triangleq E_\pi [\langle y_i(Z) \rangle_{f_i(Z)=1} \mid f(Z) \neq 0]$.
• Speciale Geval: Wanneer $f$ de hele populatie omvat, spreken we van de Expected Average Outcome (EAO).
• Interpretatie: EFAO's zijn vaak niet interpreteerbaar als een gemiddelde van causale effecten op eenheidsniveau (tenzij het beleid homogene blootstelling induceert of de focus deterministisch is). Ze beschrijven echter direct wat er gebeurt met de aggregaatuitkomsten onder een specifiek beleid.

3. Belangrijkste Resultaten en Theorema's

1. Onvoldoende voor beleidskeuze (AFEO):

   • Zelfs bij een correct gespecificeerde blootstellingskaart, identificeren AFEO's de verwachte uitkomst (EAO) onder een beleid $\pi$ alleen als de verdeling van blootstelling eenheid-homogeen is (alle eenheden hebben dezelfde kansverdeling over blootstellingen).
   • Op onregelmatige grafen (waarbij eenheden verschillende aantallen buren hebben) is dit zelden het geval voor niet-triviale beleidsvormen.
   • Conclusie: Beleidsmakers die zich baseren op AFEO's (zoals "spillover-effecten") maken vaak fouten bij het kiezen van een optimaal beleid, omdat ze informatie verliezen over hoe waarschijnlijk het is dat specifieke eenheden bepaalde blootstellingen krijgen.

2. Niet-causaal op eenheidsniveau (EFAO):

   • Contrasten tussen EFAO's onder verschillende beleidsvormen zijn doorgaans geen gemiddelde van eenheidsniveau-causale effecten. Ze kunnen zelfs groot zijn zonder dat er echte causale effecten zijn, puur door selectie-effecten in de blootstellingsverdeling.

3. De Unieke Oplossing: De EAO:

   • De Expected Average Outcome (EAO) is de enige schatting waarbij de volgorde van gemiddelden niet uitmaakt (ze commuteren).
   • De EAO is universeel voldoende voor beleidskeuze onder utilitair welzijn (met of zonder kosten). Als een beleidsmaker de EAO kent voor verschillende beleidsvormen, kan hij het optimale beleid kiezen.
   • Hoewel de EAO soms niet direct interpreteerbaar is als een "gemiddeld individueel effect" in de traditionele zin, is het wel een causale grootheid: het beschrijft het effect van een beleid op de aggregaatuitkomst.

4. Identificatie en Grenzen:

   • De paper toont aan dat AFEO's alleen de EAO kunnen identificeren (bepalen) als de blootstellingsverdeling homogeen is. Anders zijn er brede grenzen (bounds) voor de mogelijke waarden van de EAO, zelfs als de blootstellingskaart correct is.
   • Een voorbeeld uit de data van Cai et al. (2015) illustreert dit: AFEO's suggereren een duidelijke dosis-respons, maar de daaruit afgeleide grenzen voor het totale welzijn onder verschillende Bernoulli-beleidsvormen zijn zeer breed, wat betekent dat AFEO's geen goed advies geven voor de keuze van de behandelingsschaal.

4. Bijdragen aan de Literatuur

• Conceptuele helderheid: De auteurs brengen structuur in de chaos van voorgestelde schattingen in netwerkinferentie door ze te categoriseren op basis van de volgorde van gemiddelden (eenheden vs. behandelingen).
• Waarschuwing voor empirisch onderzoek: Ze waarschuwen empirische onderzoekers dat het rapporteren van "spillover-effecten" (AFEO's) en het daarop baseren van beleidsadviezen methodologisch ongefundeerd kan zijn, tenzij specifieke homogeniteitsvoorwaarden worden voldaan.
• Advies voor beleidsrelevantie: Ze pleiten ervoor dat onderzoekers zich meer moeten richten op het schatten van de EAO (of contrasten daartussen) voor verschillende beleidsvormen, omdat dit de enige grootheid is die direct leidt tot optimale beleidskeuzen.
• Formele karakterisering: De appendix biedt een uitgebreide wiskundige onderbouwing met definities voor beleidsruimtes, focuskaarten (focal maps), en bewijzen voor de noodzakelijke en voldoende voorwaarden voor identificatie en causaliteit.

5. Significatie en Conclusie

De kernboodschap van het artikel is dat er een fundamenteel spanningsveld bestaat tussen causale interpreteerbaarheid (wat gebeurt er met een individu?) en beleidsrelevantie (welk beleid maximaliseert het totaalresultaat?).

In netwerken met interferentie:

• Schattingen die goed interpreteerbaar zijn (AFEO), zijn vaak onvoldoende voor beleidskeuze.
• Schattingen die goed zijn voor beleidskeuze (EAO), zijn vaak niet interpreteerbaar als een simpel gemiddeld individueel effect.

De auteurs concluderen dat de Expected Average Outcome (EAO) de meest waardevolle schatting is voor beleidsmakers. Hoewel het misschien minder intuïtief is dan een "gemiddeld effect van een buur", is het de enige grootheid die garandeert dat een beleidsmaker de juiste keuze maakt om het totale welzijn te maximaliseren, ongeacht de complexiteit van het netwerk of de heterogeniteit in de blootstellingsverdeling.

Voor onderzoekers betekent dit een verschuiving in prioriteit: in plaats van te focussen op het isoleren van specifieke spillover-mechanismen via AFEO's, moeten ze schattingen leveren die direct de verwachte uitkomst onder verschillende beleidsscenario's voorspellen.