Technische Samenvatting: Programma-evaluatie met op afstand waargenomen uitkomsten

1. Probleemstelling

Traditionele programma-evaluaties vertrouwen vaak op enquêtegebaseerde uitkomsten, die kostbaar, moeilijk schaalbaar en soms onhaalbaar zijn om te verzamelen. Onderzoekers maken steeds vaker gebruik van op afstand waargenomen variabelen (bijv. satellietbeelden, mobiele telefoonactiviteit, nachtlichten) als goedkope, schaalbare proxies voor economische uitkomsten. Deze variabelen zijn echter imperfecte metingen.

De kern van het probleem dat wordt aangepakt, is causale inferentie in situaties waarin:

1. Experimentele Steekproef: Bevat een gerandomiseerde toewijzing van de behandeling ($D$) en op afstand waargenomen variabelen ($R$), maar de werkelijke economische uitkomst ($Y$) ontbreekt vanwege kosten of logistieke beperkingen.
2. Observationele Steekproef: Koppelt de uitkomst ($Y$) aan de op afstand waargenomen variabele ($R$), maar mist de gerandomiseerde toewijzing van de behandeling (de behandeling kan ontbreken, deterministisch zijn of verstorend zijn).

Bestaande methoden schieten vaak tekort in deze setting. Veelgebruikte twee-stappen-benaderingen (het trainen van een voorspeller op de observationele steekproef en deze toepassen op de experimentele steefproef) lijden aan attenuatiebias (verzwakkingsbias) wanneer de op afstand waargenomen variabele een post-outcome maatstaf is (d.w.z. $Y$ veroorzaakt $R$, niet andersom). Ook vertonen methoden voor Prediction-Powered Inference (PPI) vaak problemen wanneer zij gezamenlijke observaties van behandeling, uitkomst en proxy in beide behandelingsarmen vereisen, wat vaak niet beschikbaar is, of zij vertrouwen op stabiliteitsaannames over het uitkomstmechanisme die mogelijk niet standhouden in verschillende populaties.

2. Methodologie en Identificerende Aannames

De auteurs stellen een raamwerk voor dat op niet-parametrische wijze het gemiddelde behandelingseffect (Average Treatment Effect, ATE) identificeert door experimentele en observationele data te combineren onder specifieke stabiliteitsaannames.

2.1 Causale Structuur

Het raamwerk modelleert de op afstand waargenomen variabele $R$ als post-outcome: variatie in de economische uitkomst $Y$ veroorzaakt variatie in $R$.

• Experimentele Steekproef ($S=e$): Observeert $(X, D, R)$. $Y$ is ontbrekend.
• Observationele Steekproef ($S=o$): Observeert $(X, Y, R)$. $D$ kan ontbrekend of verstorend zijn.

2.2 Belangrijke Aannames

1. Experimentele Ongeconfundeerdheid: Standaard randomisatie-aannames gelden in de experimentele steekproef ($D \perp \{Y(0), Y(1)\} | X, S=e$).
2. Stabiliteit van de Op Afstand Waargenomen Variabele (De Kernassumptie): De conditionele distributie van de op afstand waargenomen variabele gegeven de uitkomst en behandeling is stabiel over de steekproeven heen:
   $$f(R | X, D, Y, S=e) = f(R | X, D, Y, S=o)$$
   Dit impliceert dat het waarnemingsmechanisme (bijv. de fysica van hoe satellietbeelden het verbranden van gewassen vastleggen) invariant is, zelfs als het uitkomstmechanisme (hoe de behandeling $Y$ beïnvloedt) of het behandelingsmechanisme verschilt tussen de steekproeven.
3. Volledigheidscondities:
   • Volledige Observationele Casussen: Als $D$ geobserveerd wordt en varieert in de observationele steekproef, zijn geen verdere aannames nodig.
   • Incomplete Observationele Casussen: Als $D$ ontbreekt of deterministisch is in de observationele steekproef, is een aanvullende aanname van geen direct effect vereist: $D \perp R | X, Y$. Dit betekent dat de behandeling de op afstand waargenomen variabele beïnvloedt alleen via het effect op de uitkomst.

2.3 Identificatiestrategie

Het behandelingseffect wordt geïdentificeerd via een conditionele momentrestrictie. De auteurs leiden een formule af waarbij de op afstand waargenomen variabele de variatie in de experimentele behandeling koppelt aan de observationele variatie in de uitkomst.

Voor een discrete uitkomst $Y \in \{y_1, \dots, y_K\}$, wordt de conditionele behandelingseffectvector $\theta(X)$ geïdentificeerd door:
$$E[\Delta_e(X) - \Delta_o(X)^\top \theta(X) \mid X, R] = 0$$
Waarbij:

• $\Delta_e(X)$ de variatie in de behandeling samenvat in de experimentele steekproef.
• $\Delta_o(X)$ de variatie in de uitkomst samenvat in de observationele steekproef.

Dit maakt identificatie mogelijk zonder de functionele vorm van de relatie tussen $R$ en $Y$ te specificeren. Het raamwerk ondersteunt willekeurige representaties $H(X, R)$ van de op afstand waargenomen variabele, mits deze voldoen aan een rangvoorwaarde (relevantie).

3. Schatting en Inferentie

3.1 Robuustheid tegen Misspecificatie

De auteurs ontwikkelen een schattingsalgoritme (Algoritme 1) met behulp van sample splitting en cross-fitting. Een belangrijke theoretische bijdrage is dat geldige $n^{-1/2}$ inferentie haalbaar is zonder rate-condities op de machine learning-modellen die uitkomsten, behandelingen of steekproefindicatoren voorspellen.

• De estimator blijft geldig, zelfs als de voorspellers (bijv. diepe neurale netwerken) misspecified zijn of geen convergentiesnelheden hebben.
• Deze robuustheid komt voort uit de Neyman-orthogonaliteit van de momentrestrictie.

3.2 Efficiëntie en Optimale Instrumenten

Om de efficiëntie te verbeteren, koppelen de auteurs het probleem aan de theorie van optimale instrumenten (Chamberlain, 1987; Newey, 1993). De semiparametrische efficiënte representatie $H^*(R)$ omvat het voorspellen van:

1. De uitkomst $Y$ (uit de observationele steekproef).
2. De behandeling $D$ (uit de experimentele steekproef).
3. De steekproefindicator $S$ (uit de gepoolde data).
   Het gebruik van deze voorspellingen maakt dimensionaliteitsreductie van hoog-dimensionale $R$ mogelijk, terwijl de causale informatie behouden blijft.

3.3 Diagnostische Tests

Het raamwerk biedt twee diagnostische tests:

1. Zwak Instrument Test: Controleert of de op afstand waargenomen variabele voldoende informatief is over de variatie in de uitkomst (analoog aan zwakke instrumenten in IV).
2. Overidentificerende Restricties (J-test): Als verschillende representaties $H(R)$ en $H'(R)$ significant verschillende schattingen van het behandelingseffect opleveren, duidt dit op een schending van de stabiliteits- of de 'geen direct effect'-aannames.

4. Empirische Resultaten en Toepassingen

Het artikel valideert de methode via gekalibreerde simulaties en real-world toepassingen:

4.1 Simulaties

• Bias: De standaard twee-stappen-methode vertoont grote attenuatiebias (onderschatting van effecten), terwijl de voorgestelde methode ongeveer onbevooroordeeld is.
• Dekking: Betrouwbaarheidsintervallen voor de voorgestelde methode bereiken een nominale dekking (ongeveer 95%), terwijl de twee-stappen-methode ernstig onderdekt (zo laag als 0-25% in sommige scenario's).
• Vergelijking met PPI: Wanneer een validatiesample beschikbaar is, kunnen PPI-methoden onbevooroordeeld zijn, maar zijn ze minder efficiënt dan de voorgestelde methode. Als de validatiesample niet-random is of de baselines verschillen, wordt PPI bevooroordeeld.

4.2 Toepassing 1: Smartcards en Dorpsarmoede (India)

• Context: Evaluatie van het effect van biometrische betalingssystemen op de armoede in dorpen.
• Opzet: Experimentele steekproef heeft behandeling en satellietdata; validatiesample (niet-random) heeft uitkomsten en satellietdata; observationele steekproef heeft uitkomsten en satellietdata.
• Resultaat: De voorgestelde methode levert schattingen die dicht bij de "oracle" difference-in-means liggen (gebruikmakend van volledige uitkomstdata), ondanks het feit dat uitkomstdata slechts voor een deel van de dorpen beschikbaar is. Dit toont een aanzienlijk potentieel voor de reductie van enquêtekosten.

4.3 Toepassing 2: Betalingen voor Ecosysteemdiensten en Gewasverbranding (India)

• Context: Evaluatie van prikkels om gewasverbranding te verminderen met behulp van satellietbeelden.
• Opzet: Geen experimentele uitkomsten beschikbaar; alleen een observationele steekproef koppelt satellietdata aan de grondwaarheid.
• Resultaat: De gangbare twee-stappen-methode onderschatte het behandelingseffect met 47%. De voorgestelde methode identificeerde een aanzienlijk groter effect (14,1% reductie in verbranding versus 7,5% door de twee-stappen-methode), waarmee de inherente attenuatiebias gecorrigeerd werd die optreedt bij post-outcome surrogatie.

5. Belangrijkste Bijdragen en Betekenis

1. Nieuwe Identificatiestrategie: Het artikel biedt de eerste niet-parametrische identificatieformule voor behandelingseffecten die experimentele en observationele data combineert wanneer de proxy een post-outcome variabele is, waarbij vertrouwd wordt op de stabiliteit van het waarnemingsmechanisme in plaats van het uitkomstmechanisme.
2. Correctie van Veelvoorkomende Biases: Het toont formeel aan dat de veelgebruikte "twee-stappen" voorspellingsmethode lijdt aan attenuatiebias in post-outcome settings, wat verklaart waarom veel bestaande studies de impact van interventies mogelijk onderrapporteren.
3. Robuuste Inferentie: Het stelt vast dat geldige inferentie mogelijk is, zelfs met complexe, potentieel misspecificeerde machine learning-modellen, waardoor de noodzaak voor strikte rate-condities die vaak vereist zijn bij Double Machine Learning, wordt weggenomen.
4. Praktische Diagnostiek: Het introduceert testbare overidentificerende restricties om de kernaannames te valideren, waardoor onderzoekers de stabiliteit van de waarnemingsdata kunnen controleren met behulp van meerdere representaties.
5. Efficiëntiewinst: Door optimaal gebruik te maken van instrumenten die ook de behandeling en de steekproefindicator voorspellen, bereikt de methode een hogere precisie dan standaard benaderingen.

Het artikel concludeert dat hoewel op afstand waargenomen variabelen imperfect zijn, ze rigoureus gebruikt kunnen worden voor causale inferentie als de stabiliteit van de waarnemingstechnologie plausibel is. Dit raamwerk stelt onderzoekers in staat om de kosten voor enquêtes aanzienlijk te verlagen terwijl de statistische validiteit behouden blijft, met name in de milieu- en ontwikkelingseconomie.