Nonparametric Identification and Estimation of Causal Effects on Latent Outcomes

Deze paper introduceert een niet-parametrisch raamwerk dat, via het gebruik van brugfuncties en een debiasing-procedure, betrouwbare en vergelijkbare schattingen van causale effecten op latente uitkomsten mogelijk maakt, zelfs wanneer deze onvolmaakt worden gemeten door meerdere indicatoren.

De kern

Stel je voor dat je een kok bent die een nieuwe soeprecept wilt testen. Je wilt weten of het toevoegen van een speciaal kruid (de behandeling) de smaak van de soep (het resultaat) verbetert.

Maar hier is het probleem: je kunt de "smaak" niet direct proeven of meten. Smaak is iets abstracts, een gevoel. Wat je wel hebt, zijn verschillende meetinstrumenten:

1. Een smaakmeter die het zoutgehalte meet.
2. Een ander apparaatje dat de zuurgraad meet.
3. Een derde die de textuur meet.

Elk apparaat geeft een ander getal, en ze zijn allemaal imperfect (ze hebben ruis). De vraag is: Hoe weet je echt of het kruid de smaak heeft veranderd, als je alleen die verschillende, imperfecte meetresultaten hebt?

Dit is precies het probleem dat Fu en Green in hun paper oplossen. Hier is de uitleg in gewone taal, met een paar creatieve analogieën.

Het Grote Probleem: Twee Soorten Verwarring

De auteurs zeggen dat onderzoekers tot nu toe twee grote fouten maakten bij het meten van onzichtbare dingen (zoals "politiek vertrouwen", "mentale gezondheid" of "ideologie"):

1. De "Taalprobleem" (Vergelijkbaarheid tussen studies)
Stel, onderzoek A meet "smaak" met een zoutmeter, en onderzoek B meet "smaak" met een zuurmeter.

• Als onderzoek A zegt: "De soep is 10% lekkerder!"
• En onderzoek B zegt: "De soep is 5% lekkerder!"
• Is de soep in A echt lekkerder? Of gebruiken ze gewoon verschillende meetlatjes?

Huidige methoden (zoals het gemiddelde nemen van alle meters) zijn als het proberen om kilometers en mijlen op te tellen zonder ze eerst om te rekenen. Het resultaat lijkt wetenschappelijk, maar is eigenlijk onbruikbaar om studies met elkaar te vergelijken. Je vergelijkt appels met peren.

2. Het "Kijkhoek-probleem" (Vergelijkbaarheid binnen één studie)
Zelfs binnen één experiment kunnen de meetinstrumenten gek doen.

• Meter A reageert heel sterk op een klein beetje zout.
• Meter B reageert pas als er heel veel zout in zit.
• Meter C is niet lineair; hij reageert pas als de soep koud is.

Als je deze meters simpelweg optelt, krijg je een rommelige uitkomst. Het is alsof je probeert de hoogte van een berg te meten door te tellen hoeveel mensen erop staan (Meter A) en hoeveel wolken erboven hangen (Meter B). Het zijn verschillende manieren om naar hetzelfde object te kijken, maar ze vertellen niet hetzelfde verhaal.

De Oplossing: De "Brug" (Non-parametrische Scaled Index)

De auteurs komen met een slimme oplossing die ze de NSI-methode noemen. Het idee is gebaseerd op twee stappen:

Stap 1: Kies een "Standaard" (De Benchmark)

Je kiest één meetinstrument uit je reeks dat je als referentie gebruikt. Laten we zeggen dat de "Zoutmeter" (Y1) je standaard is. Deze meter bepaalt hoe we de "smaak" definiëren.

Stap 2: Bouw een Brug (De Bridge Function)

Nu moet je de andere meters (de Zuurmeter, de Textuurmeter) vertalen naar de taal van je Zoutmeter.
Je bouwt een brugfunctie. Dit is een wiskundige vertaler die zegt: "Als de Zuurmeter een 5 aangeeft, betekent dat in de taal van de Zoutmeter eigenlijk een 3."

• Het magische: Je hoeft niet te weten hoe de Zuurmeter precies werkt (is het lineair? is het krom?). Je hoeft alleen te weten hoe je de uitkomst van de Zuurmeter kunt "vertalen" zodat hij in de toekomst precies hetzelfde vertelt als de Zoutmeter, gemiddeld gezien.
• Hoe doen ze dat? Ze gebruiken de willekeurige toewijzing van het experiment (wie kreeg het kruid en wie niet) als een "spion" (een instrument) om deze vertaalfunctie te ontdekken, zonder dat ze een specifiek model hoeven op te stellen.

Waarom is dit zo goed?

1. Het is flexibel: Je hoeft niet aan te nemen dat de relatie tussen je meetinstrumenten en de "smaak" rechtlijnig is. Het werkt ook als de relatie krom of complex is.
2. Het is eerlijk: Omdat alle meters nu vertaald zijn naar dezelfde "taal" (de standaardmeter), kun je ze veilig optellen.
3. Het werkt overal: Als een ander onderzoek in een ander land ook die ene "Zoutmeter" gebruikt, kun je hun resultaten direct vergelijken met de jouwe. Je hebt nu een universele meetlat.

Een Simpele Analogie: De Vertaler in een Wereldreis

Stel je voor dat je een reisgids schrijft over "Gelukkig zijn" (de latente uitkomst).

• In Land A vragen ze mensen: "Hoeveel glimlach je per dag?"
• In Land B vragen ze: "Hoeveel uur slaap je?"
• In Land C vragen ze: "Hoeveel geld heb je?"

Als je gewoon de aantallen optelt, krijg je onzin.
De methode van Fu en Green zegt:

1. Kies "Glimlachen" als de standaard (de benchmark).
2. Gebruik de data om een vertaler te bouwen die zegt: "In Land B betekent 8 uur slapen eigenlijk hetzelfde als 5 glimlachen."
3. Nu kun je de data van Land B en C vertalen naar "Glimlachen" en ze vergelijken.

Conclusie

Vroeger dachten onderzoekers: "We meten de uitkomst, en dan kijken we naar het effect."
Deze paper zegt: "Nee, hoe je meet, is een integraal onderdeel van wat je meet."

Als je niet goed meet, meet je niet het effect van je behandeling, maar alleen de ruis van je meetinstrumenten. Met deze nieuwe "Brug-methode" kunnen onderzoekers eindelijk zeggen: "We hebben niet alleen de data gemeten, we hebben de verschillende meetinstrumenten vertaald naar één gemeenschappelijke taal, zodat we weten dat we echt hetzelfde meten."

Het is alsof je eindelijk een universele meetlat hebt gevonden voor de dingen die we niet direct kunnen zien.

Technische samenvatting

Titel: Nonparametrische Identificatie en Schatting van Causale Effecten op Latente Uitkomsten

Auteurs: Jiawei Fu (Duke University) en Donald P. Green (Columbia University)
Datum: 13 april 2026

---

1. Het Probleem: Causale Inferentie met Latente Uitkomsten

In veel sociaal-wetenschappelijke experimenten is de uitkomst van belang (bijv. ideologie, staatscapaciteit, mentale gezondheid, cognitieve vaardigheid) niet direct observeerbaar. Deze zijn latente constructen die slechts indirect worden gemeten via meerdere imperfecte indicatoren (enquêtes, tests, administratieve data).

De huidige literatuur over gecontroleerde experimenten behandelt vaak de geobserveerde uitkomst als de ware uitkomst, of gebruikt ad-hoc methoden om meerdere indicatoren te aggregeren (zoals gemiddelden, PCA, of IRT-modellen). Dit leidt tot twee fundamentele, maar vaak over het hoofd geziene, niet-comparabiliteitsproblemen:

1. Studie-niet-comparabiliteit (Cross-study): Wanneer twee studies hetzelfde latente construct meten maar verschillende sets indicatoren gebruiken, leiden standaard dimensiereductiemethoden vaak tot schattingen die verschillende empirische grootheden vertegenwoordigen. Zelfs als het ware causale effect identiek is, kunnen de geschatte effecten verschillen puur door verschillen in de meetinstrumenten. Dit ondermijnt de accumulatie van kennis over studies heen.
2. Meetniet-comparabiliteit (Within-study): Binnen één studie kunnen verschillende indicatoren verschillende (en mogelijk niet-lineaire) relaties hebben met hetzelfde latente resultaat. Ze zijn niet direct onderling vergelijkbaar. Bestaande methoden zijn ofwel te sterk afhankelijk van specifieke modelspecificaties (zoals lineaire SEM of IRT) die gevoelig zijn voor modelmisspecificatie, ofwel te onnauwkeurig omdat ze de gemeenschappelijke latente structuur negeren (zoals PCA).

2. Methodologie: Nonparametrisch Scaled Index (NSI)

De auteurs ontwikkelen een algemeen nonparametrisch raamwerk gebaseerd op een ontwerp-georiënteerde aanpak. Het doel is om de gemiddelde causale behandelingseffecten op het latente resultaat (Average Latent Treatment Effect - ALTE) te identificeren en te schatten zonder specifieke functionele vormen op te leggen.

De kern van de methode bestaat uit twee concepten:

A. Benchmark-meting en Brugfuncties

• Benchmark: De methode vereist dat er in de studies ten minste één gemeenschappelijke meetvariabele (een "benchmark" of "bridge variable", genoteerd als $Y_1$) bestaat die dient als referentiepunt.
• Meetbrugfunctie ($\phi_j$): Voor elke andere meting $Y_j$ wordt een niet-parametrische brugfunctie $\phi_j$ gedefinieerd. Deze functie transformeert $Y_j$ zodanig dat de verwachte waarde, gegeven het latente resultaat $\eta$, gelijk is aan die van de benchmark:
  $$E[\phi_j(Y_j) | \eta] = E[Y_1 | \eta]$$
  Hierdoor worden alle metingen "geschaald" naar dezelfde schaal in verwachting, waardoor ze onderling en over studies heen vergelijkbaar worden.

B. Identificatie via Nonparametrische Instrumentvariabelen (NPIV)

Het vinden van de brugfunctie $\phi_j$ wordt geformuleerd als een Fredholm integraalvergelijking van de eerste soort, wat een slecht gesteld invers probleem is.

• Compleetheidsvoorwaarde: De auteurs tonen aan dat de brugfunctie bestaat en geïdentificeerd kan worden onder een "compleetheidsvoorwaarde" (completeness assumption). Dit betekent dat de meetfouten niet volledig de variabiliteit van het latente resultaat verbergen; de meting moet voldoende informatie bevatten.
• Instrumentvariabelen: In plaats van externe instrumenten te zoeken, gebruiken de auteurs de randomisatie van het experiment zelf. De toewijzing van de behandeling ($Z_i$), covariaten ($X_i$) en andere metingen fungeren als geldige instrumentvariabelen om de brugfunctie te identificeren via de voorwaarde:
  $$E[\phi_j(Y_j) | W] = E[Y_1 | W]$$
  waarbij $W$ de set instrumentvariabelen is.

C. Schatting onder Zwakke Identificatie

Omdat het schatten van de brugfunctie een NPIV-probleem is, kan deze functie "zwak geïdentificeerd" zijn (veel oplossingen of instabiel). Echter, het doel is niet de functie zelf, maar het lineaire functioneel ervan (het ALTE).

• De auteurs maken gebruik van de de-biasing techniek van Bennett et al. (2025).
• Ze construeren een Neyman-orthogonale score die robuust is tegen fouten in de eerste fase (het schatten van de brugfunctie).
• Door cross-fitting (opdeling van de data in folds) en minimax-schatting worden overfitting en bias verminderd.
• De uiteindelijke schatting van het ALTE gebeurt via Generalized Method of Moments (GMM), waarbij de geschaalde metingen worden gecombineerd met optimale gewichten om de variantie te minimaliseren.

3. Belangrijkste Resultaten

Simulaties

In Monte Carlo-simulaties (1000 replications, $n=800$) wordt de prestatie van de NSI-methode vergeleken met standaard methoden (PCA, Inverse Covariance Weighting - ICW, en de lineaire WSI-methode).

• PCA en ICW: Deze methoden genereren aanzienlijke cross-study verschillen (gemiddelde gap van 0.256 en 0.366) en leiden tot een extreem hoog percentage afwijzingen van de ware null-hypothese dat de effecten gelijk zijn (tot 100% bij ICW). Ze zijn dus niet robuust tegen verschillen in meetinstrumenten.
• WSI (Lineair): Verbeterd ten opzichte van PCA/ICW, maar nog steeds gevoelig als de relatie niet-lineair is (gap van 0.072).
• NSI (Nonparametrisch): Bereikt de laagste cross-study gap (0.004) en de laagste afwijzingsrate (0.6%). De methode herstelt de vergelijkbare latente behandelingseffecten zelfs wanneer de meetrelaties niet-lineair en verschillend zijn.

Empirische Toepassing (Kalla & Broockman, 2020)

De methode wordt toegepast op een veldexperiment over deur-tot-deur canvassen en attitudes ten opzichte van ongedocumenteerde immigranten.

• Er zijn twee uitkomstmaten: attitudes en beleidsvoorkeuren.
• De NSI-schattingen (met polynomen, Random Forests en RKHS bases) tonen een positief en statistisch significant effect van de volledige behandeling, vergelijkbaar met eerdere lineaire bevindingen.
• De resultaten bevestigen dat de lineaire benadering in dit specifieke geval adequaat was, maar benadrukken dat NSI robuust is als de relatie niet-lineair zou blijken te zijn. De methode biedt dus een veilige, flexibele alternatief voor lineaire modellen.

4. Bijdragen en Significantie

1. Conceptuele Doorbraak: Het artikel identificeert en formaliseert de "dubbele niet-comparabiliteit" (tussen studies en binnen studies) als een centraal probleem in de causale inferentie met latente uitkomsten.
2. Methodologische Innovatie: Het introduceert een nonparametrisch raamwerk dat de noodzaak van specifieke modelspecificaties (zoals lineaire factorladingen) wegneemt. Door brugfuncties te gebruiken, worden meetinstrumenten gestandaardiseerd op basis van hun verwachte relatie met het latente resultaat.
3. Praktische Richtlijnen voor Ontwerp: Het artikel stelt dat meetontwerp een integraal onderdeel is van het experimenteel ontwerp.
   • Onderzoekers moeten minimaal één gemeenschappelijke benchmark-meting opnemen om cross-study vergelijkingen mogelijk te maken.
   • Indicatoren moeten voldoende informatie bevatten over het latente construct om de compleetheidsvoorwaarde te voldoen.
4. Robuustheid: De methode biedt een oplossing voor het dilemma tussen modelafhankelijkheid (risico op misspecificatie) en modelvrijheid (inefficiëntie). Het combineert de identificatiekracht van instrumentvariabelen met de flexibiliteit van niet-parametrische schatting.

Conclusie

Fu en Green tonen aan dat causale inferentie niet kan plaatsvinden alsof metingen secundair zijn. Wanneer uitkomsten latent zijn, bepaalt de keuze van de meting de empirische betekenis van het te schatten effect. Hun voorgestelde Nonparametric Scaled Index (NSI) biedt een generaliseerbare strategie om causale effecten op latente constructen te identificeren en te schatten, waardoor resultaten tussen verschillende studies en binnen studies echt vergelijkbaar en betrouwbaar worden.