Better Measurement or Larger Samples? Data Collection for Policy Learning with Unobserved Heterogeneity

Dit artikel onderzoekt hoe beleidsmakers de afweging tussen het vergroten van steekproefomvang en het verbeteren van de meetnauwkeurigheid van onwaarneembare kenmerken kunnen optimaliseren om de welvaart te maximaliseren, waarbij een empirisch geval uit de ontwikkelings economie aantoont dat het opnemen van een proxy voor ondernemersvaardigheden de welvaart met 5% verhoogt en het risico op welvaartsverlies halveert.

De kern

Stel je voor dat je een burgemeester bent die een grote pot geld heeft om ondernemers in je stad te helpen. Je wilt dit geld zo slim mogelijk verdelen: niet aan iedereen, maar alleen aan degenen die er het meeste baat bij hebben.

Dit is het probleem waar deze paper over gaat: Hoe vind je de beste manier om hulp te verdelen als je niet alles precies weet?

Hier is de kern van het verhaal, vertaald naar alledaags taal met een paar handige vergelijkingen.

1. Het Dilemma: "Groot en onnauwkeurig" vs. "Klein en scherp"

Stel je voor dat je twee opties hebt om de beste ondernemers te vinden:

• Optie A (Groot, maar oppervlakkig): Je kijkt alleen naar dingen die je makkelijk kunt zien, zoals "Hoe oud is de ondernemer?" of "Hoeveel jaar heeft hij/school?". Je hebt een heel grote lijst van mensen (een grote steekproef), maar je mist de echte "smaak" van de ondernemer. Misschien is iemand 30 jaar en heeft een diploma, maar is hij/zij gewoon niet gemotiveerd.
• Optie B (Klein, maar diepgaand): Je probeert een dieper inzicht te krijgen, bijvoorbeeld door te vragen aan andere ondernemers: "Wie van jullie is de beste in het runnen van een zaak?" (dit noemen ze community rankings). Dit geeft je een veel nauwkeuriger beeld van het talent. Maar omdat het vragen kost tijd en geld, heb je minder mensen op je lijst.

De vraag is: Is het beter om een enorme lijst te hebben met alleen de oppervlakkige info, of een kleinere lijst met super-nauwkeurige info?

2. De Nieuwe Inzichten: Het "Ruis"-probleem

De auteur (Giacomo Opocher) heeft wiskundige formules bedacht om dit probleem op te lossen. Hij zegt:

"Het is niet altijd slim om diep te graven. Soms is de 'ruis' (de onnauwkeurigheid) in je diepe metingen zo groot, dat het beter is om gewoon een grote, ruwe lijst te gebruiken."

Stel je voor dat je probeert een doelwit te raken met een pijl en boog:

• Als je groot schiet (veel mensen, weinig info), heb je veel pijlen, maar ze gaan vaak een beetje de verkeerde kant op.
• Als je diep schiet (minder mensen, veel info), heb je minder pijlen, maar ze zijn gericht op het echte doel. MAAR, als je bril (je meetmethode) vies is, raken je pijlen het doel toch niet.

De paper leert ons dat je pas moet kiezen voor de "diepe" methode (Optie B) als het verschil in talent tussen de ondernemers zo groot is, dat het de moeite waard is om de onnauwkeurigheid van je meting te accepteren.

3. De Oplossing: De "Budget-Balans"

De auteur geeft een recept voor de perfecte balans. Het hangt af van je budget:

• Heb je weinig geld? Dan is het vaak slim om minder diepe metingen te doen (bijvoorbeeld 2 mensen vragen in plaats van 5) en het restant van je geld te gebruiken om meer ondernemers op je lijst te zetten. Een grotere groep met een beetje info is beter dan een hele kleine groep met perfecte info.
• Heb je veel geld? Dan kun je het beste doen: meer diepe metingen doen én een grote lijst houden.

4. Het Praktische Voorbeeld: De Indiase Marktplaats

De auteur testte dit idee in een echt experiment in India (gebaseerd op eerder onderzoek). Daar gaven ze geld aan kleine ondernemers.

• Ze gebruikten een "community ranking": ondernemers moesten elkaar beoordelen op hun zakelijke vaardigheden.
• Resultaat: Door te kijken naar deze onderlinge beoordelingen (in plaats van alleen leeftijd of opleiding), ging het totale welzijn van de gemeenschap met 5% omhoog.
• De kans op fouten: De kans dat ze per ongeluk iemand geld gaven die er geen baat bij had, werd halvering.

De verrassende les uit de praktijk:
Toen ze keken naar het budget, ontdekten ze dat voor een beperkt budget het slimmer was om slechts 2 beoordelaars per ondernemer te gebruiken in plaats van 5. Waarom? Omdat het geld dat je bespaart door niet 5 keer te vragen, je in staat stelt om veel meer ondernemers in het programma op te nemen. Die extra mensen wegen zwaarder dan de extra precisie van de 3e, 4e en 5e beoordelaar.

Samenvatting in één zin

Als je wilt weten wie je moet helpen, is het niet altijd het slimste om de "perfecte" meting te zoeken; vaak is het beter om een "voldoende goede" meting te gebruiken bij een veel grotere groep mensen, tenzij je genoeg geld hebt om beide te doen.

De grote les voor beleidsmakers:
Wees niet bang om imperfecte data te gebruiken, maar wees wel slim in hoe je je budget verdeelt tussen het verbeteren van die data en het vergroten van je doelgroep. Soms is "veel en goed genoeg" beter dan "weinig en perfect".

Technische samenvatting

1. Probleemstelling

Overheden en instellingen vertrouwen steeds vaker op geïndividualiseerde behandelingsregels (policy rules) om interventies toe te wijzen aan heterogene populaties (bijv. contante transfers of jobtraining). Traditionele beleidsleer (policy learning) richt zich op het maximaliseren van het verwachte welvaartsniveau op basis van waarneembare kenmerken (covariaten).

Echter, empirisch onderzoek toont aan dat de respons op behandelingen vaak afhangt van latente (niet-waarneembare) kenmerken zoals motivatie, vaardigheden of ondernemerschap. Beleidsmakers kunnen proberen deze latente factoren te benutten door gebruik te maken van schattingen of proxies (bijv. peilingen, community rankings). Dit roept twee fundamentele vragen op:

1. Wanneer is het welvaartswijzend om een proxy voor een latente factor op te nemen in de toewijzingsregel, gezien de meetfouten die inherent zijn aan deze proxies?
2. Hoe moet een beleidsmaker een beperkt budget optimaal verdelen tussen het verbeteren van de precisie van de proxy (meer metingen) en het vergroten van de steekproefgrootte voor het leren van de optimale regel?

Er bestaat een fundamentele trade-off: het opnemen van een proxy vergroot de complexiteit van het beleidsruimte (wat meer data vereist) en introduceert meetfouten die zich doorgeven aan de beslissing.

2. Methodologie en Theoretisch Kader

A. Definities en Regret (Spijt)
De auteur introduceert een nieuwe definitie van regret (spijt) om verschillende klassen van beleidsregels vergelijkbaar te maken.

• Benchmark: Een "oracle" die zowel de covariaten ($X_i$) als de ware latente factor ($A_i$) kent.
• Regret: Het verschil in welvaart tussen de optimale regel binnen een klasse en de regel die door de beleidsmaker wordt geschat.
• Beleidsklassen:
  • $G_x$: Regels gebaseerd op covariaten (ignoreren van $A_i$).
  • $G_{x,\hat{a}}$: Regels gebaseerd op covariaten en een geschatte proxy ($\hat{A}_i$) van de latente factor.

B. Regret Bounden (Theorema's 1-4)
De auteur leidt rate-sharp regret bounden af voor beide klassen:

• Covariate-Based (CB) regels: De regret bestaat uit een statistische fout (afnemend met $1/\sqrt{n}$) en een benaderingsfout. De benaderingsfout is evenredig met de variatie in treatment effects die niet wordt verklaard door de covariaten ($\bar{\sigma}_{\tau|x}$).
• $\hat{a}$-Augmented regels: De regret bevat een statistische fout (afhankelijk van de complexiteit van de nieuwe beleidsruimte) en een foutterm die direct gekoppeld is aan de Root Mean Squared Error (rMSE) van de proxy ($\sqrt{E[(\hat{A}_i - A_i)^2]}$).
• Conclusie: Het opnemen van een proxy is alleen optimaal als de variatie in behandelingseffecten die door de latente factor wordt verklaard, groter is dan de som van de toegenomen statistische complexiteit en de foutenpropagatie door de meetfout.

C. Data Collectie Ontwerp (Minimax Optimaliteit)
Het probleem wordt geformuleerd als een budgettoewijzingsprobleem onder een minimax-criteria.

• Budget: $B_0 = c_t(t) + c_n(n)$, waarbij $t$ het niveau van informatie (precisie van de proxy) is en $n$ de steekproefgrootte.
• Trade-off: Meer precisie (hoger $t$) verlaagt de meetfout maar verkleint $n$ (meer statistische fout).
• Propositie 1: De auteur leidt een analytische oplossing af voor de optimale verdeling $(n^*, t^*)$. De oplossing heeft een "corner-versus-interior" structuur:
  • Als de latente heterogeniteit klein is of de meetkosten te hoog, is het optimaal om $t^*=0$ te kiezen en het volledige budget in $n$ te steken.
  • Anders wordt het budget opgesplitst. De optimale ratio tussen steekproefgrootte en informatie-investering hangt af van de complexiteit van het model, de schaal van de meetfout en de relatieve kosten.

3. Empirische Toepassing

De theorie wordt getoetst aan de data uit Hussam et al. (2022), een gerandomiseerd gecontroleerd onderzoek (RCT) in India over contante transfers aan micro-ondernemers.

• Context: De studie gebruikt "community rankings" (peer-rankings) als proxy voor ondernemersvaardigheden (een latente factor).
• Proces: De auteur gebruikt een sample-splitting procedure (60% trainen, 40% testen, herhaald 2000 keer) om de uitkomsten te evalueren.

Belangrijkste Empirische Bevindingen:

1. Welvaartswinst: Het opnemen van community rankings in de toewijzingsregel verhoogt de gemiddelde welvaart met 5% ten opzichte van willekeurige toewijzing en 3-4% ten opzichte van regels die alleen op covariaten (leeftijd, opleiding) vertrouwen.
2. Risicoreductie: Het gebruik van de proxy halveert de kans op het genereren van welvaartsverlies (harm rate) ten opzichte van een op covariaten gebaseerde regel.
3. Invloed van Precisie: De welvaartswinst neemt toe naarmate het aantal peer-rankers (metingen) toeneemt (van 1 tot 4), wat de theoretische voorspelling bevestigt dat lagere rMSE leidt tot betere regels.
4. Optimale Budgetallocatie:
   • Zelfs bij beperkte budgetten is het nooit optimaal om de latente heterogeniteit volledig te negeren ($t^* \geq 2$).
   • Bij lage budgetten is het optimaal om minder metingen te doen (bijv. 2 rankers) en het resterende budget in een grotere steekproef te steken.
   • Bij hogere budgetten wordt het optimaal om meer metingen te doen (tot 4 rankers) terwijl de steekproefgrootte toeneemt.

4. Kernbijdragen

1. Theoretische Innovatie: Een nieuwe definitie van regret die een gemeenschappelijke benchmark (de oracle met ware $A_i$) biedt voor het vergelijken van beleidsklassen met en zonder latente factoren.
2. Regret Bounden: Afleiding van rate-sharp regret bounden die expliciet de propagatie van meetfouten in beleidsproblemen kwantificeren.
3. Data Collectie Strategie: De eerste paper die de beleidsleerproblematiek met gemeten variabelen koppelt aan het ontwerp van datacollectieplannen. Het biedt een minimax-optimalisatieformule voor het verdelen van middelen tussen meetprecisie en steekproefgrootte.
4. Praktische Procedures: Ontwikkeling van sample-splitting algoritmen die empirische onderzoekers in staat stellen om de prestaties van verschillende regels te rangschikken en de optimale datacollectie te schatten zonder strikte minimax-aannames.

5. Significantie

Deze paper biedt een cruciaal kader voor beleidsmakers en economen die werken met imperfecte data. Het weerlegt de intuïtie dat "meer data" (grotere steekproef) altijd beter is dan "betere data" (preciezere meting van latente factoren). De conclusie is genuanceerd:

• Als latente factoren sterk bepalend zijn voor het behandelingseffect, is het investeren in precisie (bijv. herhaalde metingen, betere peilingen) essentieel, zelfs als dit ten koste gaat van de steekproefgrootte.
• De auteur biedt een concrete wiskundige methode om de "breukpunt" te bepalen waar de investering in precisie opweegt tegen de kosten van een kleinere steekproef.

Dit heeft directe implicaties voor het ontwerp van gerandomiseerde gecontroleerde onderzoeken (RCT's) en beleidsinterventies in ontwikkelingslanden, waar budgetten vaak beperkt zijn en de kwaliteit van data (bijv. via peer-rankings of sensor-data) een strategische keuze is.