Technische Samenvatting: Bewijsvoering Aggregatie met Rekening Houding voor Onwetendheid

1. Probleemstelling

Onderzoekers die beleidsinterventies evalueren, worden vaak geconfronteerd met twee gelijktijdige uitdagingen: het identificeren van welke individuen of contexten het meest profiteren van een interventie (heterogeniteit in behandelingseffecten) en het bepalen of patronen van heterogeniteit die in één omgeving zijn waargenomen, betrouwbaar kunnen worden geaggregeerd om besluitvorming in een andere omgeving te informeren. Traditionele benaderingen van heterogeniteit in behandelingseffecten dwingen vaak een voorspelling af voor elke observeerbare context, zelfs wanneer de data ruis bevatten, de steekproefomvang klein is of de onderliggende mechanismen substantieel verschillend zijn. Deze "gedwongen voorspelling" kan leiden tot overfitting, extreme schattingen en de vertekening van voorspellingen voor goed geïdentificeerde groepen door slecht geïdentificeerde groepen.

Het artikel adresseert het probleem van bewijsvoering aggregatie met een expliciete optie tot onthouding. Het doel is om een raamwerk te ontwikkelen dat heterogene behandelingseffecten aggregeert naar interpreteerbare samenvattingen (archetypen), terwijl het tegelijkertijd een "bekken van onwetendheid" identificeert—een verzameling contexten waar extrapolatie onbetrouwbaar is en verdere bewijsvoering vereist is. Het raamwerk balanceert het gebruik van bestaande bewijsvoering voor geloofwaardige voorspellingen tegen de kosten van het uitstellen van voorspelling om nieuwe data te verzamelen.

2. Methodologie

2.1 Opzet en Datastructuur

De setting betreft een groot aantal observeerbare typen $x \in \mathcal{X}$, waarbij een type wordt gedefinieerd door de kruisproduct van individuele kenmerken en omgevings-/studieniveau-kenmerken (bijv. land, locatie). Voor elk type $x$ observeert de onderzoeker:

• Een onbevooroordeelde maar potentieel ruisige schatting van het conditionele gemiddelde behandelingseffect (CATE), $\hat{\tau}(x)$.
• Een onbevooroordeelde schatting van de steekproefvariantie, $\hat{\eta}(x)^2$.
• Een schatting van de opportuniteitskosten van onthouding, $\hat{c}(x)$.

Het aantal typen $|\mathcal{X}|$ kan meegroeien met de steekproefomvang, en schattingen binnen typen kunnen gebaseerd zijn op kleine steekproefomvang.

2.2 Het Besluitvormingsprobleem

De onderzoeker zoekt een voorspellingsregel $f(x)$ uit een kandidaat-klasse $\mathcal{F}$ (bijv. boompartities, ijle lineaire modellen) en een onthoudingsregel $\pi(x) \in \{0, 1\}$, waarbij $\pi(x)=1$ aangeeft dat een voorspelling wordt gedaan en $\pi(x)=0$ onthouding aangeeft (toewijzing aan het bekken van onwetendheid).

Het doel is het minimaliseren van de verwachte verliesfunctie:
$$R_c(f, \pi) = \sum_{x \in \mathcal{X}} p(x) \left[ (f(x) - \tau(x))^2 \pi(x) + c(x)(1 - \pi(x)) \right]$$
waarbij $p(x)$ de doelverdeling over typen is. Het verlies bestaat uit de kwadratische voorspellingsfout voor typen waar een voorspelling wordt gedaan, plus de kosten van onthouding voor typen waar geen voorspelling wordt gedaan.

2.3 Schattingsprocedure

De auteurs stellen een tweestaps schattingsprocedure voor:

1. Onbevooroordeelde Verliesschatting: Voor elk kandidaat-paar $(f, \pi)$ construeren zij een onbevooroordeelde estimator van de verliesfunctie door de kwadratische fout van de kandidaat-benadering te corrigeren tegen de ruisige schatting $\hat{\tau}(x)$ met de geschatte variantie $\hat{\eta}(x)^2$:
   $$\hat{R}(f, \pi) = \sum_{x \in \mathcal{X}} p(x) \left[ \left( (f(x) - \hat{\tau}(x))^2 - \hat{\eta}(x)^2 \right) \pi(x) + \hat{c}(x)(1 - \pi(x)) \right]$$
   Deze correctie zorgt ervoor dat de verwachte waarde van de geschatte verliesfunctie gelijk is aan het ware verwachte verlies, zelfs wanneer $\hat{\tau}(x)$ ruis bevat.
2. Optimalisatie: De estimator $(\hat{f}, \hat{\pi})$ wordt gekozen om $\hat{R}(f, \pi)$ te minimaliseren over de functieklasse $\mathcal{F}$ en de klasse van onthoudingsregels $\Pi$.

2.4 Modelselectie en Complexiteitscontrole

Het raamwerk maakt data-gestuurde selectie van de complexiteit van de modelklasse (bijv. boomdiepte) mogelijk met behulp van steekproefsplitsing (sample splitting). De procedure vergelijkt kandidaat-klassen op basis van hun out-of-sample verlies. Cruciaal is dat de benaderingsfout wordt geëvalueerd alleen op de subset van typen waar het model besluit te voorspellen, in plaats van globaal. Dit stelt eenvoudigere modellen in staat om geselecteerd te worden als zij goed presteren op een specifieke subset, terwijl het model zich op de rest onthoudt.

2.5 Kalibratie van Onthoudingskosten

De kosten van onthouding $c(x)$ worden besluitvormingstheoretisch geïnterpreteerd als de gemiddelde kwadratische fout van een voorspelling gevormd na het verzamelen van aanvullende data in een vervolgexperiment. De auteurs stellen een break-even analyse voor om de effectieve steekproefomvang $m$ van een vervolgstudie te selecteren. De procedure identificeert de minimale $m$ waarvoor de verwachte kosten van het verzamelen van nieuwe data (en het updaten van de voorspelling) statistisch significant lager zijn dan een benchmark verlies (bijv. de variantie van een regel zonder onthouding).

2.6 Optimalisatiealgoritmen

• Boom-gebaseerde regels: Een exact recursief algoritme (Algoritme 1) wordt geleverd om de optimale boompartitie en blad-toewijzingen (archetype versus onwetendheid) te vinden met polynomiale complexiteit voor een vaste diepte.
• G-means clustering: Exacte en gladde benaderingsalgoritmen worden besproken voor clustering op covariabele-ruimtes.
• Gladde regressie: Het raamwerk wordt uitgebreid naar gladde voorspellingsfuncties (bijv. lineaire/ridge regressie) met behulp van een differentiabele benadering van de harde onthoudingsregel.

3. Belangrijke Theoretische Bijdragen

3.1 Finite-Sample Regret Guarantees

Het artikel leidt finite-sample regret bounds af voor de onwetendheids-bewuste estimator ten opzichte van een oracle die de ware $\tau(x)$ kent en optimaal kiest welke voorspellingen en onthoudingssets worden gemaakt.

• Algemene Modellen: Onder standaard momentcondities en begrensde complexiteitsveronderstellingen op de voorspellingsklasse $\mathcal{F}$ en de onthoudingsklasse $\Pi$, verdwijnt de regret met een snelheid van $O(1/\sqrt{N_X})$, waarbij $N_X$ het aantal typen is.
• Discrete Partities: Voor boom-gebaseerde partities en G-means clustering leiden de auteurs matching minimax upper en lower bounds af, wat bevestigt dat de $1/\sqrt{N_X}$ snelheid optimaal is. De bounds houden expliciet rekening met de complexiteit van zowel de voorspellingsgroepen als het bekken van onwetendheid.

3.2 Modelselectie met Onthouding

Het artikel biedt een nieuw modelselectie-garantie (Theorema 3.4). In tegen tegenstelling tot standaardresultaten waar de benaderingsfout globaal wordt geëvalueerd, deelt de regret bound hier in:

1. Een modelselectie term.
2. Een schattingsruis term (variantie).
3. Onwetendheidsvrije benaderingsfout: De bias van de gekozen modelklasse ten opzichte van de rijkste klasse, geëvalueerd alleen op de voorspellende set.
4. De kosten van onthouding.

Dit resultaat toont aan dat onthouding de modelselectie verbetert door de onderzoeker in staat te stellen een eenvoudiger, preciezer model te gebruiken waar het goed past, terwijl de voorspelling wordt onthouden in contexten waar het model slecht zou presteren.

3.3 Interpretatie van Onthoudingskosten

Het artikel legt een formele link tussen de abstracte kostenparameter $c(x)$ en de praktische waarde van toekomstige dataverzameling. Door $c(x)$ te interpreteren als de gemiddelde kwadratische fout van een voorspelling na $m$ aanvullende observaties, biedt het raamwerk een data-gestuurde methode om te bepalen wanneer verdere experimentatie gerechtvaardigd is.

4. Empirische Toepassing en Resultaten

De auteurs passen de methode toe op een heranalyse van het "Graduation program", een veelzijdige armoedebestrijdingsinterventie die werd uitgevoerd in zes landen (Ethiopië, Ghana, Honduras, India, Pakistan, Peru) met meer dan 10.000 huishoudens.

• Dataverwerking: Zij construeren 796 typen op basis van baseline kenmerken (consumptie, activa, voedselzekerheid, leningbedragen) en land.
• Modelselectie: Met behulp van cross-validatie en break-even analyse selecteren zij een boom met diepte vier en 11 voorspellende archetypen.
• Bekken van Onwetendheid: Ongeveer 15% van de observaties wordt toegewezen aan het bekken van onwetendheid. Deze zijn primair geconcentreerd in de armste kwartielen van Peru en Pakistan, en in India en Ethiopië, wat suggereert dat voor deze specifieke subgroepen de bestaande bewijsvoering onvoldoende is om betrouwbare voorspellingen te doen.
• Heterogeniteit Bevindingen: De voorspellende archetypen onthullen substantiële heterogeniteit, met effecten variërend van bijna nul tot 48% van de standaarddeviatie van de controlegroep. Verschillende hoog-effect archetypen worden gedeeld over landen, wat duidt op succesvolle bewijsvoering aggregatie.
• Vergelijking met No-Abstention Baselines:
  • Een standaard boom zonder onthouding splitst primair op land, waardoor het faalt in het identificeren van verplaatsbare cross-country patronen.
  • De no-onthouding boom creëert kleine, hoog-variante bladeren met extreme en instabiele voorspellingen (bijv. effecten van -103% of 249%).
  • De onwetendheids-bewuste boom vermindert de gemiddelde kwadratische fout op de voorspellende set aanzienlijk vergeleken met standaard procedures (Empirical Bayes, CART, Generalized Random Forests) en de no-onthouding boom.
  • De standaardfouten van de onwetendheids-bewuste boom zijn ongeveer de helft van die van de no-onthouding boom.

Numerieke Studie

Een gekalibreerde Monte Carlo studie introduceert een "gecontamineerd" gebied (een subset van Peru) met willekeurige, heavy-tailed heterogeniteit. De resultaten laten zien dat naarmate de ernst van deze contaminatie toeneemt, de onwetendheids-bewuste boom het gecontamineerde gebied succesvol toewijst aan het bekken van onwetendheid. Dit beschermt de nauwkeurigheid van de voorspellingen van de resterende stabiele regio's, waardoor de voorspellingsfout met wel 50% wordt verminderd vergeleken met de beste concurrerende benchmarks (CART, Random Forests, Empirical Bayes) en met 80% vergeleken met de no-onthouding boom.

5. Betekenis en Claims

Het artikel claimt een nieuw paradigma te bieden voor bewijsvoering aggregatie dat expliciet de grenzen van de huidige data erkent. De belangrijkste bijdragen zijn:

1. Leren van Onwetendheid: Het gaat verder dan de aanname dat er een voorspelling moet worden gedaan voor elke eenheid. In plaats daarvan behandelt het de identificatie van "waar we het niet weten" als een kernonderdeel van de schattingsproblematiek.
2. Robuustheid tegen Mis-specificatie: Door onthouding toe te staan, versoepelt de methode de globale aannames (bijv. schaarste, gladheid) die vereist zijn door standaard methoden voor heterogeniteit. Deze aannames hoeven alleen lokaal te gelden op de subset van data waar voorspelling wordt gedaan.
3. Besluitvormingstheoretische Link: Het biedt een rigoureuze verbinding tussen statistische onthouding en de waarde van toekomstige experimentatie, en biedt een concrete, data-gestuurde regel voor wanneer men moet stoppen en meer data moet verzamelen.
4. Verbeterde Precisie: Empirische en simulatie resultaten suggereren dat door moeilijke te voorspellen eenheden uit te sluiten, de methode de precisie en stabiliteit van voorspellingen voor de resterende eenheden aanzienlijk verbetert, waardoor de verstoring wordt voorkomen die wordt veroorzaakt door het forceren van aggregatie over heterogene en ruisige contexten.

De auteurs positioneren dit werk als een brug tussen meta-analyse, behandelingseffect heterogeniteit en machine learning met rejectie-opties, specif