Econometric Inference with Machine-Learned Proxies: Partial Identification via Data Combination

Deze paper ontwikkelt een raamwerk voor partiële identificatie en inferentie in momentmodellen met machine-learned proxies, waarbij twee datasets worden gecombineerd om een scherp identificatiestrategie en een procedure voor asymptotisch correcte inferentie te bieden zonder restrictieve aannames over de upstream ML-procedure of resampling.

De kern

Titel: Hoe je Machine Learning gebruikt zonder je in de war te raken: Een gids voor econometrie

Stel je voor dat je een detective bent die een mysterie moet oplossen. Je hebt een verdachte (de echte waarheid, laten we die Z noemen), maar die verdachte is onzichtbaar. Je kunt hem niet zien, niet aanraken en niet meten.

In de echte wereld gebeurt dit vaak. Economen willen bijvoorbeeld weten hoeveel mensen echt "thuiswerken" doen, of hoe "conservatief" een krant is. Maar deze dingen zijn moeilijk te meten.

Gelukkig hebben we nu Machine Learning (ML). Dit is als een super-scherpe camera die foto's maakt van de wereld (zoals teksten van kranten of vacatures) en daar een schatting van maakt. Laten we die schatting Z-hat noemen.

Het probleem:
De meeste economen doen nu iets heel simpels: ze nemen die schatting (Z-hat) en doen alsof het de echte waarheid (Z) is. Ze zeggen: "Oké, de camera zegt dat deze krant conservatief is, dus laten we dat zo gebruiken in onze berekeningen."

Het probleem is dat de camera niet perfect is. Soms maakt hij een fout. En als je die fouten negeert, krijg je een verkeerd antwoord. Het is alsof je een weegschaal gebruikt die altijd 2 kilo te zwaar aangeeft, en je denkt dat je precies weet hoeveel een appel weegt. Je conclusies zijn dan vals.

De oplossing van dit paper:
De auteur, Lixiong Li, zegt: "Wacht even, laten we niet doen alsof de camera perfect is. Laten we in plaats daarvan twee dingen doen."

1. De "Twee Datasets" Strategie

Stel je voor dat je twee groepen mensen hebt:

• Groep A (De grote groep): Dit zijn de mensen waar je eigenlijk over wilt weten. Je hebt hun gegevens (zoals hun inkomen), maar je hebt niet de echte waarheid over thuiswerken. Je hebt alleen de schatting van de camera.
• Groep B (De controle-groep): Dit is een kleinere groep waar je wel de echte waarheid hebt én de schatting van de camera. Misschien heb je dit omdat je de camera eerst hebt getraind op een groep waar je de antwoorden al kende.

De slimme truc:
In plaats van te proberen de camera perfect te maken, gebruiken we Groep B om te leren hoe de camera fouten maakt. We kijken naar de relatie tussen wat de camera zegt en wat er echt waar is.

Vervolgens gebruiken we die kennis om Groep A te "helen". We zeggen niet: "De camera zegt X, dus het is X." We zeggen: "De camera zegt X, en we weten uit Groep B dat als de camera X zegt, de echte waarde ergens tussen A en B ligt."

2. De "Optimale Transport" (De Verhuizer)

Hoe doe je dit precies? De auteur gebruikt een wiskundig concept dat Optimale Transport heet.

Stel je voor dat je twee landen hebt:

• Land A (de grote groep) heeft een bepaalde verdeling van schattingen.
• Land B (de controle-groep) heeft een verdeling van echte waarden.

Je wilt weten: "Hoe kunnen we de mensen uit Land A 'verplaatsen' naar Land B, zodat de schattingen overeenkomen met de echte waarden, zonder dat we de wetten van de natuur breken?"

De wiskunde helpt je om de minimale en maximale mogelijke antwoorden te vinden. In plaats van één antwoord te geven (wat gevaarlijk kan zijn als de camera fouten maakt), geeft deze methode je een bereik.

• "Het effect van thuiswerken op salaris ligt ergens tussen 5% en 15%."

Dit is partiele identificatie. Het is eerlijker. Als je camera slecht is, is het bereik breed. Als je camera goed is, is het bereik smal. Maar het is altijd waar, zelfs als de camera niet perfect is.

3. Waarom is dit zo cool?

• Je hoeft de camera niet te vertrouwen: Je hoeft niet te weten hoe de machine-learning algoritme werkt of hoe snel het leert. Je hoeft alleen maar te weten hoe de schattingen zich verhouden tot de echte waarheid in je controle-groep.
• Je kunt verschillende soorten data mixen: Soms is de echte waarheid een ja/nee (thuiswerken: ja/nee), maar de camera geeft een percentage (80% kans op ja). Dit systeem werkt daar ook mee. Het ziet de camera niet als een vervanging, maar als een brug tussen twee werelden.
• Geen ingewikkelde simulations: De auteur heeft een manier bedacht om dit snel te berekenen zonder dat je duizenden keer je computer moet laten rekenen (zoals bij "bootstrapping"). Het werkt als een snelle, betrouwbare rekenmachine.

Samenvattend in een metafoor

Stel je voor dat je een oude, vage kaart hebt van een stad (de ML-schatting) en je wilt weten waar de beste restaurants zitten (de econometrische vraag).

• De oude manier: Je kijkt naar de vage kaart, wijst naar een plek en zegt: "Hier zit het restaurant!" (Gevaarlijk, de kaart kan fout zijn).
• De nieuwe manier: Je hebt ook een kleine, perfecte foto van een deel van de stad (de controle-groep). Je vergelijkt de vage kaart met de perfecte foto. Je ziet: "Ah, op de vage kaart staat hier een park, maar op de foto is het een restaurant."
• Je gebruikt die kennis om de rest van de vage kaart te interpreteren. Je zegt niet: "Het is hier," maar: "Het restaurant zit ergens in dit blok." Je weet precies hoe groot dat blok is, afhankelijk van hoe goed je vage kaart is.

Conclusie:
Dit paper geeft economen en data-analisten een veiligere manier om Machine Learning te gebruiken. Het zegt: "Gebruik die krachtige AI-tools, maar wees eerlijk over de onzekerheid. Geef een bereik in plaats van een vals zeker antwoord." Hierdoor worden conclusies betrouwbaarder, zelfs als de data imperfect is.

Technische samenvatting

1. Probleemstelling

Empirisch onderzoekers gebruiken steeds vaker machine learning (ML) om complexe, ongestructureerde data (zoals tekst of beelden) te vertalen naar proxies voor latente (niet-geobserveerde) doelvariabelen. Een veelvoorkomende aanpak is echter om deze ML-gegenereerde proxies ($\hat{Z}$) naadloos in te voegen in downstream economische modellen als ware ze de ware latente variabele ($Z$).

Deze "naive plug-in" aanpak leidt tot twee fundamentele problemen:

1. Meetfouten en Generated Regressor: Het negeren van de meetfout ($Z - \hat{Z}$) en het feit dat $\hat{Z}$ een geschatte grootheid is, leidt tot vertekende schattingen en ongeldige inferentie.
2. Niet-klassieke Meetfouten: De meetfout is vaak niet-klassiek; deze kan afhankelijk zijn van $Z$, gecorreleerd blijven met covariaten $W$ zelfs na conditionering op $Z$, en endogeen zijn. Bovendien zijn de asymptotische eigenschappen van complexe ML-algoritmen (zoals convergentiesnelheden of consistentie) vaak onbekend of moeilijk af te leiden.

Bestaande literatuur vereist vaak restrictieve aannames (zoals conditionele onafhankelijkheid van de meetfout) of volledige validatiestalen waarin zowel de covariaten $W$, de ware variabele $Z$, als de proxy $\hat{Z}$ gezamenlijk worden geobserveerd. Dergelijke volledige stalen zijn in de praktijk vaak niet beschikbaar.

2. Methodologie

Het paper introduceert een nieuw raamwerk voor partiële identificatie en inferentie dat gebruikmaakt van twee datasets:

1. Een downstream steekproef met geobserveerde covariaten $W$, ongestructureerde input $X$, en de ML-proxy $\hat{Z} = g(X)$.
2. Een auxiliaire validatiesteekproef met gezamenlijke observaties van de ware variabele $Z$ en de proxy $\hat{Z}$ (en eventueel een laag-dimensionale stratificatievariabele $S$ uit $X$).

Kernidee: In plaats van $\hat{Z}$ te behandelen als een ruisbeperkte vervanging voor $Z$, wordt $\hat{Z}$ gezien als een linkvariabele die de twee steekproeven koppelt. De validatiesteekproef leert de gezamenlijke verdeling van $(Z, \hat{Z})$, terwijl de downstream steekproef de verdeling van $(W, \hat{Z})$ biedt.

Identificatiestrategie (Optimal Transport):

• Het paper ontwikkelt een onvoorwaardelijke Optimal Transport (OT) karakterisering. In tegenstelling tot eerdere werken (zoals Fan et al., 2025) die conditionele OT-problemen vereisen (wat computatief zwaar is bij continue of hoog-dimensionale $\hat{Z}$), lost dit paper één enkel onvoorwaardelijk OT-probleem op.
• Dit wordt bereikt door een "decoupling" techniek (gebaseerd op Li and Henry, 2025) waarbij extra kopieën van de overlap-variabelen ($\hat{Z}', S'$) worden geïntroduceerd. De exacte matchingsvoorwaarden ($\hat{Z} = \hat{Z}'$) worden omgezet in momentvoorwaarden.
• De geïdentificeerde set $\Theta_I$ wordt gedefinieerd als de verzameling parameters $\theta$ waarvoor er een gezamenlijke verdeling bestaat die consistent is met de marginaal verdelingen van beide steekproeven en de structurele momentvoorwaarden $E[q(W, Z; \theta)] = 0$.

Inferentieprocedure:

• Om inferentie uit te voeren zonder resampling (zoals bootstrap), gebruikt het paper steekproefsplitting (sample splitting) en cross-fitting.
• De methode benut de Kantorovich-dualiteit van het OT-probleem. Het oneindig-dimensionale probleem wordt benaderd met een sieve-approximatie (een eindig-dimensionale ruimte van basisfuncties).
• De teststatistiek wordt gebaseerd op de maximale waarde van een geconvolueerd doelwit over twee gesplitste steekproeven.
• Kritieke waarden worden direct afgeleid uit de standaardnormale verdeling, gebaseerd op een "least-favorable" bound voor de gezamenlijke verdeling van de cross-fitted statistieken. Dit garandeert asymptotische controle van de grootte (size control) zonder complexe simulaties.

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk voor Data Combinatie: Het paper biedt een alternatief voor bestaande methoden dat geen restrictieve structurele aannames over meetfouten vereist en geen volledige validatiestalen nodig heeft. Het accepteert partiële identificatie als een trade-off voor minder strenge data-eisen.
2. Onvoorwaardelijke OT Karakterisering: Het introduceert een scherp en computatief haalbaar identificatiekarakterisering voor general moment-modellen via onvoorwaardelijke optimal transport, wat een oplossing biedt voor de "curse of dimensionality" bij conditionele OT-methoden.
3. Resampling-vrije Inferentie: De ontwikkeling van een inferentieprocedure die gebruikmaakt van cross-fitting en analytische kritieke waarden, waardoor de methode robuust is en computatief efficiënt blijft, zelfs bij complexe ML-proxy's.
4. Flexibiliteit: Het raamwerk staat toe dat $Z$ en $\hat{Z}$ in verschillende ruimtes liggen (bijv. $Z$ is binair, $\hat{Z}$ is een continue waarschijnlijkheidsscore), en kan meerdere ML-proxy's combineren.

4. Resultaten

• Monte Carlo Simulaties: De simulaties tonen aan dat de voorgestelde cross-fitted test de nominale grootte (size) goed controleert over een breed scala aan scenario's (verschillende steekproefgroottes, niveaus van voorspellingsnauwkeurigheid en asymmetrische steekproefverhoudingen).
• Vergelijking met Naive Methode: De "naive plug-in" F-test faalt dramatisch in het controleren van de grootte, vooral bij matige tot hoge voorspellingsfouten, wat leidt tot ernstige overschatting van significantie.
• Informativiteit: De geïdentificeerde set wordt smaller naarmate de voorspellingsnauwkeurigheid van de ML-proxy toeneemt. In het extreme geval van perfecte voorspelling ($\hat{Z}=Z$) wordt de parameter punt-geïdentificeerd.
• Stratificatie: Het gebruik van een stratificatievariabele $S$ (bijv. gebaseerd op subgroepen met verschillende voorspellingsnauwkeurigheid) kan de geïdentificeerde set verkleinen, zelfs als $S$ de voorspelling zelf niet verbetert, maar wel helpt bij het karakteriseren van de conditionele verdeling.
• Continue vs. Discrete Proxies: Het gebruik van continue proxies (bijv. voorspelde kansen) in plaats van binaire classificaties levert strakkere betrouwbaarheidsintervallen op, omdat meer informatie uit de ongestructureerde data wordt behouden.

4. Betekenis en Implicaties

Dit paper is van groot belang voor de econometrie en de sociale wetenschappen omdat het de weg vrijmaakt voor het veilig gebruik van geavanceerde ML-methoden in economische modellen.

• Voor toegepaste onderzoekers: Het biedt een veilige route om complexe ML-proxy's te gebruiken zonder dat ze zich hoeven te bekommeren om de theoretische consistentie of convergentiesnelheden van het onderliggende ML-algoritme. De geldigheid van de inferentie hangt alleen af van de beschikbaarheid van een validatiesteekproef.
• Voor ML-ontwikkelaars: Het suggereert een nieuwe evaluatiecriterium voor ML-modellen in economische contexten: niet alleen voorspellingsnauwkeurigheid, maar de mate waarin het model economisch relevante informatie uit ongestructureerde data behoudt voor downstream momentvoorwaarden.
• Theoretische bijdrage: Het verenigt optimal transport, partiële identificatie en cross-fitting in een coherent raamwerk dat toepasbaar is op een breed scala aan data-combinatieproblemen.

Samenvattend biedt dit paper een robuuste, theoretisch onderbouwde en computatief haalbare oplossing voor een van de meest dringende uitdagingen in de moderne empirische economie: het integreren van machine-learned maten in causale inferentie.