📈 economics

Partial Identification under Missing Data Using Weak Shadow Variables from Pretrained Models

Dit artikel stelt een raamwerk voor voor partiële identificatie dat uitkomstvoorspellingen van vooraf getrainde modellen gebruikt als "zwakke schaduwvariabelen" om scherpe grenzen af te leiden voor populatiegrootheden onder missing not at random (MNAR) data, waarbij een significante intervalreductie en geldige dekking wordt bereikt zonder de sterke aannames of volledigheidsvoorwaarden van klassieke methoden te vereisen.

Oorspronkelijke auteurs: Hongyu Chen, David Simchi-Levi, Ruoxuan Xiong

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongyu Chen, David Simchi-Levi, Ruoxuan Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de gemiddelde tevredenheid te achterhalen van alle klanten die een klantenservice-chatbot hebben gebruikt. Je hebt een lijst met gesprekken, maar hier komt de adder onder het gras: slechts een deel van de mensen heeft een beoordeling achtergelaten.

In de echte wereld zijn het vaak de mensen die extreem blij of extreem boos zijn, die het meest geneigd zijn om een recensie achter te laten. Mensen die een "mwah"-ervaring hadden, sluiten meestal gewoon de chat en lopen weg. Dit creëert een probleem: als je alleen het gemiddelde berekent van de beoordelingen die je wel hebt, krijg je een vertekend resultaat. Het is alsof je probeert de gemiddelde lengte van iedereen in een stad te raden door alleen de mensen te meten die op een basketbalteam staan (te lang) en de mensen die bij een turnclub zitten (te kort), terwijl je de rest negeert.

Dit is wat statistici Missing Not At Random (MNAR) noemen. De data ontbreken vanwege het antwoord zelf.

De Oude Manier vs. De Nieuwe Manier

De Oude Manier (Het "Gokspel"):
Traditioneel moesten onderzoekers, om dit op te lossen, enorme, riskante gokken doen. Ze zeiden bijvoorbeeld: "Ik neem aan dat de ontbrekende mensen precies lijken op de gelukkigen," of "Ik neem aan dat de ontbrekende mensen precies lijken op de boze." Als hun gok fout was, was hun uiteindelijke antwoord ook volledig fout. Het is alsof je probeert een puzzel op te lossen waarbij de helft van de stukjes ontbreekt en je gewoon gokt hoe de afbeelding eruitziet.

De Nieuwe Manier (De "Veilige Zone"):
Dit paper stelt een slimmere aanpak voor genaamd Partial Identification (gedeeltelijke identificatie). In plaats van één getal te raden, berekenen ze een Veilige Zone (een bereik).

Voorbeeld: In plaats van te zeggen "De gemiddelde tevredenheid is 4,2," zeggen ze: "We weten zeker dat het gemiddelde tussen de 3,8 en 4,6 ligt."
Dit bereik bevat wiskundig gezien gegarandeerd het ware antwoord, ongeacht hoe de ontbrekende data verdeeld is, zolang we ons aan onze regels houden.

Het Geheimwapen: De "Zwakke Schaduw"

De auteurs realiseerden zich dat we, zelfs als we de beoordeling niet hebben, vaak nog andere informatie hebben over het gesprek. Misschien hebben we het chattranscript, de tijd van de dag, of het type probleem waar de gebruiker tegenaan liep.

Ze gebruiken hiervoor Large Language Models (LLMs) (zoals de AI waarmee je nu praat) om deze transcripten te lezen en een "voorspelling" te geven van wat de beoordeling misschien geweest zou kunnen zijn.

Echter, ze weten dat AI niet perfect is. De AI kan er net naast zitten. Daarom behandelen ze de voorspelling van de AI niet als een "waarheidspreker". In plaats daarvan behandelen ze het als een Zwakke Schaduwvariabele.

De Analogie: Het Silhouet
Stel je voor dat je in een donkere kamer bent en je het object (de ware beoordeling) niet kunt zien. Maar je hebt een zaklamp (de AI) die een schaduw op de muur werpt.

De schaduw is niet het object zelf.
De schaduw kan een beetje wazig of vervormd zijn.
Maar, de schaduw moet wel consistent zijn met het object. Als het object een hoge vaas is, kan de schaduw er niet uitzien als een platte pannenkoek.

De methode uit het paper gebruikt deze "schaduw" om de mogelijkheden in te perken. Zelfs als de schaduw wazig is, vertelt het ons: "Het object is zeker niet zo klein, en het is zeker niet zo groot." Dit stelt hen in staat om de "Veilige Zone" aanzienlijk te verkleinen zonder dat ze het exacte antwoord hoeven te weten.

Hoe Ze Het Werkend Krijgen (De "Zachte" Wiskunde)

Meestal, wanneer je deze schaduwen in de wiskunde probeert te gebruiken, zorgen rommelige data of een kleine steekproef ervoor dat de vergelijkingen vastlopen en je "Geen Oplossing" krijgt.

De auteurs hebben een Local Penalized Estimator uitgevonden.

Analogie: Stel je voor dat je probeert een stapel blokken te balanceren op een wiebelige tafel. Als je ze perfect probeert te balanceren (exacte wiskunde), zorgt één kleine schok ervoor dat ze allemaal omvallen.
Hun Oplossing: Ze leggen een beetje "plakkerige lijm" (een penalty) onder de blokken. Hierdoor kan de stapel een beetje wiebelen zonder om te vallen. Dit zorgt ervoor dat ze altijd een resultaat krijgen, zelfs met rommelige, kleine data.

Ze gebruiken ook een speciale techniek genaamd Subsampling (het nemen van vele kleine stukjes van de data) om een betrouwbaarheidsinterval te creëren. Dit is als het testen van de stabiliteit van de stapel door met kleine, willekeurige schokjes te testen in plaats van met één grote schok, om ervoor te zorgen dat hun "Veilige Zone" statistisch betrouwbaar is.

Wat Ze Hebben Gevonden (De Resultaten)

Ze hebben dit getest op echte klantenservice-chats:

De AI-schaduwen werken: Zelfs eenvoudige AI-voorspellingen (zoals "Is het probleem van de gebruiker opgelost? Ja/Nee") fungeerden als uitstekende schaduwen.
Kleinere Zones: Door deze AI-schaduwen te gebruiken, waren ze in staat de "Veilige Zone" met 83% te verkleinen.
- Zonder AI: "Het gemiddelde ligt ergens tussen de 1 en 5." (Niet erg nuttig).
- Met AI: "Het gemiddelde ligt ergens tussen de 3,8 en 4,2." (Veel nuttiger!).
Beter dan Oude Methoden: Hun methode was nauwkeuriger en robuuster dan traditionele gokmethoden (zoals het Heckman-model), zelfs wanneer de AI-voorspellingen niet perfect waren.

De Kernboodschap

Dit paper geeft ons een hulpmiddel om om te gaan met ontbrekende data zonder gevaarlijke aannames te doen. Door AI te gebruiken om "zwakke schaduwen" van de ontbrekende antwoorden te werpen, kunnen we de waarheid inkaderen tot een veel nauwkeuriger, betrouwbaarder bereik. Het verandert een "wilde gok" in een "berekende, veilige weddenschap."

Technische Samenvatting: Het gebruik van LLM's voor Missing-not-at-Random uitkomsten: Een benadering met zwakke schaduwvariabelen

1. Probleemstelling

Het artikel behandelt de uitdaging van het schatten van populatiegrootheden, specifiek het gemiddelde van een uitkomst $\theta = E[Y]$ , wanneer data Missing Not at Random (MNAR) zijn. In veel digitale en sociale wetenschappelijke contexten (bijv. gebruikersfeedback, klantenservicebeoordelingen) hangt de waarschijnlijkheid dat een uitkomst wordt waargenomen af van de onwaargenomen waarde zelf. Bijvoorbeeld: gebruikers met extreme meningen zijn eerder geneigd feedback achter te laten dan gebruikers met gematigde ervaringen.

Onder MNAR zijn standaard schatters die uitsluitend gebaseerd zijn op geobserveerde data vertekend (biased), en is het populatiegemiddelde niet punt-identificeerbaar zonder sterke, vaak onverifieerbare parametrische aannames (bijv. Heckman-selectiemodellen) of restrictieve hulpvariabele-condities (bijv. klassieke schaduwvariabelen die volledigheid vereisen). De auteurs stellen een kader voor partiële identificatie voor om de scherpe grenzen (bounds) van de estimand te karakteriseren onder minimale aannames, terwijl ze tegelijkertijd gebruikmaken van moderne machine learning-voorspellingen om deze grenzen te verfijnen.

2. Methodologie

2.1. Partiële identificatie via Lineair Programmeren (LP)
De auteurs stellen eerst een basiskader vast voor het identificeren van de scherpe grenzen van het gemiddelde van de uitkomst zonder hulpinformatie.

Decompositie: Het populatiegemiddelde wordt gedecomposeerd in geobserveerde gezamenlijke waarschijnlijkheden $\alpha(y) = P(Y=y, R=1)$ en onwaargenomen respons-waarschijnlijkheden $\pi(y) = P(R=1|Y=y)$ .
Toelaatbare verzameling: Omdat $\pi(y)$ onbekend is, definiëren de auteurs een toelaatbare verzameling van waarschijnlijkheidsverdelingen die consistent zijn met de geobserveerde data.
LP-formulering: Het probleem van het vinden van de scherpe onder- en bovengrenzen ( $\theta_{min}, \theta_{max}$ ) wordt geherformuleerd als een paar lineaire programma's. De objectieffunctie vertegenwoordigt het gemiddelde, en de restricties coderen de probabilistische structuur van de geobserveerde data. Zonder hulpvariabelen worden deze grenzen analytisch afgeleid en schalen ze lineair met de waarschijnlijkheid van ontbrekende data.

2.2. Zwakke Schaduwvariabelen
Om de identificatiegrenzen te verfijnen, introduceren de auteurs zwakke schaduwvariabelen ( $F$ ), zoals voorspellingen van Large Language Models (LLM's).

Definitie: Een variabele $F$ is een zwakke schaduwvariabele als deze voldoet aan een exclusie-restrictie: $F \perp\!\!\!\perp R \mid Y, X$ . Dat wil zeggen, geconditioneerd op de ware uitkomst $Y$ en covariaten $X$ , biedt de schaduwvariabele geen aanvullende informatie over het mechanisme van de ontbrekende data.
Verzachting van Volledigheid: In tegenstelling tot klassieke schaduwvariabele-methoden, vereist deze benadering geen volledigheidsconditie (die eist dat $F$ de verdeling van $Y$ volledig identificeert). Dit maakt het gebruik van imperfecte voorspellers (zoals LLM's) mogelijk die slechts zwak correleren met de uitkomst.
Verfijnde LP: De inclusie van $F$ introduceert extra lineaire restricties in de LP-formulering. De scherpe identificatieregio is de intersectie van de toelaatbare verzamelingen die door deze restricties worden gedefinieerd. Als de schaduwvariabele voldoende informatief is (voldoet aan een rangconditie), klappen de grenzen in tot één enkel punt (punt-identificatie); anders blijven ze een vernauwde interval.

2.3. Eindsample-schatting en Inferentie
Directe plug-in schatters voor de LP-grenzen zijn problematisch in eindsamples vanwege potentiële onhaalbaarheid (sample-restricties kunnen inconsistent zijn) en niet-gladheid (kleine veranderingen in schattingen kunnen actieve restricties wijzigen).

Gelokaliseerde Gepenaliseerde Schatter: De auteurs stellen een gelokaliseerde gepenaliseerde lineair programma voor. Deze methode verzacht de gelijkheidsrestricties door een $L_1$ -penalty term toe te voegen ( $K\|Aw - \beta\|_1$ ) en beperkt de beslissingsvariabelen tot een begrensde box $[0, K]$ . Dit garandeert haalbaarheid en Lipschitz-continuïteit van de waardefunctie.
Data-gestuurde Tuning: Een data-gestuurd algoritme selecteert de lokalisatieradius $K$ door een "certificeringskloof" (certification gap) te minimaliseren, wat ervoor zorgt dat de schatter consistent is met de populatietarget terwijl onnodige variantie wordt vermeden.
Subsampling Inferentie: Omdat de LP-waardefunctie niet-glad is (door mogelijke meerdere optimale oplossingen), falen standaard bootstrap-methoden. De auteurs stellen een subsample bootstrap (Politis en Romano, 1994) voor om geldige betrouwbaarheidsintervallen te construeren voor de eindpunten van de identificatieregio. Deze methode houdt rekening met het "optimizer-switching" gedrag dat inherent is aan de LP.

2.4. Gevoeligheidsanalyse
Het kader bevat een gevoeligheidsanalyse (Aanname 2) om de robuustheid tegen schendingen van de exclusie-restrictie te kwantificeren. Door een gevoeligheidsparameter $\rho$ te introduceren, staan de auteurs toe dat de voorwaardelijke onafhankelijkheidsaanname benaderend standhoudt, waardoor de identificatieregio monotoon uitzet naarmate $\rho$ toeneemt.

3. Belangrijkste Bijdragen

Nieuw LP-kader: Het artikel introduceert een lineair programmeringskader voor partiële identificatie onder MNAR dat settings met en zonder hulpvoorspellingen verenigt. Het biedt gesloten vorm oplossingen voor de basisgevallen en analytische resultaten voor hoe hulp-signalen de grenzen verfijnen.
Zwakke Schaduwvariabelen: De auteurs generaliseren de schaduwvariabele-benadering door de volledigheidsconditie te versoepelen. Dit maakt het gebruik van "imperfecte" hulp-signalen (bijv. LLM-voorspellingen) mogelijk die aan de exclusie-restrictie voldoen maar op zichzelf wellicht geen punt-identificatie opleveren.
Robuuste Schatting en Inferentie: Het artikel ontwikkelt een haalbare eindsample-schatter met behulp van gelokaliseerde penalitatie en stelt een op subsampling gebaseerde inferentieprocedure vast. Deze benadering garandeert $\sqrt{n}$ convergentiesnelheden en geldige betrouwbaarheidsregio's, zelfs wanneer de onderliggende LP meerdere oplossingen heeft of wanneer standaard bootstrap-methoden falen.

4. Experimentele Resultaten

De auteurs evalueren de methode via simulaties en semi-synthetische experimenten met echte klantenservice-dialoogdata (USS dataset).

Simulaties:
- De gelokaliseerde gepenaliseerde schatter bereikt de parametrische $\sqrt{n}$ convergentiesnelheid.
- De data-gestuurde selector voor de lokalisatieradius $K$ herstelt consequent de optimale populatieradius.
- Subsampling inferentie benadert correct de niet-Gaussiaanse limietverdeling van de schatter, terwijl standaard bootstrap-methoden significante bias en incorrecte dekking vertonen (bijv. 82% vs. 90% target).
Semi-synthetische Experimenten (LLM-gebaseerde Schaduwvariabelen):
- Prompt Design: De studie test verschillende LLM-promptstrategieën (Digital Twin, Generic User, Service Auditor) om schaduwvariabelen te genereren. De resultaten wijzen uit dat gedepersonaliseerde, taakgerichte prompts (bijv. "Service Auditor" die "Goal Completion" evalueert) de beste balans bieden tussen relevantie (correlatie met $Y$ ) en onafhankelijkheid (voldoen aan de exclusie-restrictie).
- Prestaties: Het integreren van LLM-gebaseerde zwakke schaduwvariabelen verminderde de breedte van de identificatie-intervallen met 83% vergeleken met de baseline LP zonder schaduwvariabelen.
- Vergelijking: De voorgestelde methode (gebruikmakend van het middelpunt van het schaduwvariabele-interval) bereikte een gemiddelde absolute fout van 0.06, wat aanzienlijk beter presteert dan klassieke MNAR-baselines zoals Complete Case Analysis (CCA), Naive Imputation, Heckman Selection Models en Pattern-Mixture modellen. Wat betreft de set-schatting (Hausdorff-afstand tot de waarheid), verminderde de schaduwvariabele-methode de afstand van 1.07 (geaggregeerde LP) naar 0.18.

5. Betekenis en Claims

Het artikel claimt dat het kader een robuust en hanteerbaar alternatief biedt voor traditionele MNAR-methoden.

Robuustheid: Door een perspectief van partiële identificatie te adopteren, vermijdt de methode de risico's van model-misspecificatie die inherent zijn aan parametrische selectiemodellen.
Praktische bruikbaarheid: Het maakt gebruik van de groeiende beschikbaarheid van LLM's als hulp-signalen zonder dat deze perfecte voorspellers hoeven te zijn. Het "zwakke" karakter van de schaduwvariabele-aanname maakt deze meer plausibel in de praktijk dan de strikte volledigheidscondities van klassieke methoden.
Geldigheid: De voorgestelde inferentieprocedure biedt geldige dekking-garanties voor de identificatieregio, waarmee de statistische uitdagingen van de niet-gladde aard van LP-schatters worden geadresseerd.

De auteurs concluderen dat zelfs eenvoudige binaire of laag-dimensionale LLM-voorspellingen de identificatiegrenzen aanzienlijk kunnen verfijnen, wat deze benadering zeer waardevol maakt voor platformevaluatie en sociaal-wetenschappelijk onderzoek waar feedback systematisch ontbreekt.