Estimate Level Adjustment For Inference With Proxies Under Random Distribution Shifts

Technische Samenvatting: Aanpassing van het Schattingsniveau voor Inferentie met Proxies onder Willekeurige Distributieveranderingen

Probleemstelling
In wetenschappelijk en industrieel experimenteel onderzoek vertrouwen onderzoekers vaak op proxy-uitkomsten (bijvoorbeeld korte-termijnmetrieken, surrogaateindpunten of modelvoorspellingen) om inferenties te trekken over primaire uitkomsten die moeilijk, duur of vertraagd te meten zijn. Hoewel proxies snellere besluitvorming mogelijk maken, gaan statistische garanties die uit proxy-gegevens zijn afgeleid (zoals onbevooroordeeldheid of geldige betrouwbaarheidsintervallen) niet automatisch over op de primaire schattingsgrootheid.

Bestaande methoden voor het corrigeren van proxy-bias, zoals aannames over surrogaatrelaties, aanpassingen voor covariaatverschuiving of inferentie met voorspellingskracht (PPI), vertrouwen op strikte identificerende aannames. Deze aannames zijn vaak moeilijk te valideren en kunnen worden geschonden door onwaargenomen distributieveranderingen (bijvoorbeeld conceptdrift). Wanneer dergelijke aannames falen, kunnen op proxies gebaseerde betrouwbaarheidsintervallen systematisch verkeerd gekalibreerd zijn, wat leidt tot bevooroordeelde parameterschattingen en onderdekking van de ware primaire parameter. Een kritieke praktische beperking is dat individuele historische gegevens die nodig zijn om deze modellen opnieuw te fitten of opnieuw te kalibreren, vaak niet beschikbaar zijn; doorgaans worden alleen aggregaatmetriekschattingen en onzekerheidssamenvattingen bewaard.

Methodologie
De auteurs stellen een generiek raamwerk op schattingsniveau voor om proxy-gebaseerde inferentie empirisch te kalibreren zonder individuele historische gegevens te vereisen. De kernbenadering behandelt de residuale bias tussen de proxy en de primaire metriek als een latente willekeurige variabele.

1. Latente-Biasmodel:
   De methode neemt aan dat over $K$ domeinen (waarbij $K-1$ historische trainingsdomeinen zijn en $K$ het doeldomein is), de discrepantie tussen de proxy-schatter ($\hat{\theta}^*_k$) en de primaire schatter ($\hat{\theta}_k$) een additief Gaussisch biasmodel volgt:
   $$\phi_k := \theta^*_k - \theta_k \sim N(\rho, \gamma^2)$$
   Hierbij vertegenwoordigt $\rho$ de gemiddelde bias en $\gamma^2$ de variantie van de bias tussen domeinen. Deze formulering stelt de methode in staat om de verdeling van residuale proxy-bias te modelleren met uitsluitend historische aggregaat-schattingen en hun covariantiestructuren.

2. Schatting via Momentenmethode:
   Met behulp van historische domeinen definiëren de auteurs het verschil binnen het domein $d_k = \hat{\theta}^*_k - \hat{\theta}_k$. Zij leiden een momentenmethode-schatter af voor de parameters van de biasverdeling $(\rho, \gamma^2)$:

   • $\hat{\rho} = \frac{1}{K-1} \sum d_k$
   • $\hat{\gamma}^2 = \frac{1}{K-1} \sum (d_k - \hat{d})^2 - \frac{1}{K-1} \sum \tilde{\sigma}^2_k$
     waarbij $\tilde{\sigma}^2_k$ de geschatte variantie van het verschil $d_k$ is. De schatting $\hat{\gamma}^2$ wordt bij nul afgekapt om ruis in eindige steekproeven te hanteren.

3. Inferentie en Aanpassing:

   • Grote $K$ (Plug-in): Wanneer het aantal historische domeinen groot is, worden de geschatte biasparameters als bekend behandeld. De methode construeert een Wald-stijl betrouwbaarheidsinterval voor de primaire doelmetriek $\theta_K$ door het interval te centreren rond de bevooroordeelde schatting $(\hat{\theta}^*_K - \hat{\rho})$ en de variantie te verhogen om de geschatte variantie van de bias tussen domeinen ($\hat{\gamma}^2$) op te nemen.
   • Kleine $K$ (Domein-bootstrap): Wanneer het aantal historische domeinen beperkt is, kan de onzekerheid in $(\hat{\rho}, \hat{\gamma}^2)$ de dekking beïnvloeden. De auteurs stellen een domein-bootstrapprocedure voor die historische domeinen hersampleert om deze onzekerheid te propageren, waardoor een empirische verdeling voor de doelparameter wordt gegenereerd.

4. Evaluatieprotocol:
   Het artikel introduceert een "Leave-One-Domain-Out" (LOO)-diagnostiek om de kalibratie van intervallen te evalueren. Door elk historisch domein als doel te behandelen (door de primaire uitkomst te verbergen) en te controleren of het aangepaste proxy-interval overlapt met het ware primaire interval, biedt de methode een conservatieve, waarneembare proxy voor niet-foutkalibratie.

Belangrijkste Bijdragen

1. Generiek Raamwerk voor Proxy-Bias: Het artikel formaliseert de bias inherent aan proxy-schatters als een probleem met latente variabelen, waarbij gezamenlijke normaliteit van steekproefverdelingen wordt aangenomen. Dit maakt het mogelijk om residuale bias te karakteriseren zonder strikte identificerende aannames.
2. Schaalbaar Aanpassingsproces: De auteurs introduceren een gesloten-vorm momentenmethode-schatter en een domein-bootstrapprocedure die uitsluitend vertrouwen op historische aggregaat-schattingen. Dit maakt schaalbare implementatie mogelijk in situaties waarin individuele gegevens niet beschikbaar zijn.
3. Selectieve Inflatie en Empirische Validatie: De methode fungeert als een post-processing-stap die betrouwbaarheidsintervallen selectief inflatieert, alleen wanneer historische diagnostiek onderdekking aangeeft. Uitgebreide simulaties en toepassingen in de echte wereld tonen aan dat deze benadering de kalibratie en dekking verbetert over verschillende proxy-procedures en distributieveranderingen.

Resultaten

• Simulaties: In multi-domein-simulaties met covariaatverschuiving en conceptdrift onderdekten ongecorrigeerde proxy-schatters consequent. Hoewel standaardcorrecties (zoals gewogen PPI) de kalibratie in stabiele situaties verbeterden, verslechterden ze onder sterke conceptdrift. De voorgestelde willekeurige-biasaanpassing stabiliseerde de dekking over alle driftniveaus. Opmerkelijk is dat voor schatters met hoge residuale bias de intervallengte plateauerde naarmate de steekproefomvang toenam, wat correct weerspiegelt dat de onzekerheid werd gedomineerd door bias tussen domeinen in plaats van steekproefruis.
• Toepassingen in de Echte Wereld:
  • Civil Comments Dataset: Bij het schatten van de prevalentie van giftige opmerkingen over webpublicaties, verhoogden de aangepaste proxy-intervallen de overlaprate met ware primaire intervallen van 0,64 naar 0,96 (bij $\alpha=0,05$), met een overeenkomstige toename van de genormaliseerde intervallengte van 0,5 naar 1,3.
  • Lange-termijnexperimenten: Bij het schatten van gemiddelde behandelingseffecten (ATE) met modelvoorspelde proxies, verhoogde de aanpassing de overlaprate van 0,68 naar 1,0. De methode inflatieerde effectief de onzekerheid in experimenten waar de residuale bias groot was ten opzichte van de steekproefvariabiliteit.

Betekenis en Claims
Het artikel claimt een praktische, modulaire oplossing te bieden om de betrouwbaarheid van proxy-gebaseerde inferentie te verbeteren bij afwezigheid van individuele historische gegevens. Door residuale bias te modelleren als een willekeurig effect, biedt de methode een "veiligheidsnet" dat corrigeert voor schendingen van standaard identificerende aannames (zoals covariaatverschuiving of surrogaatrelaties).

De auteurs benadrukken dat deze benadering de proxy-schatter zelf niet verbetert, maar wel de onzekerheidskwantificatie die ermee gepaard gaat. Het is ontworpen om bovenop bestaande correctiemethoden (zoals PPI of importance weighting) te worden gelegd. De betekenis ligt in het vermogen om vals-positieven van overtuigende proxy-inferentie te voorkomen, waardoor veiligere en strengere besluitvorming mogelijk wordt in grootschalig experimenteel onderzoek en wetenschappelijke domeinen waar primaire uitkomsten vertraagd of niet waarneembaar zijn. De auteurs merken bescheiden op dat de effectiviteit van de methode afhangt van de informativiteit van historische domeinen en dat de Gaussische biasaanname een werkende benadering is die rijkere modellen kan vereisen voor complexe biaspatronen.