Technische Samenvatting: proxymate: Diagnose en Aanpassing van Proxy-schattingen voor Betrouwbare Inferentie

Probleemstelling

In wetenschappelijke en industriële omgevingen zijn primaire uitkomsten van belang vaak moeilijk te meten vanwege vertragingen (bijv. lange attributievensters), hoge kosten (bijv. menselijke labeling) of beperkte observeerbaarheid. Praktijkgebruikers vervangen deze vaak door direct beschikbare proxy-uitkomsten (surrogaat-endpoints, kortetermijn-signalen of modelvoorspellingen). Echter, een geldige inferentie op een proxy garandeert geen geldige inferentie op de primaire uitkomst. Op basis van proxies gebaseerde schattingen kunnen lijden onder systematische biases die moeilijk te voorspellen zijn, wat leidt tot onjuist gekalibreerde betrouwbaarheidsintervallen en gebrekkige besluitvorming.

Bestaande literatuur richt zich doorgaans ofwel op aanpassing (het corrigeren van proxy-gebreken) of op validatie (het diagnosticeren van proxy-adequaatheid) in isolatie, en verbindt deze zelden met elkaar. Bovendien gaan de meeste kaders uit van gecontroleerde experimentele settings, waardoor ze minder geschikt zijn voor generieke meetscenario's zoals populatie-niveau schattingen of observationele monitoring. Er is een hardnekkige kloof in het effectief gebruiken van proxy-uitkomsten: een gebrek aan een verenigde diagnostische laag om te bepalen of en welke aanpassing vereist is voordat deze wordt toegepast.

Methodologie: Het proxymate Framework

Het artikel introduceert proxymate, een framework en een open-source Python-pakket dat proxy-validatie en -aanpassing organiseert in vier afzonderlijke niveaus. Elk niveau komt overeen met een specifieke statistische vraag, datastructuur en een set aan diagnostiek en aanpassingen.

1. Representativiteitsniveau (Populatievaliditeit)

• Vraag: Moet de validatiedata worden hergewogen voordat deze wordt gebruikt?
• Context: Validatiedata ($V_k$) met gepaarde primaire ($Y$) en proxy ($Y^*$) observaties kunnen niet-representatief zijn voor de doelpopulatie ($P_k$) door steekproefbias of ontbrekende gegevens.
• Diagnostiek: Controleert op verschillen in de verdeling van covariaten (Standardized Mean Differences, Kolmogorov-Smirnov), stabiliteit van belangheidsgewichten (Effective Sample Size), extremiteit van gewichten en dekking.
• Aanpassingen:
  • Geen gat: Doorgaan zonder correctie.
  • IW-aanpassing: Pas Importance Weighting (IW) toe om de validatiedata te herwegen naar de distributie van de doelpopulatie.
  • Te groot gat: Markeer de validatie als onbetrouwbaar; raad gerichte labelverwerving aan of vernauw de doelpopulatie.

2. Unit-niveau (Meetkwaliteit)

• Vraag: Volgt de proxy de primaire uitkomst op individueel niveau?
• Context: Evalueert de discrepantie tussen $Y_i$ en $Y^*_i$ binnen een historisch domein.
• Diagnostiek:
  • Nauwkeurigheid: Systematische bias (Welch's t-test).
  • Precisie: Ruisniveaus ($R^2$, RMSE, Pearson correlatie).
  • Overeenstemming: Uitlijning met de identiteitslijn (Bland-Altman, Lin's CCC).
  • Kalibratie: Voorspelde waarschijnlijkheden versus geobserveerde frequenties (ECE, Brier score).
  • Discriminatie: Rangschikkingsvermogen (ROC AUC, Kendall's $\tau$).
  • Distributionele getrouwheid: Matching van marginale distributies (KS-test, TV distance).
• Aanpassingen:
  • Systematische bias: Additieve bias-aanpassing.
  • Miscalibratie: Platt scaling, Isotonic regression, of Multicalibration (MCGrad).
  • Slechte discriminatie: Proxy-vervanging of modelhertraining (kan niet post-hoc worden gecorrigeerd).

3. Schattingsniveau (Beslissingsgeldigheid)

• Vraag: Leidt de proxy tot dezelfde geaggregeerde conclusie als de primaire uitkomst binnen een enkel domein?
• Context: Beoordeelt betrouwbaarheid voor geaggregeerde inferentie (punt-schattingen en betrouwbaarheidsintervallen). Individuele fouten kunnen onvoorspelbaar cumuleren of elkaar opheffen.
• Diagnostiek: Geaggregeerde bias (Relative Absolute Error), inferentiële validiteit (CI-dekking) en tekenovereenstemming.
• Aanpassingen:
  • Geaggregeerde bias: Prediction-Powered Inference (PPI) corrigeert de proxy-schatting met behulp van validatiedata: $\hat{\theta}_{PPI} = \hat{\theta}^*_{all} + (\hat{\theta}_V - \hat{\theta}^*_V)$.
  • CI Miscalibratie: PPI-betrouwbaarheidsintervallen houden expliciet rekening met de onzekerheid van de bias-correctie.
  • Geen bias: Geen aanpassing nodig (Theorema 1 merkt op dat het toepassen van PPI op een reeds adequate proxy de MSE strikt verhoogt).

4. Domeinniveau (Cross-Domain Transporteerbaarheid)

• Vraag: Houdt de relatie tussen proxy en primaire uitkomst stand over vele domeinen?
• Context: Test de stabiliteit van de proxy-primaire bias ($\phi_k$) over historische domeinen ($k=1, \dots, K-1$) om transporteerbaarheid naar een doel-domein ($K$) te waarborgen.
• Diagnostiek: Geaggregeerde associatie ($R^2$), heterogeniteit (Cochran's $Q$, $I^2$, $\tau^2$) en voorspellingsnauwkeurigheid (Leave-One-Out MSE).
• Aanpassingen:
  • Systematische Cross-Domain Bias: Regression Calibration past een lineaire mapping toe ($\hat{\theta}_{cal} = \hat{\gamma}_0 + \hat{\gamma}_1 \hat{\theta}^*$) over historische domeinen.
  • Residuele Bias: Estimate-level aanpassing modelleert residuele bias als een random effect.
  • Hoge Heterogeniteit: Verbreed de voorspellingsintervallen; puntvoorspelling wordt als onbetrouwbaar beschouwd.

Belangrijkste Bijdragen

De auteurs identificeren vier primaire bijdragen:

1. Een Vier-Niveaus Validatieframework: Het organiseren van proxy-validatie in de niveaus Representativiteit, Unit, Schatting en Domein, waarbij wordt gewaarborgd dat specifieke statistische vragen worden beantwoord met passende diagnostiek.
2. Een Theoretische Diagnostiek-naar-Aanpassing Brug: Het mappen van specifieke faalmodi aan gerichte aanpassingen waarvan de assumpties worden voldaan, waardoor de kloof tussen diagnose en productie-correctie formeel wordt gedicht.
3. Empirische Toepassing op Schaal: Het demonstreren van de waarde van het framework via meerdere productie-toepassingen bij Meta, waarbij proxy-fouten worden geïdentificeerd, kandidaten worden geselecteerd en aanpassingen worden gestuurd.
4. Een Open-Source Pakket: Een modulaire Python-bibliotheek die validatiecontroles, configureerbare planners, aangepaste estimators en gestructureerde rapportages biedt.

Resultaten en Toepassingen bij Meta

Het framework werd toegepast op zes productie-use cases bij Meta, variërend van experimentatie en prevalentie-monitoring tot ML-modeltraining. Deze toepassingen pakten vier primaire knelpunten aan: lange maturatievensters, beperkte meting, lage detecteerbaarheid en lage sensitiviteit.

• Casestudy A (Niet-betaling Voorspelling): Valideerde een ML-model dat 60-dagen niet-betalingsuitkomsten voorspelt. Hoewel de precisie op unit-niveau faalde (verwacht bij zware staarten in omzet), vertoonde de proxy een sterke geaggregeerde associatie ($R^2=0.82$) en directionele uitlijning over 22 experimenten. De proxy werd goedgekeurd voor directionele besluitvorming (go/no-go), maar niet voor precieze magnitude-schatting, wat ongeveer 300 jaarlijkse experimenten mogelijk maakte.
• Casestudy B (Scam Prevalentie): Evalueerde proxy's voor scam-detectie tegenover menselijke labels. Het Representativiteitsniveau signaleerde een ernstig datakwaliteitsprobleem (lage Effective Sample Size door oververtegenwoordiging van gemarkeerde content). Na herweging faalde alle kandidaat-proxy op het Unit-niveau (lage sensitiviteit op de bredere populatie). Bijgevolg werden alle proxy's afgekeurd, wat de inzet van een vertekend personalisatiemodel voorkwam en de ontwikkeling richting een ensemble-aanpak stuurde.

Totale Impact:

• Gevalideerde proxy's maakten jaarlijks circa 7.500 experimenten mogelijk over vier werkstromen.
• In twee gevallen slaagde het framework erin om vertekende proxy's af te wijzen, wat downstream schade voorkwam.
• Miljoenen proxy-primaire unit-vergelijkingen werden beoordeeld en gecorrigeerd.

Betekenis en Claims

Het artikel beweert dat proxymate een kritieke praktische kloof vult door een verenigde "diagnose-dan-corrigeer" workflow te bieden. De betekenis ligt in:

• Voorkomen van Blinde Aanpassing: Door een diagnostische laag af te dwingen, voorkomt het de toepassing van aanpassingen (zoals PPI) wanneer deze onverdedigbaar zijn of wanneer de onderliggende data niet-representatief is, wat anders de Mean Squared Error (MSE) zou kunnen verhogen of de bias zou kunnen versterken.
• Modulariteit en Generaliseerbaarheid: Het framework is uniform toepasbaar op A/B-surrogaten, prevalentie-classifiers en monitoring-proxy's, ongeacht het specifieke domein.
• Productie-gereedheid: Het gaat verder dan theoretische methodologie en vormt een ingezet systeem dat real-world dataconstructies afhandelt (ontbrekende gegevens, covariate shift, lange maturatie) en integreert met bestaande experimentatie-stacks.

De auteurs blijven bescheiden en merken op dat het framework statistische overeenstemming valideert in plaats van causale mechanismen, en momenteel één proxy tegen één primaire uitkomst tegelijk valideert. Toekomstig werk omvat sequentiële validatie en geautomatiseerde proxy-selectie.