Technische Samenvatting: Bias-Bewuste Externe-Model-Geassisteerde Inferentie in Hoogdimensionale Regressie

Probleemstelling

Moderne statistische praktijk wordt vaak geconfronteerd met een asymmetrie van informatie: overvloedige covariaten zijn beschikbaar, maar gouden standaard gelabelde responsen zijn schaars vanwege de kosten van deskundige annotatie of experimentatie. Tegelijkertijd kunnen machine-learned voorspellers (vaak transfer-learned of foundation models) ontbrekende responsen goedkoop maar imperfect imputeren. De inferentiële uitdaging is om deze overvloedige ongelabelde covariaten en externe voorspellers te benutten om conclusies over doelparameters aan te scherpen zonder de bias van de voorspeller over te nemen.

Bestaande kaders, zoals Prediction-Powered Inference (PPI) en de kracht-getunede variant PPI++, proberen de output van de voorspeller te corrigeren met behulp van een "rectifier" die geschat wordt op de kleine gelabelde steekproef. Echter, dit artikel identificeert een structurele zwakte in PPI voor lineaire regressie: wanneer zowel het werkmodel als de voorspeller lineair zijn, heft de rectifier de bijdrage van de voorspeller exact op. Gevolgelijk reduceren PPI en PPI++ tot gewone kleinste kwadraten (OLS) op de gelabelde data alleen, ongeacht de kwaliteit van de voorspeller. Bovendien, als de voorspeller geschat is en dicht bij de oracle-functie ligt, kan de rectifier ruis injecteren, waardoor de variantie boven de vloer van de gelabelde data alleen wordt opgeblazen. Echte efficiëntiewinst in hoogdimensionale settings moet daarom voortkomen uit een ander mechanisme dan predictie-rectificatie.

Methodologie: De DEAL-schatter

De auteurs stellen de Debiased External-model-Assisted Lasso (DEAL) voor, een vierstaps procedure die is ontworig om efficiëntie te extraheren uit de ongelabelde design door middel van de variantie van een debiased schatter in plaats van door een predictie-rectifier.

1. Bias-Bewuste Initialisatie:
   De procedure begint met een externe schatter $\hat{\beta}_{ext}$ (potentieel uit transfer learning). In plaats van deze schatter direct te gebruiken, construeert DEAL een "één-stap correctie" $C$ gebaseerd op de gelabelde data. Een datagedreven shrinkages-niveau $\hat{t} \in [0, 1]$ wordt geschat met behulp van een aparte tuning-subsample. Deze shrinkage behandelt de correctie als een ruizige observatie van een onbekende bias-vector. De initializer wordt gevormd als $\tilde{\beta}_{init} = \hat{\beta}_{ext} + \hat{t}C$.

   • Als de externe schatter niet-informatief is, $\hat{t} \to 0$, wat terugvalt op een target-only benadering.
   • Als de estimator nabij-oracle is, $\hat{t} \to 0$ (het uitschakelen van de correctie om ruisinjectie te voorkomen).
   • Als de estimator gebiased maar informatief is, $\hat{t} \to 1$, waarbij de correctie wordt benut.

2. Pseudo-Label Imputatie:
   Met behulp van de initializer $\tilde{\beta}_{init}$ worden pseudo-labels $\tilde{f} = \tilde{X}\tilde{\beta}_{init}$ geïmputeerd voor de ongelabelde covariaten $\tilde{X}$.

3. Stacked Lasso:
   Een Lasso-estimator wordt gefit op de gestapelde dataset bestaande uit de oorspronkelijke gelabelde data $(X_0, y_0)$ en de pseudo-gelabelde data $(\tilde{X}, \tilde{f})$. Deze stap benut de vergrote steekproefomvang ($n_0 + N$) om een scherpere initiële fit en een stabielere precisie-matrix schatting te bereiken.

4. Definitieve Debiasing:
   Een standaard debiasing stap wordt toegepast op de gestapelde Lasso-estimator met behulp van een benaderde inverse covariantie-matrix (geconstrueerd via Javanmard-Montanari of nodewise Lasso methoden). Dit herstelt de asymptotische normaliteit en geldige betrouwbaarheidsintervallen.

Kernadaptaties:

• Variantie-Balans Regel: De omvang van de ongelabelde steekproef $N$ is niet vastgesteld maar wordt gekozen uit de data om de reductie in leidende ruis-variantie te balanceren tegen de introductie van residuele bias-variantie.
• Afhandeling van Covariate Shift: Een eenzijdige substitutieregel voor de debiasing-matrix wordt geïntroduceerd om dekking te herstellen wanneer de ongelabelde covariantendistributie meer verspreid is dan de target (covariate shift).
• Niet-Lineaire Labelers: Het kader breidt zich uit naar niet-lineaire labelers door de voorspeller te lineariseren op een auxiliary sample getrokken uit de target marginal, zodat de bias-bewuste stap geldig blijft onder model-misspecificatie.

Belangrijkste Bijdragen en Theoretische Resultaten

1. Structurele Beperking van PPI: Het artikel bewijst (Propositie 1) dat onder een correct gespecificeerd lineair model, de PPI-rectifier de bijdrage van de voorspeller annihileert, waardoor PPI reduceert tot gelabelde-alleen OLS. Dit vestigt dat efficiëntie niet uit de rectifier-gemiddelde kan komen in lineaire settings.
2. Efficiëntie van de Variantie-Kanaal: DEAL stuurt de ongelabelde covariaten naar de variantie van de debiased estimator. Theoretische analyse toont aan dat onder een lineaire labeler, DEAL een strikt korter betrouwbaarheidsinterval bereikt dan target-only debiased Lasso, PPI, en PPI++. De asymptotische variantieratio wordt gegeven door $G(\kappa, t_0) = (\frac{1+t_0\kappa}{1+\kappa})^2$, waarbij $\kappa = N/n_0$. Wanneer de externe estimator informatief is ($t_0 < 1$), is deze ratio strikt kleiner dan 1.
3. Robuustheid tegen Misspecificatie en Niet-Lineariteit:
   • Onder model-misspecificatie biedt DEAL geldige inferentie voor de populatie kleinste kwadraten projectie parameter $\beta^*_{proj}$.
   • Onder niet-lineaire labelers domineert DEAL de optimaal-getunede PPI++ strikt bij volledige ongelabelde saturatie, terwijl PPI++ wordt beperkt door de irreducibele gelabelde ruis.
4. Covariate Shift Geldigheid: Het artikel introduceert een shift-bewuste modificatie die nominale dekking behoudt, zelfs wanneer de ongelabelde covariaten afkomstig zijn van een distributie met een grotere covariantie (shift-up) dan de target, een regime waarin standaard gepoolde estimators falen.
5. Adaptieve Shrinkage: De datagedreven shrinkage-parameter $\hat{t}$ past zich aan de kwaliteit van de externe estimator aan, wat validiteit garandeert over regimes variërend van niet-informatief tot nabij-oracle.

Empirische Resultaten

De auteurs valideren de theorie via Monte Carlo-simulaties en een portfolio van zes real-world toepassingen variërend van astronomie, materiaalkunde en proteomica tot oncologie.

• Simulatie: In hoogdimensionale settings ($p \gg n_0$) werden de DEAL betrouwbaarheidsintervallen gevonden tussen de 0,49 en 0,87 van de lengte van target-only debiased Lasso-intervallen bij nominale dekking. In contrast hiermee bleven PPI en PPI++ intervallen dicht bij de debiased Lasso baseline (ratio's $\approx 1,0$).
• Real-Data Toepassingen: DEAL verkleinde consequent de betrouwbaarheidsintervallen over zes diverse toepassingen (waaronder één waarbij een Large Language Model als zero-shot oracle werd gebruikt). De mediane ratio van DEAL-intervallen tot debiased Lasso-intervallen varieerde van 0,23 tot 0,53.
  • Reproduceerbaarheid: De door DEAL geselecteerde significante coördinaten vertoonden een hogere bootstrap stabiliteit (selectiefrequenties van 0,66–0,97) vergeleken met debiased Lasso (0,26–0,63) en PPI++ (0,26–0,61).
  • Generalisatie: In toepassingen met out-of-sample fit (galaxie morfologie en band gap), bereikten de door DEAL ontdekte resultaten een positieve out-of-sample $R^2$, terwijl andere methoden negatieve of nabij nul $R^2$ opleverden.
• Labeler Onafhankelijkheid: Cruciaal was dat de efficiëntiewinst werd waargenomen, zelfs wanneer de externe labeler een zeer lage voorspellende nauwkeurigheid had (bijv. correlatie $\approx 0,09$ in proteomica). Wanneer labelers werden vervangen door gepermuteerde (geen-informatie) surrogaten, stortten de DEAL-intervallen terug naar de debiased Lasso baseline, wat bevestigt dat de winst voortkomt uit het aanscherpen van de precisie-matrix door de ongelabelde design, en niet uit de nauwkeurigheid van de labeler.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage een herlocatie van de rol van het externe model is: van het gemiddelde (via een rectifier) naar de variantie (via een debiased estimator). Deze verschuiving stelt de methode in staat om de structurele annulering te omzeilen die inherent is aan PPI in lineaire modellen.

De auteurs benadrukken dat DEAL bijzonder relevant is in het tijdperk van foundation models en synthetische data, waarin analisten vaak geen controle hebben over of de mogelijkheid hebben om de kalibratie van externe voorspellers te auditeren. Door de externe entiteit te behandelen als een "black box" en de inferentie te beschermen tegen de bias ervan via een shrinkage-beveiliging, zet DEAL een ongecontroleerde labeler om in een onschadelijk of nuttig instrument. De methode wordt beweerd de scherpere tool te zijn specifiek binnen het hoogdimensionale sparse-lineaire regime, waarbij het geldige inferentie en strikt kortere intervallen biedt waar prediction-powered methoden falen om te verbeteren ten opzien van de gelabelde-alleen baseline.

Het artikel blijft bescheiden over de reikwijdte en erkent dat:

• Onder misspecificatie, het de beste lineaire projectie medieert, niet de ware niet-lineaire conditionele mean.
• De efficiëntiewinst afhankelijk is van de gelabelde design als de beperkende factor; als de gelabelde steekproef al groot of goed geconditioneerd is, neemt het voordeel af.
• De methode steunt op hoogdimensionale sparse-lineaire machinerie (debiased Lasso, nodewise Lasso) en is geen algemene M-estimator zoals PPI.