Outcome-Calibrated Regression and Predicted Outcome-Based Inference

Technische Samenvatting: Outcome-gekalibreerde Regressie en Op Voorspelde Uitkomsten Gebaseerde Inferentie

Probleemstelling
Ordinary Least Squares (OLS)-regressie is de standaardtool voor wetenschappelijke inferentie, gewaardeerd om zijn eigenschap als de Beste Lineaire Onbevooroordeelde Schatter (BLUE) onder het Gauss-Markov-theorema. Deze eigenschap waarborgt dat voorspellingen conditioneel onbevooroordeeld zijn gegeven de covariaten ($X$), d.w.z. $E(\hat{Y} - Y | X = x) = 0$. De auteurs identificeren echter een kritiek, vaak over het hoofd gezien tekort: OLS-voorspellingen zijn over het algemeen niet conditioneel onbevooroordeeld gegeven de uitkomst ($Y$).

Door de minimalisatie van de gemiddelde kwadratische fout, krimpen OLS-voorspellingen systematisch naar het populatiegemiddelde van de uitkomst ($\mu_Y$). Dit resulteert in een "regressie naar het gemiddelde" (RTM)-fenomeen waarbij grote uitkomstwaarden onderschat worden en kleine uitkomstwaarden overschat worden. Wiskundig is de conditionele voorspellingsbias $E(\hat{Y}_{OLS} - Y | Y = y) = (\eta_{OLS} - 1)(y - \mu_Y)$, waarbij $\eta_{OLS} < 1$ de populatieslope voor het regresseren van voorspellingen op ware uitkomsten voorstelt (equivalent met de populatie $R^2$).

Deze bias creëert een niet-verwaarloosbaar probleem voor op voorspelde uitkomsten gebaseerde inferentie, een veelvoorkomende praktijk in velden zoals hersenleeftijd-analyse, polygenische risicoscorestudies en causale inferentie, waar de ware uitkomst $Y$ niet wordt waargenomen of duur is om te meten, en inferentie wordt uitgevoerd met de voorspelde waarde $\hat{Y}$ tegenover een variabele $W$. De auteurs tonen aan dat deze krimp zich voortplant naar downstream-analyse, waardoor de geschatte associatie tussen $\hat{Y}$ en $W$ systematisch wordt afgezwakt, wat leidt tot bevooroordeelde effectschattingen en potentieel foutieve wetenschappelijke conclusies.

Methodologie: Outcome-gekalibreerde Regressie (OCR)
Om dit op te lossen, stellen de auteurs Outcome-gekalibreerde Regressie (OCR) voor, een nieuw kader dat conditionele onbevooroordeeldheid ten opzichte van de uitkomst direct tijdens het modelpassen afdwingt.

1. Kalibratiebeperkingen: De methode legt twee lineaire gelijkheidsbeperkingen op aan de regressiecoëfficiënten $\beta$:

   • Eenheidslope: De slope van de regressie van voorspelde waarden op waargenomen uitkomsten moet 1 zijn ($\hat{\eta} = 1$). Dit waarborgt dat de covariantie tussen voorspellingen en waarnemingen gelijk is aan de variantie van de waarnemingen.
   • Nul-intercept: Het intercept van deze kalibratieregressie moet 0 zijn ($\hat{\alpha} = 0$). Dit waarborgt dat het gemiddelde van de gefitte waarden overeenkomt met het gemiddelde van de waargenomen uitkomsten.

2. Gesloten-vorm Oplossing: OCR wordt geformuleerd als een beperkt kleinste-kwadratenprobleem:
   $$\hat{\beta}_{OCR} = \arg\min_{\beta} \frac{1}{2n}\|y - X\beta\|_2^2 \quad \text{onder de voorwaarde} \quad A\beta = c$$
   waarbij $A\beta = c$ de slope- en interceptbeperkingen codeert. De auteurs leiden een gesloten-vorm oplossing af met behulp van Lagrange-multiplicatoren, en tonen aan dat de OCR-schatter een lineaire aanpassing is van de OLS-schatter:
   $$\hat{\beta}_{OCR} = \hat{\beta}_{OLS} - K(A\hat{\beta}_{OLS} - c)$$
   Hier fungeert $K$ als een kalibratiecorrectiematrix die de beperkingsschending van de OLS-schatter in een coëfficiëntaanpassing omzet.

3. Theoretische Eigenschappen:

   • Beperkt Gauss-Markov: Onder alle lineaire onbevooroordeelde schatters die voldoen aan de kalibratiebeperkingen, heeft $\hat{\beta}_{OCR}$ de minimale variantie.
   • Downstream Onbevooroordeeldheid: Onder de aanname dat het residu $(\hat{Y}_{OCR} - Y)$ onafhankelijk is van de externe variabele $W$ conditioneel op $Y$, herstelt de regressiecoëfficiënt van $\hat{Y}_{OCR}$ op $W$ de ware populatiecoëfficiënt $\theta$ zonder afzwakking.
   • Inferentie: Het artikel biedt formules voor de variantie-covariantiematrix van $\hat{\beta}_{OCR}$, standaardfouten en geldige betrouwbaarheids-/voorspellingsintervallen, met de opmerking dat de variantie over het algemeen niet groter is dan die van OLS vanwege de beperking van de parameterruimte.

Belangrijkste Resultaten
De auteurs valideren OCR via simulatiestudies waarin het wordt vergeleken met OLS over verschillende steekproefgroottes ($n$), predictor-dimensies ($p$) en ruisniveaus ($\sigma$).

• Kalibratie: Waar OLS consequent kalibratieslopes ($\hat{\eta}$) vertoonde die significant kleiner waren dan 1 (variërend van 0,335 tot 0,837 afhankelijk van de ruis), bereikte OCR exacte kalibratie ($\hat{\eta} = 1,000, \hat{\alpha} = 0$) in alle scenario's.
• Downstream Inferentie: Bij het regresseren van voorspelde uitkomsten op een externe variabele $W$ om de ware associatie $\theta$ te schatten:
  • OLS: Leverde ernstig bevooroordeelde schattingen op (Bias $\approx -0,50$) met 0% empirische dekking van het 95%-betrouwbaarheidsinterval. De ratio van bias tot standaardafwijking was extreem hoog, wat aangeeft dat systematische bias de steekproefvariabiliteit domineerde.
  • OCR: Leverde ongeveer onbevooroordeelde schattingen op ($|Bias| < 0,25$, vaak veel lager) met empirische dekkingpercentages dicht bij de nominale 95% (variërend van 95,2% tot 98,6%).
• Ruilen: De afdwinging van kalibratiebeperkingen resulteert in een hogere Gemiddelde Kwadratische Fout (MSE) voor de voorspellingen zelf in vergelijking met OLS, met name onder omstandigheden met hoge ruis. Deze toename in voorspellingsfout is echter de noodzakelijke prijs om de systematische bias in downstream-inferentie te elimineren.

Betekenis en Aanspraken
Het artikel beweert dat de regressie-naar-het-gemiddelde-bias in OLS een inherente eigenschap van de methode is, en geen artefact van eindige steekproeven, en dat de gevolgen daarvan voor downstream-inferentie tot nu toe grotendeels ongekarakteriseerd zijn gebleven.

De betekenis van OCR ligt in het vermogen om geldige statistische inferentie mogelijk te maken bij het gebruik van voorspelde uitkomsten als surrogaten voor niet-waargenomen grondwahrheden. De auteurs stellen dat OCR bijzonder relevant is voor:

• Schatting van causale effecten met voorspelde blootstellingen of uitkomsten.
• Analyse van de hersenleeftijdsgap en biologische verouderingsklokken.
• Associatiestudies met polygenische risicoscores.
• Mendeliaanse randomisatie met twee steekproeven.
• Federatieve of transfer learning-omgevingen waar alleen modelvoorspellingen worden gedeeld.

Door standaard OLS-voorspellingen te vervangen door OCR-gecorrigeerde voorspellingen, kunnen onderzoekers de systematische afzwakking van effectgroottes veroorzaakt door regressie naar het gemiddelde elimineren, waardoor de bias in downstream-wetenschappelijke conclusies wordt verminderd. De auteurs presenteren OCR niet als een vervanging voor OLS in alle contexten, maar als een noodzakelijk kader specifiek wanneer het doel inferentie betreft die gebaseerd is op voorspelde uitkomsten.