Bias Correction for Semiparametric Regression Models

Technische Samenvatting: Biascorrectie voor Semiparametrische Regressiemodellen (SABRE)

1. Probleemstelling

Het artikel adresseert een kritieke lacune in de semiparametrische literatuur betreffende modellen waarbij de conditionele verdeling van een respons $Y$ gegeven covariaten $(x, z)$ de vorm $f\{Y | x^T\beta + m(z), \phi\}$ aanneemt. In deze klasse van modellen:

• $\beta$ is een parametrisch component van dimensie $p$, dat mag divergeren met de steekproefgrootte $n$.
• $m(\cdot)$ is een onbekende gladde niet-parametrische functie.
• $\phi$ is een spreidingsparameter.

Hoewel de bestaande literatuur zich sterk heeft gericht op het bereiken van semiparametrische efficientie voor $\beta$ (vaak door $\phi$ en $m(\cdot)$ als storende parameters te behandelen), is eindsteekproefbias grotendeels genegeerd. De auteurs betogen dat in eindige steekproeven – met name wanneer de verhouding $p/n$ groot is, de spreiding hoog is, of de data onderhevig is aan misclassificatie (bijvoorbeeld in elektronische gezondheidsregistraties of label-only differentieel privacy) – standaard schatters aanzienlijke bias vertonen. Deze bias ondermijnt de nauwkeurigheid van betrouwbaarheidsintervallen (BI's) en hypothesetoetsen voor $\beta$ en leidt tot onbetrouwbare schatting van $\phi$, wat vaak van direct wetenschappelijk belang is.

2. Methodologie: SABRE

De auteurs stellen SABRE (SemipArametric Bias-Reduced Estimation) voor, een geünificeerd, op simulatie gebaseerd kader voor biascorrectie. De methodologie verloopt in drie hoofdfasen:

A. Parametrisch Benaderend Model
Omdat het ware model een onbekende functie $m(\cdot)$ bevat, benadert SABRE $m(\cdot)$ eerst met behulp van een B-spline expansie:
$$m(z) \approx B(z)^T \alpha = \sum_{j=1}^K \alpha_j B_j(z)$$
waarbij $B_j(z)$ B-spline basisfuncties zijn en $\alpha$ een vector van coëfficiënten. Dit transformeert het semiparametrische model naar een parametrisch benaderend model met parametervector $\gamma = (\beta^T, \alpha^T)^T$.

B. Initiële Schatter (sMLE)
Een initiële schatter, aangeduid als de B-spline Maximum Likelihood Schatter (sMLE), wordt verkregen door de scorevergelijkingen voor $\gamma$ en $\phi$ op te lossen op basis van de geobserveerde data. Laat $\hat{\gamma}$ en $\hat{\phi}$ deze initiële schattingen aanduiden.

C. Op Simulatie Gebaseerde Correctie
SABRE definieert de finale schatter $(\tilde{\gamma}, \tilde{\phi})$ als de oplossing van een schattingsvergelijking die de geobserveerde initiële schatter gelijkstelt aan zijn verwachtingswaarde onder het parametrische benaderende model:
$$\begin{pmatrix} \tilde{\gamma} \\ \tilde{\phi} \end{pmatrix} = \text{argzero}_{\gamma, \phi} \begin{pmatrix} \hat{\gamma} - E_{\gamma, \phi}[\hat{\gamma}^*(\gamma, \phi)] \\ \hat{\phi} - E_{\gamma, \phi}[\hat{\phi}^*(\gamma, \phi)] \end{pmatrix}$$
Hierbij zijn $\hat{\gamma}^*(\gamma, \phi)$ en $\hat{\phi}^*(\gamma, \phi)$ de sMLE's berekend op synthetische data gegenereerd vanuit het B-spline benaderende model met parameters $(\gamma, \phi)$. De verwachtingswaarden $E_{\gamma, \phi}[\cdot]$ worden benaderd via Monte Carlo-simulatie. Om de rekenlast in hoge dimensies te hanteren, maken de auteurs gebruik van stochastische benaderingsmethoden om deze vergelijkingen op te lossen zonder expliciet verwachtingswaarden te berekenen bij elke stap.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Eerste Kader voor deze Klasse: SABRE wordt gepresenteerd als het eerste kader voor biascorrectie dat specifiek is ontworpen voor deze brede klasse van semiparametrische modellen met divergerende dimensie $p$, een functioneel component $m(\cdot)$, en een spreidingsparameter $\phi$.
2. Biasreductie voor $\beta$ en $\phi$: In tegenstelling tot bestaande methoden die een vaste $p$ veronderstellen of zich uitsluitend op $\beta$ richten, bereikt SABRE biasreductie voor zowel het parametrische component $\beta$ als de spreidingsparameter $\phi$, zonder te vertrouwen op sparsiteitsaannames of gepenaliseerde methoden. Het staat toe dat $p$ divergeert met een snelheid waarbij $p^2 \log(n) n^{-1} \to 0$.
3. Asymptotische Efficientie: De auteurs stellen vast dat de SABRE-schatter voor $\beta$ dezelfde asymptotische variantie behoudt als de initiële sMLE. Bijgevolg wordt biascorrectie bereikt zonder variantie te inflateren, waardoor de semiparametrische efficientie behouden blijft.
4. Theoretische Ontwikkeling: Binnen de subklasse van Generalized Partially Linear Models (GPLM's) biedt het artikel een rigoureuze asymptotische theorie die bewijst:
   • Convergentiesnelheden voor $\tilde{\beta}$ en $\tilde{\phi}$.
   • Verminderde biasordes: De bias van $\tilde{\beta}$ blijkt van orde $O(h^q) + O((p+N)^{3/2}n^{-3/2})$ te zijn, wat kleiner is dan de $O(n^{-1})$ bias van standaard schatters en sneller dan de $O(n^{-1})$ bias van aangepaste-score methoden in parametrische settings met vaste dimensie.
   • Asymptotische normaliteit voor $\tilde{\beta}$, wat standaard inferentieprocedures (BI's en hypothesetoetsen) rechtvaardigt.

4. Empirische Resultaten

De auteurs valideren SABRE door middel van uitgebreide simulatiestudies en een toepassing op reële data:

• Simulatiestudies:

  • Partieel Lineaire Logistische Regressie (Geclassificeerde Data): In settings met misclassificeerde binaire uitkomsten en variërende $p/n$-verhoudingen, behield SABRE verwaarloosbare bias in alle scenario's. Daarentegen vertoonde de standaard sMLE aanzienlijke bias naarmate $p/n$ of de misclassificatiepercentages toenamen, wat leidde tot een slechte dekking van BI's. De aangepaste-score methode (sMLE-BR) was inconsistent onder misclassificatie. SABRE produceerde consequent BI's met nauwkeurige dekking en kortere lengtes.
  • Spreidingschatting (Inverse Gaussisch & Negatief Binomiaal): Voor modellen met hoge spreiding en grote $p/n$ vertoonde de standaard sMLE aanzienlijke bias bij het schatten van $\phi$. SABRE verminderde deze bias aanzienlijk en bereikte een lagere Root Mean Squared Error (RMSE) in vergelijking met concurrenten.

• Toepassing op Reële Data (Vroege Diabetes):

  • De auteurs analyseerden een dataset van 520 individuen om de associatie tussen symptomen en diabetesstatus te modelleren, rekening houdend met potentiële misclassificatie (vals-negatieven).
  • SABRE produceerde BI's die ongeveer 20% korter waren dan die van de sMLE, wat overeenkomt met een toename van ongeveer 56% in de effectieve steekproefgrootte.
  • Cruciaal identificeerde SABRE een statistisch significante associatie tussen alopecia en diabetes (in overeenstemming met klinische literatuur), een associatie die de standaard sMLE door bias niet detecteerde.

5. Betekenis en Claims

Het artikel stelt dat eindsteekproefbias een centraal probleem is in moderne semiparametrische inferentie, met name in settings met hoge dimensies en die welke ruwe of geprivatiseerde data betreffen. De betekenis van SABRE ligt in het vermogen om:

• Bias te Correcteren zonder Efficientie te Offeren: Het reduceert bias voor zowel $\beta$ als $\phi$ terwijl de optimale variantie-eigenschappen van de initiële schatter behouden blijven.
• Complexe Moderne Settings te Hanteren: Het is toepasbaar op modellen met divergerende dimensies, niet-parametrische componenten, en complexe datamechanismen zoals misclassificatie en label-only differentieel privacy.
• Wetenschappelijke Inferentie te Verbeteren: Door nauwkeurigere BI's te bieden en bias te verminderen, verbetert SABRE de betrouwbaarheid van downstream inferentie en de detectie van wetenschappelijk betekenisvolle effecten, zoals aangetoond in de diabetes-toepassing.

De auteurs merken op dat hoewel de volledige asymptotische theorie is ontwikkeld voor de GPLM-subklasse, de methodologie toepasbaar is op de bredere modelklasse, en numerieke experimenten veelbelovende prestaties suggereren buiten GPLM's om. Zij erkennen dat een volledige formele theorie voor de volledige klasse een onderwerp blijft voor toekomstig werk vanwege de distributie-specifieke aard van de afleidingen.