High-Dimensional Single-Index Models: Link Estimation and Marginal Inference

Sintesi Tecnica: Modelli a Indice Singolo ad Alta Dimensionalità: Stima della Funzione di Legame e Inferenza Marginale

Definizione del Problema
Questo studio affronta le sfide statistiche relative alla stima e al test di ipotesi nei modelli a indice singolo (Single-Index Models, SIM) ad alta dimensionalità, in cui la dimensione del campione $n$ e la dimensione del vettore dei coefficienti $p$ sono grandi e comparabili ($p/n \to \kappa$). Il modello è definito come $E[y_i | X_i = x] = g(\beta^\top x)$, dove $X_i \sim N_p(0, \Sigma)$, $\beta$ è un vettore di coefficienti ignoto e $g(\cdot)$ è una funzione di legame (link function) ignota.

Sebbene i modelli a indice singolo offrano vantaggi rispetto alla regressione non parametrica mitigando la maledizione della dimensionalità ed evitando l'errata specificazione del modello riguardo alla forma funzionale, la letteratura esistente sull'alta dimensionalità affronta due lacune primarie in questo regime:

1. Stima della Funzione di Legame: Gli approcci precedenti spesso trascurano la stima consistente della funzione di legame $g(\cdot)$ ignota, o assumono che sia nota (come nei Modelli Lineari Generalizzati).
2. Inferenza Marginale: Vi è una mancanza di metodi rigorosi per stabilire la normalità asintotica marginale delle singole coordinate di $\beta$ quando $g(\cdot)$ è ignota, il che è necessario per costruire intervalli di confidenza e p-value validi per la selezione delle variabili.

Metodologia
Gli autori propongono una nuova procedura di stima in tre fasi, combinata con una quarta fase per la stima dei parametri inferenziali. Per gestire le complesse strutture di dipendenza derivanti dal riutilizzo dei dati, il dataset viene teoricamente suddiviso in due sottoinsiemi disgiunti, $I_1$ e $I_2$, sebbene gli autori notino che, nella pratica, si raccomanda l'uso di tutti i dati in ogni fase.

1. Stima dell'Indice (Fase Pilota): Utilizzando il primo sottoinsieme $(X^{(1)}, y^{(1)})$, viene costruito uno stimatore pilota $\tilde{\beta}$ (ad esempio, regressione ridge, minimi quadrati o MLE a seconda del tipo di risposta). Viene quindi derivato uno stimatore dell'indice $W_i$ per il vero indice $\beta^\top X_i$ utilizzando tecniche di aggiustamento osservabile (Bellec, 2022). Questo stimatore corregge il bias e la varianza, producendo $W_i \approx \beta^\top X_i + \mathcal{N}(0, \tilde{\sigma}^2/\tilde{\mu}^2)$.
2. Stima della Funzione di Legame: Utilizzando le coppie $(y^{(1)}_i, W_i)$, gli autori stimano $g(\cdot)$. Poiché $W_i$ contiene rumore gaussiano rispetto al vero indice, questo costituisce un problema di "errori nelle variabili" (errors-in-variables). Gli autori impiegano una tecnica di deconvoluzione kernel (Stefanski e Carroll, 1990) combinata con uno stimatore di Nadaraya-Watson per rimuovere asintoticamente il bias di attenuazione. Un operatore di monotonizzazione (ad esempio, l'operatore di riordinamento) viene applicato per garantire che la funzione di legame stimata $\hat{g}(\cdot)$ sia monotona, coerentemente con gli assunti del modello.
3. Stima dei Coefficienti: Utilizzando il secondo sottoinsieme $(X^{(2)}, y^{(2)})$ e la funzione di legame stimata $\hat{g}(\cdot)$, gli autori minimizzano una funzione di perdita surrogata $\ell(b; x, y, \bar{g}) = \bar{G}(x^\top b) - y x^\top b$ (dove $\bar{G}' = \bar{g}$). Ciò produce lo stimatore finale dei coefficienti $\hat{\beta}(\hat{g})$.
4. Stima dei Parametri Inferenziali: Per facilitare l'inferenza statistica, vengono costruiti stimatori per il bias asintotico $\mu^*$ e la varianza $\sigma^2_*$ utilizzando aggiustamenti osservabili basati sulla funzione di legame stimata, seguendo il framework di Bellec (2022).

Contributi Chiave

• Stima Consistente della Funzione di Legami: L'articolo fornisce uno stimatore consistente per la funzione di legame ignota $g(\cdot)$ nel regime proporzionale ad alta dimensionalità, affrontando il problema degli errori nelle variabili tramite deconvoluzione.
• Normalità Asintotica Marginale: Gli autori stabiliscono rigorosamente la normalità asintotica marginale per qualsiasi sottoinsieme finito di coordinate dello stimatore del coefficiente $\hat{\beta}(\hat{g})$. Questo risultato è valido anche quando il rapporto $\kappa = p/n > 1$, un regime in cui i precedenti risultati di normalità marginale per i SIM erano limitati.
• Miglioramento dell'Efficienza: Utilizzando la funzione di legame stimata consistentemente, si dimostra che il metodo proposto è più efficiente rispetto agli stimatori che si basano su funzioni di legame potenzialmente errate o che ignorano interamente la struttura del legame.
• Estensione Tecnica: La strategia di prova estende gli argomenti di Zhao et al. (2022) dalla regressione logistica (MLE) a una classe più ampia di stimatori M non regolarizzati e incorpora la funzione di legame stimata.

Risultati Teorici ed Empirici

• Garanzie Teoriche:
  • Teorema 1: Stabilisce la consistenza uniforme dello stimatore della funzione di legame $\hat{g}(\cdot)$ con un tasso di convergenza di $O_p((\log n)^{-m/2})$, che si dimostra essere un limite inferiore.
  • Teoremi 2 & 4: Dimostrano che per qualsiasi coordinata $j$, la statistica $T_j = \frac{\sqrt{p}(\hat{\beta}_j - \mu^*\beta_j)}{\sigma^*/\tau_j}$ converge in distribuzione a una normale standard $N(0, 1)$. Ciò è valido sia per l'ambiente regolarizzato ($p > n$) che per quello non regolarizzato ($p < n$).
  • Corollario 3: Dimostra che gli intervalli di confidenza costruiti utilizzando questi risultati asintotici raggiungono la corretta probabilità di copertura asintoticamente.
• Esperimenti Numerici:
  • Le simulazioni attraverso vari modelli (Logit, Poisson, Cubico, Pezzato) confermano che lo stimatore dell'indice segue la distribuzione gaussiana prevista.
  • Lo stimatore della funzione di legame mostra una diminuzione della perdita quadratica all'aumentare della dimensione del campione.
  • La distribuzione marginale dello stimatore del coefficiente corrisponde strettamente alla densità normale standard, validando la normalità asintotica teorica.
  • I confronti di efficienza indicano che il metodo proposto supera gli stimatori standard (come i minimi quadrati o la MLE con legami fissi) nella maggior parte degli scenari, in particolare quando il vero legame è ignoto o complesso.
• Applicazione su Dati Reali: Il metodo è stato applicato a due dataset UCI (DARWIN e dati del parlato) relativi alla malattia di Alzheimer. Il metodo proposto ha costantemente dimostrato una varianza asintotica effettiva stimata inferiore rispetto alla regressione logistica standard.

Significato e Rivendicazioni
L'articolo sostiene di fornire il primo framework rigoroso per la stima simultanea della funzione di legame e l'inferenza statistica marginale in modelli a indice singolo ad alta dimensionalità dove $n$ e $p$ sono comparabili. Stabilendo la normalità asintotica marginale, gli autori consentono test di ipotesi validi ($H_0: \beta_j = 0$) e la costruzione di intervalli di confidenza per le singole caratteristiche, cosa che precedentemente era irrisolta per i SIM con legami ignoti in questo regime. La metodologia sfrutta aggiustamenti osservabili e tecniche di deconvoluzione per gestire il bias introdotto dalla stima dell'indice e della funzione di legame, offrendo uno strumento robusto per l'econometria ad alta dimensionalità e l'apprendimento statistico. Gli autori notano che il lavoro futuro potrebbe estendere questi risultati a covariate non gaussiane e modelli a più indici.