Model Checking for Regressions Based on Weighted Residual Processes with Diverging Number of Predictors

1. Il Problema

Il lavoro affronta la sfida di verificare l'adeguatezza (goodness-of-fit) di modelli di regressione parametrici in contesti ad alta dimensionalità, dove il numero di predittori ($d$) e il numero di parametri ($p$) divergono all'aumentare della dimensione del campione ($n$).

• Contesto: Si considera il modello di regressione $Y = m(X) + \varepsilon$, dove si vuole testare l'ipotesi nulla $H_0$ che la funzione di regressione $m(\cdot)$ appartenga a una famiglia parametrica specificata $\{m(\cdot, \beta) : \beta \in \Theta\}$.
• Limiti degli approcci esistenti: Il test classico basato sui Momenti Condizionati Integrati (ICM) di Bierens (1982) e le sue varianti funzionano bene quando la dimensione è fissa. Tuttavia, in regimi ad alta dimensionalità ($d \to \infty$):
  1. La distribuzione asintotica nulla e alternativa del statistico ICM degenera in costanti fisse, rendendo il test incapace di discriminare tra $H_0$ e $H_1$.
  2. Il metodo di bootstrap selvaggio (wild bootstrap), solitamente utilizzato per approssimare la distribuzione nulla, fallisce, portando a distorsioni della dimensione (size distortion) e a una perdita sostanziale di potenza.
  3. I test basati su smoothing locale soffrono della "maledizione della dimensionalità".

2. Metodologia Proposta

Gli autori propongono un nuovo test di specificazione basato su processi di residui pesati (weighted residual processes) e un metodo di bootstrap dei residui lisci (smooth residual bootstrap).

A. Costruzione dello Statistico di Test

Invece di integrare su un dominio multidimensionale (come fa l'ICM classico con funzioni peso esponenziali complesse $e^{it^\top X}$), il nuovo approccio utilizza una funzione peso scalare reale $g(X)$ e trasforma i residui in modo unidimensionale.

1. Definizione dei residui: Si definiscono i residui stimati $\hat{e}_i = Y_i - m(X_i, \hat{\beta}_n)$.
2. Processo empirico: Si costruisce un processo basato su una trasformazione reale dei residui (usando $\cos(t\hat{e}_i) + \sin(t\hat{e}_i)$ per evitare numeri complessi) pesata da una funzione $g(X)$ centrata ($g_0(X) = g(X) - E[g(X)]$):
   $$\hat{U}_n(t) = \frac{1}{\sqrt{n}} \sum_{i=1}^n \{g(X_i) - \bar{g}\} [\cos(t\hat{e}_i) + \sin(t\hat{e}_i)]$$
3. Statistica di Test: L'informazione viene aggregata integrando il quadrato del modulo del processo rispetto a una funzione peso pari $\phi(t)$:
   $$WICM_n = \int_{\mathbb{R}} |\hat{U}_n(t)|^2 \phi(t) dt$$
   Questa formulazione riduce il problema a un'integrazione unidimensionale, evitando la maledizione della dimensionalità. Sotto $H_0$, il processo converge a un processo gaussiano; sotto $H_1$, si allontana da zero.

B. Scelta della Funzione Peso $g(X)$

Per massimizzare la potenza contro alternative locali, la funzione peso dovrebbe essere proporzionale alla deviazione dal modello nullo. Poiché questa deviazione è sconosciuta, gli autori propongono due strategie di stima:

• Alternative Direzionali: Se si assume che l'alternativa appartenga a una classe parametrica nota, si stima la deviazione proiettando la funzione di regressione stimata sullo spazio generato dai gradienti del modello nullo.
• Alternative Non Parametriche: Si utilizza un'espansione di Fourier (o basi ortogonali derivate dalla riduzione della dimensione sufficiente) per stimare la funzione di regressione non parametrica e costruire $g(X)$ di conseguenza.

C. Bootstrap dei Residui Lisci (Smooth Residual Bootstrap)

Poiché la distribuzione nulla limite di $WICM_n$ dipende dalla distribuzione sconosciuta dell'errore $\varepsilon$ e non è asintoticamente pivotale, gli autori introducono un metodo di bootstrap:

1. Si generano errori bootstrap $\varepsilon^*_{i,j}$ campionando i residui centrati e aggiungendo un termine di rumore con densità kernel liscia (per evitare la discrezionalità dei residui campionati).
2. Si ricostruiscono le risposte $Y^*$ e si ricalcola lo statistico di test.
3. Si ripete il processo $B$ volte per ottenere la distribuzione empirica e calcolare i valori critici.

3. Risultati Teorici Principali

Gli autori stabiliscono le proprietà asintotiche del test sotto diverse condizioni di regolarità (Assunzioni 1-8):

• Distribuzione Nulla: Sotto $H_0$, lo statistico $WICM_n$ converge in distribuzione a un integrale di un processo gaussiano centrato. La condizione di convergenza richiede che $p^3 \log(n) / n \to 0$, una condizione più debole rispetto alla letteratura precedente.
• Consistenza: Il test è consistente contro alternative globali fisse.
• Potenza Locale: Il test è in grado di rilevare alternative locali che si allontanano dall'ipotesi nulla al tasso parametrico $1/\sqrt{n}$ (ovvero, per perturbazioni della forma $r_n = n^{-1/2}$).
• Validità del Bootstrap: Si dimostra che il bootstrap dei residui lisci approssima consistentemente la distribuzione nulla sia sotto $H_0$ che sotto alternative locali, garantendo la validità inferenziale.

4. Risultati Sperimentali

Lo studio include simulazioni numeriche e un esempio su dati reali.

• Simulazioni:
  • Sono stati testati modelli a indice singolo, multi-indice e modelli senza struttura di riduzione della dimensionalità.
  • Controllo della dimensione: Il test proposto ($WICM^{(1)}_n$ e $WICM^{(2)}_n$) mantiene il livello di significatività nominale (0.05) anche al crescere di $p$. Al contrario, il test ICM classico e il test PCvM falliscono rapidamente (dimensione distorta verso zero) quando $p$ aumenta.
  • Potenza: Il test proposto mostra una potenza superiore rispetto ai metodi concorrenti, specialmente in scenari ad alta dimensionalità e con strutture complesse (es. modello H4 senza riduzione di dimensionalità). La versione basata su alternative direzionali ($WICM^{(1)}_n$) tende ad avere potenza maggiore quando la struttura dell'alternativa è nota.
• Dati Reali (Geographical Origin of Music):
  • Applicato a un dataset di 1.059 osservazioni con 68 predittori (caratteristiche audio) per prevedere la latitudine.
  • Il test ha rifiutato fortemente l'ipotesi di un modello di regressione lineare (p-value $\approx 0$), indicando che la relazione non è lineare, una conclusione supportata dai grafici di dispersione dei residui.

5. Significato e Contributi Chiave

1. Risoluzione della Degenerazione: Il lavoro risolve il problema fondamentale della degenerazione dei test ICM classici in alta dimensionalità, proponendo una costruzione basata su processi unidimensionali che evita l'integrazione su spazi ad alta dimensione.
2. Validità in Regimi Divergenti: Fornisce la prima procedura di verifica di modello rigorosa che rimane valida quando sia il numero di predittori che quello di parametri divergono con $n$.
3. Nuovo Metodo di Bootstrap: Introduce e valida teoricamente un metodo di smooth residual bootstrap specifico per questo contesto, superando i limiti del wild bootstrap in alta dimensionalità.
4. Flessibilità: Il metodo non richiede che il modello sottostante abbia una struttura di riduzione della dimensionalità intrinseca, rendendolo applicabile a una vasta gamma di modelli parametrici complessi.

In sintesi, questo studio offre un strumento robusto e teoricamente fondato per la diagnosi di modelli di regressione in era dei "big data", dove la dimensionalità elevata rende obsoleti i metodi di verifica tradizionali.