Rank-based Maxsum test for high dimensional regression coefficient

Titolo: Test di Maxsum basato su ranghi per i coefficienti di regressione ad alta dimensionalità

Autore: Ping Zhao e Liangliang Yuan.

1. Il Problema

La regressione lineare ad alta dimensionalità è uno strumento fondamentale nelle scienze moderne (es. studi genetici, analisi di pathway), dove il numero di covariate ($p$) può essere comparabile o molto superiore alla dimensione del campione ($n$). Un compito inferenziale cruciale è testare l'ipotesi globale $H_0: \beta = 0$ contro $H_1: \beta \neq 0$, ovvero verificare se le covariate contribuiscono collettivamente alla risposta.

Le sfide principali identificate nel lavoro sono:

• Il compromesso Sparsità-Densità: I test basati sulla somma (o forme quadratiche) sono potenti quando l'alternativa è "densa" (molti coefficienti sono non nulli), mentre i test basati sul massimo (max-type) eccellono quando l'alternativa è "sparsa" (pochi coefficienti non nulli). In pratica, il livello di sparsità è spesso sconosciuto.
• Sensibilità alle code pesanti: La maggior parte dei test esistenti per dati ad alta dimensionalità assume errori a code leggere (Gaussiani o sub-Gaussiani). Quando gli errori sono pesanti (heavy-tailed) o contaminati, queste procedure perdono robustezza e potenza.
• Mancanza di procedure adattive robuste: Non esisteva un metodo unificato che fosse simultaneamente robusto agli errori pesanti e adattivo al livello di sparsità sconosciuto.

2. Metodologia

Gli autori propongono una nuova classe di test globali adattivi e robusti, denominati Rank-based Maxsum Tests. La metodologia si basa su tre pilastri fondamentali:

A. Statistiche Componenti

Il metodo combina due tipi di statistiche basate sui ranghi (Wilcoxon):

1. Statistica di Somma (Dense-sensitive): Basata sul lavoro di Feng et al. (2013), utilizza un U-statistica di punteggio di rango ($W_n$) standardizzata ($T_{RS}$). Questa statistica è libera dalla distribuzione sotto $H_0$ e robusta agli errori pesanti, risultando potente per alternative dense.
2. Statistiche di Massimo (Sparse-sensitive): Basate su Xu e Zhou (2021), propongono due statistiche di massimo basate sui punteggi di Wilcoxon:
   • $T_{RM1}$: Statistica di massimo marginale.
   • $T_{RM2}$: Statistica di massimo aggiustata per la precisione (precision-adjusted), che tiene conto della dipendenza tra le covariate tramite la stima della matrice di precisione $\Omega = \Sigma^{-1}$.

B. Indipendenza Asintotica

Il contributo teorico centrale è la dimostrazione che, sotto l'ipotesi nulla $H_0$, la statistica di somma basata sui ranghi ($T_{RS}$) e ciascuna delle statistiche di massimo ($T_{RM1}$ e $T_{RM2}$) sono asintoticamente indipendenti.

• Questo risultato è stabilito sotto condizioni di regolarità sulle covariate (modello a componenti indipendenti con code sub-esponenziali) e sulla distribuzione dell'errore (informazione di Fisher finita, ma non necessariamente varianza finita).
• L'indipendenza asintotica giustifica teoricamente la combinazione dei valori-p delle singole statistiche.

C. Combinazione di Cauchy

Per aggregare le evidenze delle componenti dense e sparse senza conoscere a priori la sparsità, gli autori utilizzano il metodo di combinazione di Cauchy (Liu e Xie, 2020).

• Si definiscono due statistiche combinate:
  $$T_{RC1} = \frac{1}{2}\tan\left(\left(\frac{1}{2} - p_{RS}\right)\pi\right) + \frac{1}{2}\tan\left(\left(\frac{1}{2} - p_{RM1}\right)\pi\right)$$
  $$T_{RC2} = \frac{1}{2}\tan\left(\left(\frac{1}{2} - p_{RS}\right)\pi\right) + \frac{1}{2}\tan\left(\left(\frac{1}{2} - p_{RM2}\right)\pi\right)$$
• Grazie all'indipendenza asintotica, queste statistiche combinate convergono in distribuzione alla distribuzione di Cauchy standard sotto $H_0$.
• Il rifiuto di $H_0$ avviene se il valore combinato supera il quantile superiore della distribuzione di Cauchy, o equivalentemente se il valore-p combinato è inferiore al livello di significatività $\alpha$.

3. Risultati Chiave

Risultati Teorici

• Teoremi 1 e 2: Dimostrano l'indipendenza asintotica tra $T_{RS}$ e $T_{RM1}$ (o $T_{RM2}$) sotto $H_0$, anche quando $\log p = o(n^{1/5})$.
• Robustezza: Le procedure proposte non richiedono l'assunzione di varianza finita per gli errori, rendendole valide anche per distribuzioni con code molto pesanti.

Risultati Simulativi

Gli autori hanno confrontato i loro metodi ($RC1, RC2$) con otto procedure esistenti (inclusi test F generalizzati, test basati su somme quadratiche, e test max-type classici) attraverso 1000 repliche Monte Carlo.

• Controllo della dimensione (Size): I test proposti mantengono un controllo accurato del livello di significatività (intorno al 5%) su una vasta gamma di distribuzioni di errore (Gaussiana, t-Student con 3 gradi di libertà, Log-normale, Mixture Gaussiana) e configurazioni $(n, p)$.
• Potenza (Power):
  • I test puramente basati sulla somma (es. $RS, EB$) perdono potenza drasticamente in scenari sparsi.
  • I test puramente basati sul massimo (es. $Max, RM1$) perdono potenza quando l'alternativa diventa densa e sono sensibili alle code pesanti.
  • $RC1$e$RC2$ mostrano prestazioni superiori: Mantengono una potenza elevata e stabile attraverso tutto lo spettro di sparsità (da 1 a 200 coefficienti non nulli) e tutte le distribuzioni di errore.
  • In particolare, $RC1$ (combinazione con il massimo marginale) si è dimostrato il più affidabile in generale, mentre $RC2$ (con l'aggiustamento per la precisione) eccelle quando esiste una forte struttura di dipendenza tra le covariate (matrice di Toeplitz).

4. Significato e Contributi

1. Unificazione di Robustezza e Adattività: Il lavoro risolve il dilemma pratico di dover scegliere tra test robusti (per errori pesanti) e test adattivi (per sparsità sconosciuta). La proposta offre un'unica procedura che è robusta per costruzione (grazie ai ranghi) e adattiva (grazie alla combinazione Max-Sum).
2. Teoria Asintotica Innovativa: La dimostrazione dell'indipendenza asintotica tra statistiche di rango basate su somme e massimi in contesti ad alta dimensionalità è un risultato teorico significativo che abilita l'uso di metodi di combinazione semplici e potenti come quello di Cauchy.
3. Applicabilità Pratica: Il metodo non richiede stime complesse della dipendenza tra le statistiche componenti né ricampionamento (resampling) computazionalmente costoso per calcolare i valori-p combinati, rendendolo scalabile per problemi di grandi dimensioni.
4. Superiorità in Scenari Realistici: I risultati empirici confermano che l'approccio proposto supera i metodi basati sui minimi quadrati (LS) quando i dati presentano outlier o distribuzioni non Gaussiane, una situazione comune nelle scienze biologiche e finanziarie.

In sintesi, il paper fornisce un toolkit robusto e pratico per il testing di regressione ad alta dimensionalità, garantendo affidabilità sia nella dimensione che nella potenza indipendentemente dalla natura della distribuzione degli errori e dalla struttura di sparsità dei coefficienti.