Inference in high-dimensional logistic regression under tensor network dependence

1. Il Problema

Il lavoro affronta il problema dell'inferenza statistica (costruzione di intervalli di confidenza e test di ipotesi) per la regressione logistica in scenari ad alta dimensionalità (dove il numero di covariate $d$ cresce con la dimensione del campione $n$, e $d \gg n$), in presenza di dipendenza tra le osservazioni.

A differenza della letteratura esistente che assume spesso indipendenza dei campioni o si limita a modelli di interazione a coppie (come il modello di Ising classico), questo studio considera strutture di dipendenza più complesse indotte da un campo casuale di Markov (MRF) su un ipergrafo. In questo contesto, le dipendenze possono essere di ordine superiore (interazioni tra gruppi di individui, non solo coppie), modellate tramite tensori. L'obiettivo è stimare funzionali a bassa dimensionalità (lineari e quadratici) del parametro di regressione $\theta$, che è assunto essere sparso.

2. Metodologia Proposta

Gli autori sviluppano una procedura in due passaggi per correggere il bias degli stimatori regolarizzati e ottenere una distribuzione asintoticamente normale:

Passo 1: Stima Iniziale (Pseudo-verosimiglianza Regolarizzata)

Poiché la funzione di verosimiglianza completa per gli MRF è intrattabile computazionalmente a causa della costante di normalizzazione, viene utilizzato uno stimatore basato sulla massima pseudo-verosimiglianza regolarizzata ($\ell_1$).

• Strategia di Campionamento: Per gestire la dipendenza, si identifica un "insieme indipendente forte" ($S$) nell'ipergrafo. I nodi di $S$ vengono divisi in due sottoinsiemi disgiunti $S_1$ e $S_2$ di dimensioni uguali.
• Stimatore: Si massimizza la pseudo-verosimiglianza condizionata sui nodi $S_1$, data la configurazione degli altri nodi, aggiungendo una penalità $\ell_1$ (tipo Lasso):
  $$\tilde{\theta} = \arg\min_b \left\{ L_{S_1}(b) + \lambda_n \|b\|_1 \right\}$$
  dove $L_{S_1}$ è la log-pseudo-verosimiglianza. Questo stimatore è consistente ma biased, rendendolo inadatto direttamente all'inferenza.

Passo 2: Correzione del Bias (Debiasing)

Per ottenere un inferenza valida, si applica una correzione del bias basata su un vettore di proiezione, estendendo le tecniche sviluppate per dati indipendenti a contesti di dipendenza tensoriale.

• Trasformazione: Le risposte binarie $y_i \in \{-1, 1\}$ sono trasformate in $y_i \in \{0, 1\}$.
• Costruzione dello Stimatore Corretto: Per un funzionale lineare $c^\top \theta$, lo stimatore corretto è definito come:
  $$\widehat{c^\top \theta} = c^\top \tilde{\theta} + \frac{1}{|S_2|} \sum_{i \in S_2} w_i (y_i - f(\tilde{v}_i)) \hat{u}^\top X_i$$
  dove:
  • $f(\cdot)$ è la funzione di collegamento logistica (sigmoid).
  • $w_i$ sono pesi dati (scelti come $w_i=2$ per semplificazione algebrica).
  • $\hat{u}$ è un vettore di proiezione ottenuto risolvendo un problema di ottimizzazione vincolata per minimizzare la varianza asintotica, garantendo che il termine di bias residuo sia trascurabile.
• Estensione ai Funzionali Quadratici: La metodologia è estesa anche a funzionali quadratici $Q = \theta^\top M \theta$ (utili, ad esempio, per la stima dell'ereditabilità), correggendo il bias quadratico residuo tramite una proiezione adattata.

3. Contributi Chiave

1. Generalizzazione delle Dipendenze: Il lavoro supera i limiti dei modelli di Ising (interazioni a coppie) considerando strutture di ipergrafo che catturano dipendenze di ordine superiore (tensor network dependence).
2. Inferenza in Alta Dimensionalità con Dipendenza: È il primo lavoro a fornire garanzie teoriche rigorose per l'inferenza (intervalli di confidenza e test) in regressione logistica ad alta dimensionalità sotto dipendenza di rete generale.
3. Costruzione del Vettore di Proiezione: Si dimostra come costruire efficacemente i vettori di proiezione $\hat{u}$ in presenza di dipendenze complesse, senza assumere vincoli di norma $\ell_1$ o $\ell_2$ sul vettore di interesse $c$, rendendo il metodo applicabile a funzionali generici.
4. Assunzioni Minime: A differenza di lavori precedenti, non si assume che le probabilità individuali siano strettamente limitate da lontano da 0 e 1, permettendo di gestire casi in cui le probabilità possono avvicinarsi agli estremi a causa delle forti dipendenze di rete.

4. Risultati Teorici ed Empirici

• Garanzie Teoriche:
  • Viene stabilito che lo stimatore corretto $\widehat{c^\top \theta}$ è asintoticamente normale ($N(0, 1)$) sotto ipotesi di sparsità standard ($s = o(\sqrt{n})$) e condizioni di grado limitato sull'ipergrafo.
  • Si forniscono limiti di errore non asintotici per lo stimatore iniziale $\tilde{\theta}$, mostrando che raggiunge il tasso di converzione ottimale del Lasso ($O(\sqrt{s \log d / n})$).
  • Si dimostra la validità degli intervalli di confidenza costruiti, con copertura asintotica corretta e lunghezza ottimale.
• Studi di Simulazione:
  • Le simulazioni su reticoli 2D e grafi regolari confermano che ignorare gli effetti di rete (usando metodi standard per dati indipendenti) porta a una sottocopertura grave degli intervalli di confidenza (es. copertura reale del 20-25% invece del 95% richiesto).
  • Il metodo proposto mantiene una copertura vicina al livello nominale (95-99%) anche al variare della forza della rete ($\beta$), della densità del grafo e della dimensionalità $d$.

5. Significato e Impatto

Questo studio colma un divario significativo nella letteratura statistica, estendendo le tecniche di inferenza debiasing (già consolidate per dati indipendenti) a contesti di dati strutturati e dipendenti.

• Applicabilità: Il metodo è rilevante per campi come la genetica (GWAS con effetti di parentela complessi), le scienze sociali (effetti tra pari in reti sociali), l'epidemiologia e l'analisi di immagini, dove le osservazioni non sono indipendenti e le interazioni possono essere di ordine superiore.
• Fondamento Teorico: Fornisce un nuovo quadro teorico per l'inferenza su dati di rete ad alta dimensionalità, aprendo la strada a future ricerche su grafi densi, effetti causali in presenza di interferenza di rete e modelli lineari generalizzati (GLM) più ampi.

In sintesi, il paper offre un framework robusto e computazionalmente efficiente per condurre inferenze statistiche valide in scenari complessi dove la struttura dei dati viola l'assunzione di indipendenza e le interazioni sono multidimensionali.