Sintesi Tecnica: Test di Ipotesi a Due Campioni per l'Uguaglianza di Sottospazi in Dati di Rete

Formulazione del Problema

Il documento affronta la sfida fondamentale di determinare se due set di dati indipendenti, con valori di matrice di adiacenza, condividano lo stesso schema strutturale di connettività sottostante, specificamente le loro strutture latenti di comunità, anche quando le probabilità di connessione differiscono significamente. In molte applicazioni, come il confronto di reti sociali tra diverse piattaforme o l'analisi della connettività aeroportuale nel tempo, le "comunità" (gruppi latenti) possono rimanere stabili mentre la densità o le specifiche probabilità di connessione possono fluttuare.

Formalmente, siano $A^{(1)}$ e $A^{(2)}$ due matrici di adiacenza indipendenti di dimensione $n \times n$, generate da matrici di probabilità simmetriche e a basso rango $P^{(1)}$ e $P^{(2)}$ di rango $k$. Gli autori propongono di testare l'ipotesi nulla che gli spazi di colonna (sottospazi) spaziati dagli autovettori principali di queste matrici di probabilità siano identici:
$$H_0: V^{(1)}(V^{(1)})^\top = V^{(2)}(V^{(2)})^\top$$
contro l'ipotesi alternativa $H_1$ in cui i sottospazi differiscono. Qui, $V^{(i)} \in \mathbb{R}^{n \times k}$ contiene gli autovettori ortonormali corrispondenti agli autovalori non nulli di $P^{(i)}$.

Si dimostra che questa ipotesi è equivalente al test di uguaglianza delle strutture di comunità nei Modelli a Blocchi Stocastici (SBM) e nei Modelli a Blocchi Stocastici a Appartenenza Mista (MMSBM), a meno di permutazione e scalatura, nonché all'uguaglianza degli spazi di caratteristiche latenti nei Grafi a Prodotto Dotale Casuale Generalizzati (GRDPG).

Metodologia

Statistica del Test

La statistica del test proposta si basa sulla norma di Frobenius della differenza tra le matrici di proiezione spettrale empirica dei due network. Sia $\hat{V}^{(i)}$ la matrice degli autovettori empirici principali di $A^{(i)}$. La statistica è definita come:
$$T_n := \| \hat{V}^{(1)}(\hat{V}^{(1)})^\top - \hat{V}^{(2)}(\hat{V}^{(2)})^\top \|_F^2$$

Teoria Asintotica

Il contributo teorico centrale è un teorema limite che stabilisce che, sotto appropriato centramento e scalatura, $T_n$ converge in distribuzione a una variabile casuale gaussiana standard. Questo risultato è valido sotto le seguenti condizioni:

1. Sparsità: Il grado atteso medio cresce almeno logaritmicamente con il numero di vertici ($n\rho_n \gg \log n$).
2. Scalatura degli Autovalori: Gli autovalori non nulli delle matrici di probabilità scalano linearmente con $n\rho_n$.
3. Incoerenza: Le righe degli autovettori della popolazione sono distribuite uniformemente (una condizione soddisfatta da comunità bilanciate nei modelli a blocchi).

La media asintotica ($\mu_2$) e la varianza ($\sigma_2^2$) della statistica sono derivate esplicitamente in termini dei parametri della popolazione. La derivazione si basa su una nuova espansione in serie di matrici della differenza di proiezione, decomponendo la statistica in un termine dominante di secondo ordine e in termini di resto di ordine superiore. La dimostrazione utilizza un teorema del limite centrale di martingala per stabilire il limite gaussiano per il termine di secondo ordine, dimostrando al contempo che i termini di ordine superiore sono asintoticamente trascurabili.

Stima Data-Driven

Per rendere operativo il test, gli autori propongono stimatori plug-in consistenti per la media e la varianza asintotica. Questi stimatori sostituiscono gli autovettori e gli autovalori della popolazione sconosciuti con i loro corrispettivi empirici. La consistenza di questi stimatori è dimostrata sotto un'assunzione di "regime denso" leggermente più forte ($n\rho_n \gg \sqrt{n}$), che assicura che l'errore di stima non distorca la distribuzione limite.

Analogo a Campione Unico

Il documento stabilisce anche un corrispondente teorema limite per un test a campione unico, che valuta la distanza tra un sottospazio empirico e un noto sottospazio di riferimento. Questo risultato funge da fondamento tecnico per la prova a due campioni ed è presentato come un risultato di interesse indipendente, fornendo una base per intervalli di confidenza sulla distanza di proiezione.

Contributi Chiave

1. Un Test a Due Campioni per Sottospazi Comuni: Gli autori propongono un test spettrale per l'uguaglianza degli spazi di colonna di matrici di probabilità a basso rango. Dimostrano la sua normalità asintotica e forniscono stimatori consistenti per i loro parametri, consentendo un rigoroso controllo dell'errore di Tipo I senza ricorrere a metodi di ricampionamento computazionalmente intensivi come il bootstrap.
2. Applicazione alle Famiglie di Modelli a Blocchi: Il framework si dimostra applicabile sia agli SBM che agli MMSBM. Il test rileva efficacementamente i cambiamenti nella struttura delle comunità (assegnazioni di appartenenza), anche quando le probabilità di connessione variano, distinguendo tra spostamenti strutturali e semplici fluttuazioni di densità.
3. Teorema Limite per le Distanze di Proiezione: Il documento deriva un teorema limite per la distanza di proiezione tra spazi eigenspeciali empirici e reali sotto rumore di Bernoulli. Questo generalizza risultati precedenti che spesso assumevano rumore gaussiano o si concentravano su singoli autovettori, fornendo una teoria distributiva globale per gli errori di stima del sottospazio.

Risultati

Simulazioni Numeriche

Gli autori validano il metodo attraverso estese simulazioni su dati sintetici:

• Modelli a Blocchi Stocastici (SBM): Il test dimostra un forte potere nel distinguere reti con diverse strutture di comunità. Anche piccole perturbazioni (riassegnazione di un piccolo numero di nodi) vengono rilevate con alta probabilità all'aumentare della densità della rete.
• SBM a Appartenenza Mista (MMSBM): Il test rileva con successo gli spostamenti nei profili di appartenenza mista. Le simulazioni indicano che, sebbene il test sia efficace, rilevare i cambiamenti nei regimi di assegnazione "soft" (MMSBM) richiede perturbazioni leggermente maggiori o reti più dense rispetto ai regimi di assegnazione "hard" (SBM).
• Controllo della Dimensione: La dimensione empirica del test rimane vicina al livello di significatività nominale ($\alpha = 0.05$) e migliora all'aumentare della densità della rete.

Applicazione al Mondo Reale

La metodologia viene applicata ai dati sui voli domestici negli Stati Uniti (gennaio 2016 – settembre 2021) per analizzare la rete aeroportuale.

• Periodi Stabili: I confronti tra le reti di volo di gennaio e novembre in diversi anni non mostrano differenze strutturali statisticamente significative, indicando strutture di comunità stabili.
• Disruzione Strutturale: I confronti che coinvolgono il giugno 2020 (il picco della disruzione causata dalla pandemia di COVID-19) rivelano differenze statisticamente significative nella struttura del sottospazio della rete rispetto ad altri anni. Ciò conferma la capacità del test di rilevare importanti disruzioni strutturali nei dati di rete reali.

Significato e Rivendicazioni

Il documento sostiene di fornire un quadro rigoroso e computazionalmente efficiente per il test di ipotesi sulle reti che va oltre il test di uguaglità di parametri specifici (es. esatte probabilità di connessione) per testare la stabilità della struttura geometrica sottostante (il sottospazio).

• Robustezza: A differenza dei metodi che dipendono dall'appaiamento esatto dei parametri o assumono strutture di rumore specifiche (come il rumore Gaussiano), questo approccio è robusto alle fluttuazioni di densità di connessione e si adatta al rumore di Bernoulli eteroschedastico inerente ai dati di rete.
• Novità Teorica: La derivazione del limite Gaussiano per la distanza di proiezione sotto rumore di Bernoulli è presentata come un significativo avanzamento teorico, colmando una lacuna nella letteratura dove tali risultati distributivi erano precedentemente non disponibili per questo specifico contesto.
• Utilità Pratica: Fornendo distribuzioni limite in forma chiusa e stimatori consistenti, il metodo evita l'onere computazionale dei test di permutazione o delle procedure bootstrap, rendendolo scalabile per grandi dataset di rete.

Gli autori osservano che, sebbene i loro risultati siano stabiliti sotto rumore di Bernoulli indipendente e limitato, lavori futuri potrebbero estendere questi teoremi limite a distribuzioni a coda pesante o strutture di connessione dipendenti. Inoltre, l'analisi attuale assume che il rango $k$ sia noto, e l'integrazione dell'incertezza nella selezione del rango rimane una sfida aperta.