Resumen Técnico: Prueba de Hipótesis de Dos Muestras para la Igualdad de Subespacios en Datos de Redes

Formulación del Problema

El artículo aborda el desafío fundamental de determinar si dos conjuntos de datos con valores de red independientes comparten los mismos patrones de conectividad estructural subyacentes, específicamente sus estructuras de comunidades latentes, incluso cuando sus probabilidades de conexión difieren significativamente. En muchas aplicaciones, como la comparación de redes sociales entre plataformas o el análisis de la conectividad de aeropuertos a lo largo del tiempo, las "comunidades" (grupos latentes) pueden permanecer estables mientras que la densidad o las probabilidades de conexión específicas fluctúan.

Formalmente, sean $A^{(1)}$ y $A^{(2)}$ dos matrices de adyacencia independientes de tamaño $n \times n$, generadas a partir de matrices de probabilidad simétricas y de bajo rango $P^{(1)}$ y $P^{(2)}$ de rango $k$. Los autores proponen probar la hipótesis nula de que los espacios columna (subespacios) generados por los autovectores principales de estas matrices de probabilidad son idénticos:
$$H_0: V^{(1)}(V^{(1)})^\top = V^{(2)}(V^{(2)})^\top$$
frente a la hipótesis alternativa $H_1$ donde los subespacios difieren. Aquí, $V^{(i)} \in \mathbb{R}^{n \times k}$ contiene los autovectores ortonormales correspondientes a los autovalores distintos de cero de $P^{(i)}$.

Se demuestra que esta hipótesis es equivalente a probar la igualdad de las estructuras de comunidad en Modelos de Bloques Estocásticos (SBM) y Modelos de Bloques Estocásticos de Membresía Mixta (MMSBM), salvo por permutación y escala, e igualdad de los espacios de características latentes en Grafos de Producto de Punto Aleatorio Generalizado (GRDPG).

Metodología

Estadístico de Prueba

El estadístico de prueba propuesto se basa en la norma de Frobenius de la diferencia entre las matrices de proyección espectral empírica de las dos redes. Sea $\hat{V}^{(i)}$ la matriz de los $k$ autovectores empíricos principales de $A^{(i)}$. El estadístico se define como:
$$T_n := \| \hat{V}^{(1)}(\hat{V}^{(1)})^\top - \hat{V}^{(2)}(\hat{V}^{(2)})^\top \|_F^2$$

Teoría Asintótica

La contribución teórica central es un teorema de límite que establece que, bajo un centrado y escalado apropiados, $T_n$ converge en distribución a una variable aleatoria gaussiana estándar. Este resultado se sostiene bajo las siguientes condiciones:

1. Dispersión (Sparsity): El grado esperado promedio crece al menos logarítmicamente con el número de vértices ($n\rho_n \gg \log n$).
2. Escalamiento de Autovalores: Los autovalores distintos de cero de las matrices de probabilidad escalan linealmente con $n\rho_n$.
3. Incoherencia: Las filas de los autovectores de la población están distribuidas uniformemente (una condición satisfecha por tamaños de comunidad equilibrados en los modelos de bloques).

La media asintótica ($\mu_2$) y la varianza ($\sigma_2^2$) del estadístico se derivan explícitamente en términos de los parámetros de la población. La derivación se basa en una novedosa expansión de serie matricial de la diferencia de la proyección, descomponiendo el estadístico en un término dominante de segundo orden y términos de resto de orden superior. La demostración utiliza un teorema del límite central de martingala para establecer el límite gaussiano para el término de segundo orden, mientras que demuestra que los términos de orden superior son asintóticamente despreciables.

Estimación Basada en Datos

Para hacer operativa la prueba, los autores proponen estimadores de inserción (plug-in) consistentes para la media y la varianza asintóticas. Estos estimadores reemplazan los autovectores y autovalores de la población desconocidos por sus contrapartes empíricas. La consistencia de estos estimadores se demuestra bajo una suposición de "régimen denso" ligeramente más fuerte ($n\rho_n \gg \sqrt{n}$), la cual asegura que el error de estimación no distorsione la distribución límite.

Análogo de Una Muestra

El artículo también establece un teorema de límite correspondiente para una prueba de una muestra, que evalúa la distancia entre un subespacio empírico y un subespacio de referencia conocido. Este resultado sirve como base técnica para la prueba de dos muestras y se presenta como un resultado de interés independiente, proporcionando una base para intervalos de confianza sobre la distancia de proyección.

Principales Contribuciones

1. Una Prueba de Dos Muestras para Subespacios Comunes: Los autores proponen un estadístico de prueba espectral para la igualdad de los espacios columna de matrices de probabilidad de bajo rango. Demuestran su normalidad asintótica y proporcionan estimadores consistentes para sus parámetros, permitiendo un control riguroso del error Tipo I sin recurrir a métodos de remuestreo computacionalmente intensivos como el bootstrapping.
2. Aplicación a Familias de Modelos de Bloques: Se demuestra que el marco es aplicable tanto a SBM como a MMSBM. La prueba detecta eficazmente cambios en la estructura de comunidad (asignaciones de membresía) incluso cuando las probabilidades de conexión varían, distinguiendo entre cambios estructurales y meras fluctuaciones de densidad.
3. Teorema de Límite para Distancias de Proyección: El artículo deriva un teorema de límite para la distancia de proyección entre los subespacios espectrales empíricos y los verdaderos bajo ruido de Bernoulli. Esto generaliza resultados previos que a menudo asumían ruido gaussiano o se centraban en autovectores individuales, proporcionando una teoría de distribución global para los errores de estimación de subespacios.

Resultados

Simulaciones Numéricas

Los autores validan el método mediante extensas simulaciones en datos sintéticos:

• Modelos de Bloques Estocásticos (SBM): La prueba demuestra un fuerte poder para distinguir redes con diferentes estructuras de comunidad. Incluso pequeñas perturbaciones (reasignación de un pequeño número de nodos) son detectadas con alta probabilidad a medida que aumenta la densidad de la red.
• Modelos de Bloques Estocásticos de Membresía Mixta (MMSBM): La prueba detecta con éxito los cambios en los perfiles de membresía mixta. Las simulaciones indican que, si bien la prueba es efectiva, detectar cambios en los regímenes de asignación suave (MMSBM) requiere perturbaciones ligeramente mayores o redes más densas en comparación con los regímenes de asignación dura (SBM).
• Control de Tamaño: El tamaño empírico de la prueba permanece cercano al nivel de significancia nominal ($\alpha = 0.05$) y mejora a medida que aumenta la densidad de la red.

Aplicación en el Mundo Real

La metodología se aplica a los datos de vuelos nacionales de EE. UU. (enero 2016 – septiembre 2021) para analizar la red de aeropuertos.

• Periodos Estables: Las comparaciones de las redes de vuelos en enero y noviembre de diferentes años no muestran diferencias estructurales estadísticamente significativas, lo que indica estructuras de comunidad estables.
• Disrupción Estructural: Las comparaciones que involucran a junio de 2020 (el pico de la interrupción por la pandemia de COVID-19) revelan diferencias estadísticamente significativas en la estructura del subespacio de la red en comparación con otros años. Esto confirma la capacidad de la prueba para detectar disrupciones estructurales importantes en datos de redes del mundo real.

Significación y Reivindicaciones

El artículo afirma proporcionar un marco riguroso y computacionalmente eficiente para la prueba de hipótesis de redes que va más allá de probar la igualdad de parámetros específicos (por ejemplo, probabilidades exactas de conexión) para probar la estabilidad de la estructura geométrica subyacente (el subespacio).

• Robustez: A diferencia de los métodos que dependen de la coincidencia exacta de parámetros o asumen estructuras de ruido específicas (como la gaussiana), este enfoque es robusto a las fluctuaciones de la densidad de las aristas y está adaptado al ruido de Bernoulli heterocedástico inherente a los datos de redes.
• Novedad Teórica: La derivación del límite gaussiano para la distancia de proyección bajo ruido de Bernoulli se presenta como un avance teórico significativo, llenando un vacío en la literatura donde tales resultados de distribución no estaban disponibles anteriormente para este escenario específico.
• Utilidad Práctica: Al proporcionar distribuciones de límite de forma cerrada y estimadores consistentes, el método evita la carga computacional de las pruebas de permutación o los procedimientos de bootstrap, lo que lo hace escalable para grandes conjuntos de datos de redes.

Los autores señalan que, aunque sus resultados se establecen bajo ruido de Bernoulli independiente y acotado, trabajos futuros podrían extender estos teoremas de límite a distribuciones de cola pesada o estructuras de dependencia de las aristas. Además, el análisis actual asume que el rango $k$ es conocido, y la incorporación de la incertidumbre en la selección del rango sigue siendo un desafío abierto.