Resumen Técnico: El Rango No es la Capacidad: Ocupación Espectral para Modelos de Grafos Latentes

Declaración del Problema

En el aprendizaje de representaciones de grafos, la dimensión del espacio latente es una elección de diseño crítica que gobierna el comportamiento del modelo. Sin embargo, esta dimensión se trata tradicionalmente como un hiperparámetro frágil: se fija antes del entrenamiento y se ajusta mediante el rendimiento en un conjunto de validación. Este enfoque adolece de dos problemas fundamentales:

1. Identificabilidad: Los factores latentes aprendidos son identificables solo hasta una rotación y un reescalado global. En consecuencia, el rango nominal (la dimensión declarada) rara vez coincide con la cantidad que realmente gobierna el comportamiento del modelo.
2. Falta de Control: Los procedimientos de selección existentes (por ejemplo, codos de verosimilitud perfilada, selección bayesiana, validación cruzada) suelen seleccionar una sola dimensión ya sea antes o después del ajuste. No logran exponer la "capacidad representacional"—el número de modos latentes utilizados efectivamente por el modelo ajustado—como una cantidad medible, controlable o auditable dentro del propio modelo.

En regímenes sobreparametrizados, la cantidad operativa no es el rango declarado, sino cómo se distribuye la masa representacional a través de los modos latentes.

Metodología: SPECTRA

Los autores proponen Extracción de Prefijos Espectrales y Análisis de Representación Dirigido a la Capacidad (SPECTRA), un marco que reemplaza el rango nominal con el espectro de un kernel semidefinido positivo (PSD) aprendido como unidad de análisis.

Componentes Principales

1. Kernel Normalizado por la Trazas:
   En lugar de fijar el rango $r$ como la dimensión, SPECTRA parametriza un kernel de afinidad latente $K \in \mathbb{R}^{N \times N}$ mediante un factor limitado por rango $L \in \mathbb{R}^{N \times r}$. Crucialmente, el kernel está normalizado por la traza:
   $$K(L) = \frac{N \cdot LL^\top}{\text{tr}(LL^\top)}$$
   Esta normalización fija la masa espectral total en $N$, asegurando que las diferencias en la distribución de los valores propios reflejen cómo la representación asigna su presupuesto espectral fijo a través de los modos latentes, en lugar de diferencias en la magnitud general. Esto hace que los espectros sean comparables entre diferentes ajustes y límites de rango.

2. Ocupación Espectral y Dimensión Efectiva:
   Los valores propios normalizados $\lambda_i(K)$ definen una distribución de probabilidad $p_i(K) = \lambda_i(K)/N$ sobre los modos espectrales, denominada distribución de ocupación espectral. Los autores definen la dimensión espectral efectiva ($d_{\text{spec}}$) como el exponencial de la entropía de Shannon de esta distribución:
   $$d_{\text{spec}}(K) := \exp\left( -\sum_{i: p_i > 0} p_i \log p_i \right)$$
   A diferencia del rango rígido, $d_{\text{spec}}$ es una medida suave y continua de la capacidad realizada. Es igual a 1 si toda la masa está en un solo modo y es igual a $s$ si la masa se distribuye uniformemente sobre $s$ modos.

3. Objetivo de Control de Capacidad:
   Para controlar la dimensión realizada durante el entrenamiento, SPECTRA introduce un objetivo regularizado por entropía:
   $$F_\eta(L, a, \beta) = \ell(L, a, \beta) - \eta \log d_{\text{spec}}(K(L)) + R(L, a, \beta)$$
   Aquí, $\ell$ es la pérdida de predicción de enlaces, $R$ es la regularización cuadrática y $\eta$ es un peso escalar de entropía.

   • $\eta > 0$ fomenta un espectro difuso (mayor $d_{\text{spec}}$).
   • $\eta < 0$ fomenta un espectro concentrado (menor $d_{\text{spec}}$).
   • $\eta = 0$ corresponde al ajuste de máxima verosimilitud estándar sin sesgo de entropía espectral.

4. Dirigir y Calibrar:
   Los autores establecen que, bajo condiciones de regularidad local (espectro activo simple y Hessiano no degenerado), la dimensión realizada $d_{\text{spec}}(\eta)$ es localmente $C^1$ y monótonamente no decreciente con respecto a $\eta$. Esto permite el uso de la bisección para encontrar un $\eta^*$ que apunte a una dimensión efectiva deseada $d^*_{\text{spec}}$ dentro de una tolerancia especificada.

5. Prefijos Espectrales:
   Un kernel ajustado único produce una familia anidada de representaciones alineadas de menor dimensión. Al truncar el kernel a sus $k$ modos propios superiores ($K_k$), se obtiene la aproximación PSD óptima de rango $k$ (según el teorema de Eckart–Young–Mirsky). Estos prefijos espectrales proporcionan vistas alineadas de menor capacidad del mismo modelo ajustado sin necesidad de reentrenamiento.

Contribuciones Clave

1. Ocupación Espectral como Capacidad Realizada: El artículo reemplaza el rango nominal con el espectro normalizado por la traza del kernel PSD aprendido, utilizando el rango efectivo de Shannon ($d_{\text{spec}}$) como una medida suave de la dimensión latente realizada.
2. Control de Capacidad en Tiempo de Entrenamiento: Introduce un objetivo regularizado por entropía donde un escalar $\eta$ moldea la dimensión espectral realizada, permitiendo apuntar a valores específicos de $d_{\text{spec}}$ mediante bisección.
3. Garantías Teóricas: Los autores verifican la identificabilidad de los modos espectrales activos bajo condiciones de espectro simple y establecen el comportamiento local $C^1$ y la monotonía del perfil de dimensión realizada. También demuestran que los prefijos espectrales son resúmenes PSD de rango bajo óptimos.
4. Frentes de Capacidad Empíricos: Los experimentos en ocho redes de referencia (colaboración, sociales, biológicas, infraestructura) revelan que el rendimiento predictivo (AUC) se alinea por $d_{\text{spec}}$ alcanzada y no por el rango nominal. Esto distingue entre conjuntos de datos "saturados" (donde el rendimiento alcanza su punto máximo por debajo del límite de rango) y conjuntos de datos "ligados al límite de rango" (donde el rendimiento mejora a medida que aumenta el límite).
5. Familias de Prefijos de Ajuste Único: Un kernel ajustado proporciona una familia anidada de prefijos espectrales alineados, ofreciendo vistas de menor capacidad de la misma representación sin reentrenamiento.
6. Sobreparametrización Controlada Espectralmente: En experimentos emparejados, los ajustes sobreparametrizados dirigidos por $\eta$ (donde $r > d_{\text{spec}}$) mejoran la verosimilitud de prueba y reducen la brecha entre entrenamiento y prueba en comparación con las líneas base de solo límite de rango, incluso cuando se igualan para capacidad efectiva.

Resultados Experimentales

• Conjuntos de Datos: El método se evaluó en ocho grafos no dirigidos, incluidas redes de citación (ca-GrQc, ca-HepTh), redes sociales (socfb-American75, socfb-Amherst41), redes biológicas (bio-grid-human, bio-grid-worm) y redes de infraestructura (inf-power, inf-openflights).
• Líneas Base: SPECTRA se comparó con incrustaciones euclidianas (Node2Vec, Role2Vec), factorización de matrices (NetMF, GRAREP), modelos de membresía mixta (MNMF) y modelos de simplex de distancia latente (HM-LDM).
• Rendimiento:
  • Con conteos de parámetros igualados, SPECTRA ($\eta=0$) logró el AUC superior o segundo mejor en 7 de 8 conjuntos de datos a través de varias dimensiones.
  • SPECTRA Dirigido a la Capacidad permaneció competitivo en dimensiones realizadas sustancialmente más pequeñas. Por ejemplo, apuntar a la mediana del rango efectivo de las líneas base a menudo producía un rendimiento comparable con una $d_{\text{spec}}$ significativamente menor.
  • Análisis de Frente: Al graficar el AUC contra la $d_{\text{spec}}$ alcanzada, las curvas de diferentes límites de rango ($r=64, 128, 256$) colapsaron en un frente común. Esto confirma que el rendimiento está organizado por la capacidad espectral realizada, no por el rango nominal.
  • Sobreparametrización: Apuntar a una $d^*_{\text{spec}}$ específica usando un límite de rango $r$ más grande resultó en modelos mejor calibrados (menor brecha de generalización y mayor verosimilitud de prueba) en comparación con el entrenamiento con un límite de rango igual a $d^*_{\text{spec}}$.

Significado y Afirmaciones

El artículo argumenta que la capacidad debe tratarse como una propiedad del modelo ajustado y no como un hiperparámetro del proceso de entrenamiento. Al cambiar el enfoque del rango nominal a la ocupación espectral, SPECTRA hace visible y controlable la compensación entre la precisión predictiva y la dimensión realizada.

Los autores afirman que este enfoque:

• Proporciona un manejo principiado de la capacidad en el régimen sobreparametrizado.
• Permite la extracción de vistas alineadas de menor capacidad de un modelo (prefijos espectrales) sin reentrenamiento.
• Distingue entre conjuntos de datos donde la estructura latente está completamente capturada por un pequeño número de modos (saturados) y aquellos donde el modelo está restringido por el límite de rango.
• Ofrece una coordenada continua ($d_{\text{spec}}$) para comparar la complejidad estructural de diferentes redes, potencialmente aplicable al estudio de cómo varía la complejidad de la red en diferentes contextos (por ejemplo, social, biológico, infraestructura).

El trabajo es modesto sobre sus limitaciones, señalando que actualmente opera dentro de espacios latentes euclidianos. Extender estos conceptos a geometrías no euclidianas (por ejemplo, incrustaciones con valores en simplex o hiperbólicas) y desarrollar protocolos de preprocesamiento comunes para comparaciones entre redes se deja para trabajos futuros.