Resumo Técnico: O Rango Não é Capacidade: Ocupação Espectral para Modelos de Grafos Latentes

Declaração do Problema

Na aprendizagem de representação de grafos, a dimensão do espaço latente é uma escolha de design crítica que governa o comportamento do modelo. No entanto, essa dimensão é tradicionalmente tratada como um hiperparâmetro frágil: é fixada antes do treinamento e ajustada por meio de desempenho em conjunto de validação. Essa abordagem sofre de dois problemas fundamentais:

1. Identificabilidade: Os fatores latentes aprendidos são identificáveis apenas até rotação e reescalonamento global. Consequentemente, o rango nominal (a dimensão declarada) raramente coincide com a quantidade que realmente governa o comportamento do modelo.
2. Falta de Controle: Os procedimentos de seleção existentes (por exemplo, cotovelos de verossimilhança perfilada, seleção bayesiana, validação cruzada) tipicamente selecionam uma única dimensão, seja antes ou após o ajuste. Eles falham em expor a "capacidade representacional"—o número de modos latentes efetivamente utilizados pelo modelo ajustado—como uma quantidade mensurável, controlável ou auditável dentro do próprio modelo.

Em regimes superparametrizados, a quantidade operante não é o rango declarado, mas como a massa representacional é distribuída entre os modos latentes.

Metodologia: SPECTRA

Os autores propõem a Extração de Prefixo Espectral e Análise de Representação Alvo de Capacidade (SPECTRA), um framework que substitui o rango nominal pelo espectro de um kernel semidefinido positivo (PSD) aprendido como unidade de análise.

Componentes Principais

1. Kernel Normalizado por Rastreamento:
   Em vez de fixar o rango $r$ como a dimensão, o SPECTRA parametriza um kernel de afinidade latente $K \in \mathbb{R}^{N \times N}$ via um fator limitado por rango $L \in \mathbb{R}^{N \times r}$. Crucialmente, o kernel é normalizado por rastreamento:
   $$K(L) = \frac{N \cdot LL^\top}{\text{tr}(LL^\top)}$$
   Essa normalização fixa a massa espectral total em $N$, garantindo que diferenças na distribuição de autovalores reflitam como a representação aloca seu orçamento espectral fixo entre os modos latentes, em vez de diferenças na magnitude geral. Isso torna os espectros comparáveis entre diferentes ajustes e limites de rango.

2. Ocupação Espectral e Dimensão Efetiva:
   Os autovalores normalizados $\lambda_i(K)$ definem uma distribuição de probabilidade $p_i(K) = \lambda_i(K)/N$ sobre os modos espectrais, denominada distribuição de ocupação espectral. Os autores definem a dimensão espectral efetiva ($d_{\text{spec}}$) como o exponencial da entropia de Shannon dessa distribuição:
   $$d_{\text{spec}}(K) := \exp\left( -\sum_{i: p_i > 0} p_i \log p_i \right)$$
   Diferentemente do rango rígido, $d_{\text{spec}}$ é uma medida suave e contínua da capacidade realizada. Ela é igual a 1 se toda a massa estiver em um único modo e igual a $s$ se a massa estiver distribuída uniformemente sobre $s$ modos.

3. Objetivo de Controle de Capacidade:
   Para controlar a dimensão realizada durante o treinamento, o SPECTRA introduz um objetivo regularizado por entropia:
   $$F_\eta(L, a, \beta) = \ell(L, a, \beta) - \eta \log d_{\text{spec}}(K(L)) + R(L, a, \beta)$$
   Aqui, $\ell$ é a perda de previsão de links, $R$ é a regularização quadrática e $\eta$ é um peso escalar de entropia.

   • $\eta > 0$ incentiva um espectro difuso (maior $d_{\text{spec}}$).
   • $\eta < 0$ incentiva um espectro concentrado (menor $d_{\text{spec}}$).
   • $\eta = 0$ corresponde ao ajuste de máxima verossimilhança padrão sem viés de entropia espectral.

4. Alvo e Calibração:
   Os autores estabelecem que, sob condições de regularidade local (espectro ativo simples e Hessiana não degenerada), a dimensão realizada $d_{\text{spec}}(\eta)$ é localmente $C^1$ e monotonicamente não decrescente em relação a $\eta$. Isso permite o uso de bissecção para encontrar um $\eta^*$ que vise uma dimensão efetiva desejada $d^*_{\text{spec}}$ dentro de uma tolerância especificada.

5. Prefixos Espectrais:
   Um único kernel ajustado gera uma família aninhada de representações alinhadas de dimensão inferior. Ao truncar o kernel para seus $k$ principais modos próprios ($K_k$), obtém-se a aproximação ótima de posto-$k$ PSD (pelo teorema de Eckart–Young–Mirsky). Esses prefixos espectrais fornecem visualizações alinhadas de menor capacidade do mesmo modelo ajustado, sem necessidade de retreinamento.

Contribuições Principais

1. Ocupação Espectral como Capacidade Realizada: O artigo substitui o rango nominal pelo espectro normalizado por rastreamento do kernel PSD aprendido, utilizando o rango efetivo de Shannon ($d_{\text{spec}}$) como uma medida suave da dimensão latente realizada.
2. Controle de Capacidade em Tempo de Treinamento: Introduz um objetivo regularizado por entropia onde um escalar $\eta$ molda a dimensão espectral realizada, permitindo o direcionamento de valores específicos de $d_{\text{spec}}$ via bissecção.
3. Garantias Teóricas: Os autores verificam a identificabilidade dos modos espectrais ativos sob condições de espectro simples e estabelecem o comportamento local $C^1$ e a monotonicidade do perfil de dimensão realizada. Eles também provam que os prefixos espectrais são resumos PSD de baixo rango ótimos.
4. Fronteiras Empíricas de Capacidade: Experimentos em oito redes de referência (colaboração, sociais, biológicas, infraestrutura) revelam que o desempenho preditivo (AUC) alinha-se pela $d_{\text{spec}}$ alcançada, e não pelo rango nominal. Isso distingue entre conjuntos de dados "saturados" (onde o desempenho atinge o pico abaixo do limite de rango) e conjuntos de dados "limitados pelo teto de rango" (onde o desempenho melhora conforme o teto aumenta).
5. Famílias de Prefixos de Ajuste Único: Um kernel ajustado fornece uma família aninhada de prefixos espectrais alinhados, oferecendo visualizações de menor capacidade da mesma representação sem retreinamento.
6. Superparametrização Controlada Espectralmente: Em experimentos pareados, ajustes superparametrizados alvo de $\eta$ (onde $r > d_{\text{spec}}$) melhoram a verossimilhança logarítmica de teste e reduzem a lacuna entre treinamento e teste em comparação com baselines de apenas limite de rango, mesmo quando combinados para capacidade efetiva.

Resultados Experimentais

• Conjuntos de Dados: O método foi avaliado em oito grafos não direcionados, incluindo redes de citação (ca-GrQc, ca-HepTh), redes sociais (socfb-American75, socfb-Amherst41), redes biológicas (bio-grid-human, bio-grid-worm) e redes de infraestrutura (inf-power, inf-openflights).
• Baselines: O SPECTRA foi comparado a embeddings euclidianos (Node2Vec, Role2Vec), fatoração de matrizes (NetMF, GRAREP), modelos de mistura de membros (MNMF) e modelos de simplex de distância latente (HM-LDM).
• Desempenho:
  • Com contagens de parâmetros combinadas, o SPECTRA ($\eta=0$) alcançou o melhor ou segundo melhor AUC em 7/8 conjuntos de dados através de várias dimensões.
  • O SPECTRA Alvo de Capacidade permaneceu competitivo em dimensões realizadas substancialmente menores. Por exemplo, visar o rango efetivo mediano das baselines frequentemente produziu desempenho comparável com $d_{\text{spec}}$ significativamente menor.
  • Análise de Fronteira: Ao plotar o AUC contra a $d_{\text{spec}}$ alcançada, curvas de diferentes limites de rango ($r=64, 128, 256$) colapsaram em uma fronteira comum. Isso confirma que o desempenho é organizado pela capacidade espectral realizada, e não pelo rango nominal.
  • Superparametrização: Visar uma $d^*_{\text{spec}}$ específica usando um limite de rango maior $r$ resultou em modelos melhor calibrados (menor lacuna de generalização e maior verossimilhança logarítmica de teste) em comparação com o treinamento com um limite de rango igual a $d^*_{\text{spec}}$.

Significado e Alegações

O artigo argumenta que a capacidade deve ser tratada como uma propriedade do modelo ajustado, e não como um hiperparâmetro do processo de treinamento. Ao deslocar o foco do rango nominal para a ocupação espectral, o SPECTRA torna visível e controlável o trade-off entre precisão preditiva e dimensão realizada.

Os autores afirmam que essa abordagem:

• Fornece uma alavanca principial para a capacidade no regime superparametrizado.
• Permite a extração de visualizações alinhadas de menor capacidade de um modelo (prefixos espectrais) sem retreinamento.
• Distingue entre conjuntos de dados onde a estrutura latente é totalmente capturada por um pequeno número de modos (saturados) e aqueles onde o modelo é limitado pelo teto de rango.
• Oferece uma coordenada contínua ($d_{\text{spec}}$) para comparar a complexidade estrutural de diferentes redes, potencialmente aplicável ao estudo de como a complexidade da rede varia em diferentes contextos (por exemplo, social, biológico, infraestrutura).

O trabalho é modesto sobre suas limitações, observando que atualmente opera dentro de espaços latentes euclidianos. Estender esses conceitos para geometrias não euclidianas (por exemplo, embeddings com valores em simplex ou hiperbólicos) e desenvolver protocolos de pré-processamento comuns para comparações entre redes são deixados para trabalhos futuros.