Riepilogo Tecnico: Il Rango Non è la Capacità: Occupazione Spettrale per Modelli di Grafo Latenti

Enunciato del Problema

Nell'apprendimento di rappresentazioni di grafi, la dimensione dello spazio latente è una scelta progettuale critica che governa il comportamento del modello. Tuttavia, questa dimensione è tradizionalmente trattata come un iperparametro fragile: viene fissata prima dell'addestramento e ottimizzata tramite prestazioni su un insieme di validazione. Questo approccio soffre di due problemi fondamentali:

1. Identificabilità: I fattori latenti appresi sono identificabili solo a meno di rotazione e ridimensionamento globale. Di conseguenza, il rango nominale (la dimensione dichiarata) raramente coincide con la quantità che governa effettivamente il comportamento del modello.
2. Mancanza di Controllo: Le procedure di selezione esistenti (ad esempio, gomiti della verosimiglianza profilo, selezione bayesiana, validazione incrociata) selezionano tipicamente una singola dimensione prima o dopo l'adattamento. Esse non riescono a esporre la "capacità rappresentazionale" — il numero di modalità latenti effettivamente utilizzate dal modello adattato — come una quantità misurabile, controllabile o auditabile all'interno del modello stesso.

Nei regimi sovraparametrizzati, la quantità operativa non è il rango dichiarato, ma come la massa rappresentazionale è distribuita tra le modalità latenti.

Metodologia: SPECTRA

Gli autori propongono Estrazione del Prefisso Spettrale e Analisi della Rappresentazione Mirata alla Capacità (SPECTRA), un framework che sostituisce il rango nominale con lo spettro di un kernel semidefinito positivo (PSD) appreso come unità di analisi.

Componenti Principali

1. Kernel Normalizzato per la Traccia:
   Invece di fissare il rango $r$ come dimensione, SPECTRA parametrizza un kernel di affinità latente $K \in \mathbb{R}^{N \times N}$ tramite un fattore limitato al rango $L \in \mathbb{R}^{N \times r}$. Crucialmente, il kernel è normalizzato per la traccia:
   $$K(L) = \frac{N \cdot LL^\top}{\text{tr}(LL^\top)}$$
   Questa normalizzazione fissa la massa spettrale totale a $N$, assicurando che le differenze nella distribuzione degli autovalori riflettano come la rappresentazione alloca il proprio budget spettrale fisso tra le modalità latenti, piuttosto che differenze nella magnitudine complessiva. Ciò rende gli spettri confrontabili tra diversi adattamenti e limiti di rango.

2. Occupazione Spettrale e Dimensione Effettiva:
   Gli autovalori normalizzati $\lambda_i(K)$ definiscono una distribuzione di probabilità $p_i(K) = \lambda_i(K)/N$ sulle modalità spettrali, denominata distribuzione di occupazione spettrale. Gli autori definiscono la dimensione spettrale effettiva ($d_{\text{spec}}$) come l'esponenziale dell'entropia di Shannon di questa distribuzione:
   $$d_{\text{spec}}(K) := \exp\left( -\sum_{i: p_i > 0} p_i \log p_i \right)$$
   A differenza del rango rigido, $d_{\text{spec}}$ è una misura liscia e continua della capacità realizzata. Essa è uguale a 1 se tutta la massa è in una singola modalità e uguale a $s$ se la massa è distribuita uniformemente su $s$ modalità.

3. Obiettivo di Controllo della Capacità:
   Per controllare la dimensione realizzata durante l'addestramento, SPECTRA introduce un obiettivo regolarizzato per l'entropia:
   $$F_\eta(L, a, \beta) = \ell(L, a, \beta) - \eta \log d_{\text{spec}}(K(L)) + R(L, a, \beta)$$
   Qui, $\ell$ è la perdita di previsione dei link, $R$ è la regolarizzazione quadratica e $\eta$ è un peso scalare per l'entropia.

   • $\eta > 0$ incoraggia uno spettro diffuso (più alto $d_{\text{spec}}$).
   • $\eta < 0$ incoraggia uno spettro concentrato (più basso $d_{\text{spec}}$).
   • $\eta = 0$ corrisponde all'adattamento di massima verosimiglianza standard senza bias di entropia spettrale.

4. Targeting e Calibrazione:
   Gli autori stabiliscono che, sotto condizioni di regolarità locale (spettro attivo semplice e Hessiano non degenere), la dimensione realizzata $d_{\text{spec}}(\eta)$ è localmente $C^1$ e monotonicamente non decrescente rispetto a $\eta$. Ciò permette l'uso della bisezione per trovare un $\eta^*$ che miri a una dimensione effettiva desiderata $d^*_{\text{spec}}$ entro una tolleranza specificata.

5. Prefissi Spettrali:
   Un singolo kernel adattato produce una famiglia nidificata di rappresentazioni allineate a dimensionalità inferiore. Troncando il kernel ai suoi primi $k$ autovettori ($K_k$), si ottiene l'approssimazione PSD ottimale di rango-$k$ (per il teorema di Eckart–Young–Mirsky). Questi prefissi spettrali forniscono visualizzazioni allineate a capacità inferiore dello stesso modello adattato senza riaddestramento.

Contributi Chiave

1. Occupazione Spettrale come Capacità Realizzata: Il documento sostituisce il rango nominale con lo spettro normalizzato per la traccia del kernel PSD appreso, utilizzando il rango effettivo di Shannon ($d_{\text{spec}}$) come misura liscia della dimensione latente realizzata.
2. Controllo della Capacità in Fase di Addestramento: Introduce un obiettivo regolarizzato per l'entropia in cui uno scalare $\eta$ modella la dimensione spettrale realizzata, consentendo il targeting di specifici valori $d^*_{\text{spec}}$ tramite bisezione.
3. Garanzie Teoriche: Gli autori verificano l'identificabilità delle modalità spettrali attive sotto condizioni di spettro semplice e stabiliscono il comportamento locale $C^1$ e la monotonia del profilo della dimensione realizzata. Dimostrano inoltre che i prefissi spettrali sono riassunti PSD a basso rango ottimali.
4. Frontiere di Capacità Empiriche: Esperimenti su otto reti di riferimento (collaborazione, sociali, biologiche, infrastrutture) rivelano che le prestazioni predittive (AUC) si allineano in base alla $d_{\text{spec}}$ raggiunta piuttosto che al rango nominale. Ciò distingue tra dataset "saturati" (dove le prestazioni raggiungono il picco al di sotto del limite di rango) e dataset "vincolati dal limite di rango" (dove le prestazioni migliorano all'aumentare del limite).
5. Famiglie di Prefissi da Singolo Adattamento: Un kernel adattato fornisce una famiglia nidificata di prefissi spettrali allineati, offrendo visualizzazioni a capacità inferiore della stessa rappresentazione senza riaddestramento.
6. Sovraparametrizzazione Controllata Spettralmente: In esperimenti accoppiati, adattamenti sovraparametrizzati mirati a $\eta$ (dove $r > d_{\text{spec}}$) migliorano la verosimiglianza sul test e riducono il divario tra addestramento e test rispetto alle baseline basate solo sul limite di rango, anche quando abbinate per capacità effettiva.

Risultati Sperimentali

• Dataset: Il metodo è stato valutato su otto grafi non orientati, inclusi reti di citazioni (ca-GrQc, ca-HepTh), reti sociali (socfb-American75, socfb-Amherst41), reti biologiche (bio-grid-human, bio-grid-worm) e reti infrastrutturali (inf-power, inf-openflights).
• Baseline: SPECTRA è stato confrontato con embedding euclidei (Node2Vec, Role2Vec), fattorizzazione di matrici (NetMF, GRAREP), modelli a membership mista (MNMF) e modelli di simplex a distanza latente (HM-LDM).
• Prestazioni:
  • A parità di conteggio dei parametri, SPECTRA ($\eta=0$) ha ottenuto il primo o il secondo miglior AUC su 7/8 dataset attraverso varie dimensioni.
  • SPECTRA Mirato alla Capacità è rimasto competitivo a dimensioni realizzate sostanzialmente inferiori. Ad esempio, mirare alla mediana del rango effettivo delle baseline ha spesso prodotto prestazioni comparabili con una $d_{\text{spec}}$ significativamente inferiore.
  • Analisi della Frontiera: Tracciando l'AUC rispetto alla $d_{\text{spec}}$ raggiunta, le curve provenienti da diversi limiti di rango ($r=64, 128, 256$) sono collassate su una frontiera comune. Ciò conferma che le prestazioni sono organizzate dalla capacità spettrale realizzata, non dal rango nominale.
  • Sovraparametrizzazione: Mirare a una specifica $d^*_{\text{spec}}$ utilizzando un limite di rango più ampio $r$ ha portato a modelli meglio calibrati (divario di generalizzazione inferiore e verosimiglianza sul test più alta) rispetto all'addestramento con un limite di rango uguale a $d^*_{\text{spec}}$.

Significato e Affermazioni

Il documento sostiene che la capacità dovrebbe essere trattata come una proprietà del modello adattato piuttosto che come un iperparametro del processo di addestramento. Spostando il focus dal rango nominale all'occupazione spettrale, SPECTRA rende visibile e controllabile il compromesso tra accuratezza predittiva e dimensione realizzata.

Gli autori affermano che questo approccio:

• Fornisce una leva principiale sulla capacità nel regime sovraparametrizzato.
• Permette l'estrazione di visualizzazioni allineate a capacità inferiore di un modello (prefissi spettrali) senza riaddestramento.
• Distingue tra dataset in cui la struttura latente è completamente catturata da un piccolo numero di modalità (saturati) e quelli in cui il modello è vincolato dal limite di rango.
• Offre una coordinata continua ($d_{\text{spec}}$) per confrontare la complessità strutturale di reti diverse, potenzialmente applicabile allo studio di come la complessità della rete varia tra diversi contesti (ad esempio, sociali, biologici, infrastrutturali).

Il lavoro è modesto riguardo ai suoi limiti, notando che attualmente opera all'interno di spazi latenti euclidei. Estendere questi concetti a geometrie non euclidee (ad esempio, embedding a valori di simplex o iperbolici) e sviluppare protocolli di preelaborazione comuni per confronti tra reti sono lasciati come lavoro futuro.