Technische Samenvatting: Rang Is Niet Capaciteit: Spectrale Bezetting voor Latente Grafmodellen

Probleemstelling

Bij het leren van grafrepresentaties is de dimensie van de latente ruimte een kritieke ontwerpkies die het modelgedrag bepaalt. Deze dimensie wordt echter traditioneel behandeld als een broos hyperparameter: deze wordt vastgesteld voorafgaand aan het trainen en afgestemd via prestaties op een vastgehouden dataset. Deze aanpak lijdt aan twee fundamentele problemen:

1. Identificeerbaarheid: Geraakte latente factoren zijn alleen identificeerbaar tot rotatie en globale herschaling. Bijgevolg komt de nominale rang (de verklaarde dimensie) zelden overeen met de grootheid die daadwerkelijk het modelgedrag bepaalt.
2. Gebrek aan Controle: Bestaande selectieprocedures (bijvoorbeeld ellebogen van profiel-likelihood, Bayesiaanse selectie, cross-validatie) selecteren doorgaans een enkele dimensie, hetzij voorafgaand aan het fitten, hetzij daarna. Ze falen erin om "representatieve capaciteit" — het aantal latente modi dat effectief wordt gebruikt door het gefitte model — bloot te leggen als een meetbare, controleerbare of auditabele grootheid binnen het model zelf.

In overgeparameteriseerde regimes is de werkzame grootheid niet de verklaarde rang, maar hoe de representatieve massa over de latente modi is verdeeld.

Methodologie: SPECTRA

De auteurs stellen Spectral Prefix Extraction and Capacity-Targeted Representation Analysis (SPECTRA) voor, een raamwerk dat de nominale rang vervangt door het spectrum van een geleerde positief-semidefiniete (PSD) kernel als eenheid van analyse.

Kerncomponenten

1. Trace-genormaliseerde Kernel:
   In plaats van de rang $r$ als dimensie vast te stellen, parameteriseert SPECTRA een latente affiniteitskernel $K \in \mathbb{R}^{N \times N}$ via een rang-gelimiteerde factor $L \in \mathbb{R}^{N \times r}$. Cruciaal is dat de kernel trace-genormaliseerd is:
   $$K(L) = \frac{N \cdot LL^\top}{\text{tr}(LL^\top)}$$
   Deze normalisatie fixeert de totale spectrale massa op $N$, zodat verschillen in de eigenwaardeverdeling weergeven hoe de representatie haar vaste spectrale budget over de latente modi verdeelt, in plaats van verschillen in de totale grootte. Dit maakt spectra vergelijkbaar over verschillende fits en ranglimieten.

2. Spectrale Bezetting en Effectieve Dimensie:
   De genormaliseerde eigenwaarden $\lambda_i(K)$ definiëren een kansverdeling $p_i(K) = \lambda_i(K)/N$ over spectrale modi, de spectrale bezettingsverdeling genoemd. De auteurs definiëren de effectieve spectrale dimensie ($d_{\text{spec}}$) als de exponentiële van de Shannon-entropie van deze verdeling:
   $$d_{\text{spec}}(K) := \exp\left( -\sum_{i: p_i > 0} p_i \log p_i \right)$$
   In tegenstelling tot een harde rang is $d_{\text{spec}}$ een gladde, continue maat voor gerealiseerde capaciteit. Het is gelijk aan 1 als alle massa in één modus zit, en gelijk aan $s$ als de massa uniform is verdeeld over $s$ modi.

3. Capaciteitsgestuurd Doelwit:
   Om de gerealiseerde dimensie tijdens het trainen te controleren, introduceert SPECTRA een entropie-geregulariseerd doelwit:
   $$F_\eta(L, a, \beta) = \ell(L, a, \beta) - \eta \log d_{\text{spec}}(K(L)) + R(L, a, \beta)$$
   Hierbij is $\ell$ het verlies voor linkvoorspelling, $R$ kwadratische regularisatie, en $\eta$ een scalair entropiegewicht.

   • $\eta > 0$ moedigt een diffuse spectrale verdeling aan (hogere $d_{\text{spec}}$).
   • $\eta < 0$ moedigt een geconcentreerde spectrale verdeling aan (lagere $d_{\text{spec}}$).
   • $\eta = 0$ komt overeen met de standaard maximum-likelihood fit zonder spectrale entropie-bias.

4. Doelgerichtheid en Kalibratie:
   De auteurs stellen vast dat, onder lokale regulariteitsvoorwaarden (eenvoudig actief spectrum en niet-ontaarde Hessian), de gerealiseerde dimensie $d_{\text{spec}}(\eta)$ lokaal $C^1$ is en monotoon niet-dalend met betrekking tot $\eta$. Dit maakt het gebruik van bisection mogelijk om een $\eta^*$ te vinden die een gewenste effectieve dimensie $d^*_{\text{spec}}$ binnen een gespecificeerde tolerantie targett.

5. Spectrale Prefixen:
   Een enkele gefitte kernel levert een geneste familie van uitgelijnde lager-dimensionale representaties op. Door de kernel te trunceren tot zijn bovenste $k$ eigenmodi ($K_k$), verkrijgt men de optimale rang-$k$ PSD-benadering (volgens de stelling van Eckart–Young–Mirsky). Deze spectrale prefixen bieden uitgelijnde, lager-capaciteitsweergaven van hetzelfde gefitte model zonder opnieuw te trainen.

Belangrijkste Bijdragen

1. Spectrale Bezetting als Gerealiseerde Capaciteit: Het paper vervangt de nominale rang door het trace-genormaliseerde spectrum van de geleerde PSD-kernel, met gebruik van de Shannon-effectieve rang ($d_{\text{spec}}$) als een gladde maat voor de gerealiseerde latente dimensie.
2. Capaciteitscontrole tijdens Training: Het introduceert een entropie-geregulariseerd doelwit waarbij een scalair $\eta$ de gerealiseerde spectrale dimensie vormgeeft, waardoor het targeten van specifieke $d_{\text{spec}}$-waarden via bisection mogelijk wordt.
3. Theoretische Waarborgen: De auteurs verifiëren de identificeerbaarheid van actieve spectrale modi onder eenvoudige-spectrumvoorwaarden en stellen lokale $C^1$-gedrag en monotonie van het profiel van de gerealiseerde dimensie vast. Ze bewijzen ook dat spectrale prefixen optimale laag-rang PSD-samenvattingen zijn.
4. Empirische Capaciteitsgrenzen: Experimenten over acht benchmark-netwerken (samenwerking, sociaal, biologisch, infrastructuur) tonen aan dat voorspellende prestaties (AUC) aligneren met de behaalde $d_{\text{spec}}$ in plaats van de nominale rang. Dit onderscheidt tussen "verzadigde" datasets (waar prestaties pieken onder de ranglimiet) en "rang-cap-gebonden" datasets (waar prestaties verbeteren naarmate de limiet toeneemt).
5. Enkel-Fit Prefix-families: Een gefitte kernel biedt een geneste familie van uitgelijnde spectrale prefixen, wat lager-capaciteitsweergaven van dezelfde representatie biedt zonder opnieuw te trainen.
6. Spectraal Gereguleerde Overparameterisatie: In gepaarde experimenten leiden $\eta$-getargeteerde overgeparameteriseerde fits (waarbij $r > d_{\text{spec}}$) tot beter gekalibreerde modellen (lagere generalisatiekloof en hogere test log-likelihood) in vergelijking met baselines die alleen op rang-cap zijn gebaseerd, zelfs wanneer ze zijn gematcht voor effectieve capaciteit.

Experimentele Resultaten

• Datasets: De methode werd geëvalueerd op acht ongerichte grafen, waaronder citatienetwerken (ca-GrQc, ca-HepTh), sociale netwerken (socfb-American75, socfb-Amherst41), biologische netwerken (bio-grid-human, bio-grid-worm) en infrastructuurnetwerken (inf-power, inf-openflights).
• Baselines: SPECTRA werd vergeleken met Euclidische embeddings (Node2Vec, Role2Vec), matrixfactorisatie (NetMF, GRAREP), modellen met gemengde lidmaatschappen (MNMF) en simplex-modellen voor latente afstand (HM-LDM).
• Prestaties:
  • Bij gematchte parameteraantallen behaalde SPECTRA ($\eta=0$) op 7/8 datasets de beste of tweede beste AUC over verschillende dimensies.
  • Capaciteit-getargete SPECTRA bleef concurrerend bij aanzienlijk kleinere gerealiseerde dimensies. Het targeten van de mediaan effectieve rang van baselines leverde bijvoorbeeld vergelijkbare prestaties op met een aanzienlijk lagere $d_{\text{spec}}$.
  • Grensanalyse: Bij het plotten van AUC tegen de behaalde $d_{\text{spec}}$ vielen curves van verschillende ranglimieten ($r=64, 128, 256$) samen op een gemeenschappelijke grens. Dit bevestigt dat prestaties worden georganiseerd door gerealiseerde spectrale capaciteit, niet door de nominale rang.
  • Overparameterisatie: Het targeten van een specifieke $d^*_{\text{spec}}$ met behulp van een grotere ranglimiet $r$ resulteerde in beter gekalibreerde modellen (lagere generalisatiekloof en hogere test log-likelihood) in vergelijking met training met een ranglimiet gelijk aan $d^*_{\text{spec}}$.

Betekenis en Claims

Het paper betoogt dat capaciteit moet worden behandeld als een eigenschap van het gefitte model in plaats van een hyperparameter van het trainingsproces. Door de focus te verschuiven van nominale rang naar spectrale bezetting, maakt SPECTRA de afweging tussen voorspellende nauwkeurigheid en gerealiseerde dimensie zichtbaar en controleerbaar.

De auteurs claimen dat deze aanpak:

• Een principieel handvat biedt op capaciteit in het overgeparameteriseerde regime.
• Toestaat om uitgelijnde, lager-capaciteitsweergaven van een model (spectrale prefixen) te extraheren zonder opnieuw te trainen.
• Onderscheid maakt tussen datasets waarbij de latente structuur volledig wordt vastgelegd door een klein aantal modi (verzadigd) en die waarbij het model wordt beperkt door de ranglimiet.
• Een continue coördinaat ($d_{\text{spec}}$) biedt voor het vergelijken van de structurele complexiteit van verschillende netwerken, potentieel toepasbaar op het bestuderen hoe netwerkcomplexiteit varieert over verschillende contexten (bijvoorbeeld sociaal, biologisch, infrastructuur).

Het werk is bescheiden over zijn beperkingen, met de opmerking dat het momenteel opereert binnen Euclidische latente ruimten. Het uitbreiden van deze concepten naar niet-Euclidische geometrieën (bijvoorbeeld simplex-gevalideerde of hyperbolische embeddings) en het ontwikkelen van gemeenschappelijke voorverwerkingsprotocollen voor cross-netwerkvergelijkingen worden overgelaten aan toekomstig werk.