기술 요약: 랭크는 용량이 아니다: 잠재 그래프 모델을 위한 스펙트럼 점유도

문제 제기

그래프 표현 학습에서 잠재 공간의 차원은 모델 동작을 지배하는 중요한 설계 선택 사항입니다. 그러나 이 차원은 전통적으로 취약한 하이퍼파라미터로 취급됩니다: 즉, 학습 전에 고정되고 홀드아웃 성능을 통해 조정됩니다. 이 접근법은 두 가지 근본적인 문제에 직면해 있습니다:

1. 식별 가능성 (Identifiability): 학습된 잠재 요인은 회전과 전역 재배율에 대해서만 식별 가능합니다. 따라서 명목상 랭크 (선언된 차원) 는 실제 모델 동작을 지배하는 양과 거의 일치하지 않습니다.
2. 통제 부족: 기존 선택 절차 (예: 프로파일-가능성 팔꿈치, 베이지안 선택, 교차 검증) 는 일반적으로 피팅 전이나 후에 단일 차원을 선택합니다. 이들은 "표현 용량 (representational capacity)"—즉, 피팅된 모델이 실제로 사용하는 잠재 모드 (latent modes) 의 수—를 모델 내에서 측정 가능하고, 통제 가능하며, 감사 가능한 양으로 드러내지 못합니다.

과잉 매개변수화 (overparameterized) 영역에서 작동하는 양은 선언된 랭크가 아니라, 표현 질량이 잠재 모드 전반에 어떻게 분포하는지입니다.

방법론: SPECTRA

저자들은 **스펙트럼 접두사 추출 및 용량 표적 표현 분석 (Spectral Prefix Extraction and Capacity-Targeted Representation Analysis, SPECTRA)**을 제안합니다. 이는 명목상 랭크 대신 학습된 양의 준정부호 (PSD) 커널의 스펙트럼을 분석 단위로 대체하는 프레임워크입니다.

핵심 구성 요소

1. 추적 정규화 커널 (Trace-Normalized Kernel):
   랭크 $r$을 차원으로 고정하는 대신, SPECTRA 는 랭크가 제한된 인자 $L \in \mathbb{R}^{N \times r}$을 통해 잠재 친밀도 커널 $K \in \mathbb{R}^{N \times N}$을 매개변수화합니다. 핵심적으로, 커널은 추적 정규화됩니다:
   $$K(L) = \frac{N \cdot LL^\top}{\text{tr}(LL^\top)}$$
   이 정규화는 총 스펙트럼 질량을 $N$으로 고정하여, 고유값 분포의 차이가 전체 크기 차이가 아닌 잠재 모드 간 표현의 고정된 스펙트럼 예산 할당 방식을 반영하도록 보장합니다. 이는 서로 다른 피팅과 랭크 캡 간에 스펙트럼을 비교 가능하게 만듭니다.

2. 스펙트럼 점유도와 유효 차원:
   정규화된 고유값 $\lambda_i(K)$는 스펙트럼 모드에 대한 확률 분포 $p_i(K) = \lambda_i(K)/N$을 정의하며, 이를 **스펙트럼 점유도 분포 (spectral occupancy distribution)**라고 합니다. 저자들은 이 분포의 섀넌 엔트로피의 지수를 **유효 스펙트럼 차원 (effective spectral dimension, $d_{\text{spec}}$)**로 정의합니다:
   $$d_{\text{spec}}(K) := \exp\left( -\sum_{i: p_i > 0} p_i \log p_i \right)$$
   경직된 랭크와 달리 $d_{\text{spec}}$는 실현된 용량의 매끄러운 연속 측정치입니다. 모든 질량이 하나의 모드에 있으면 1 이 되고, 질량이 $s$개의 모드에 균일하게 분포하면 $s$가 됩니다.

3. 용량 제어 목적 함수:
   학습 중 실현된 차원을 제어하기 위해 SPECTRA 는 엔트로피 정규화 목적 함수를 도입합니다:
   $$F_\eta(L, a, \beta) = \ell(L, a, \beta) - \eta \log d_{\text{spec}}(K(L)) + R(L, a, \beta)$$
   여기서 $\ell$은 링크 예측 손실, $R$은 2 차 정규화, $\eta$는 스칼라 엔트로피 가중치입니다.

   • $\eta > 0$는 확산된 스펙트럼 (높은 $d_{\text{spec}}$) 을 장려합니다.
   • $\eta < 0$는 집중된 스펙트럼 (낮은 $d_{\text{spec}}$) 을 장려합니다.
   • $\eta = 0$는 스펙트럼 엔트로피 편향 없이 표준 최대 가능도 피팅에 해당합니다.

4. 표적 설정 및 보정:
   저자들은 국소적 규칙성 조건 (단순한 활성 스펙트럼과 비퇴화 헤세 행렬) 하에서 실현된 차원 $d_{\text{spec}}(\eta)$이 국소적으로 $C^1$이며 $\eta$에 대해 단조 비감소함을 입증합니다. 이를 통해 지정된 허용 오차 내에서 원하는 유효 차원 $d^*_{\text{spec}}$을 표적 설정하는 $\eta^*$를 찾기 위해 **이분법 (bisection)**을 사용할 수 있습니다.

5. 스펙트럼 접두사 (Spectral Prefixes):
   단일 피팅된 커널은 정렬된 저차원 표현의 중첩된 가족을 생성합니다. 커널을 상위 $k$개 고유 모드 ($K_k$) 로 잘라내면 (Eckart–Young–Mirsky 정리에 의해) 최적의 랭크-$k$ PSD 근사를 얻습니다. 이러한 스펙트럼 접두사는 재학습 없이 동일한 피팅된 모델의 정렬된 저용량 뷰를 제공합니다.

주요 기여

1. 실현된 용량으로서의 스펙트럼 점유도: 이 논문은 명목상 랭크를 학습된 PSD 커널의 추적 정규화 스펙트럼으로 대체하며, 섀넌 유효 랭크 ($d_{\text{spec}}$) 를 실현된 잠재 차원의 매끄러운 측정치로 사용합니다.
2. 학습 시간 용량 제어: 스칼라 $\eta$가 실현된 스펙트럼 차원을 형성하는 엔트로피 정규화 목적 함수를 도입하여, 이분법을 통해 특정 $d_{\text{spec}}$ 값을 표적 설정할 수 있게 합니다.
3. 이론적 보장: 저자들은 단순 스펙트럼 조건 하에서 활성 스펙트럼 모드의 식별 가능성을 검증하고, 실현된 차원 프로파일의 국소적 $C^1$ 동작 및 단조성을 입증합니다. 또한 스펙트럼 접두사가 최적의 저랭크 PSD 요약임을 증명합니다.
4. 실증적 용량 프론티어: 협업, 사회, 생물, 인프라 등 8 개 벤치마크 네트워크에 대한 실험은 예측 성능 (AUC) 이 명목상 랭크가 아닌 달성된 $d_{\text{spec}}$에 의해 정렬됨을 보여줍니다. 이는 랭크 캡 아래에서 성능이 정점에 도달하는 "포화" 데이터셋과 랭크 캡이 증가함에 따라 성능이 향상되는 "랭크 캡 바인딩" 데이터셋을 구분합니다.
5. 단일 피팅 접두사 가족: 피팅된 커널은 재학습 없이 동일한 표현의 저용량 뷰를 제공하는 중첩된 정렬된 스펙트럼 접두사 가족을 제공합니다.
6. 스펙트럼 제어 과잉 매개변수화: 짝을 이룬 실험에서, $\eta$ 표적 과잉 매개변수화 피팅 ($r > d_{\text{spec}}$) 은 유효 용량이 일치하더라도 랭크 캡 전용 기준선보다 테스트 로그 가능도를 향상시키고 훈련 - 테스트 격차를 줄입니다.

실험 결과

• 데이터셋: 이 방법은 인용 네트워크 (ca-GrQc, ca-HepTh), 사회 네트워크 (socfb-American75, socfb-Amherst41), 생물 네트워크 (bio-grid-human, bio-grid-worm), 인프라 네트워크 (inf-power, inf-openflights) 를 포함한 8 개의 무방향 그래프에서 평가되었습니다.
• 기준선: SPECTRA 는 유클리드 임베딩 (Node2Vec, Role2Vec), 행렬 분해 (NetMF, GRAREP), 혼합 멤버십 모델 (MNMF), 잠재 거리 심플렉스 모델 (HM-LDM) 과 비교되었습니다.
• 성능:
  • 일치된 매개변수 수에서 SPECTRA ($\eta=0$) 는 다양한 차원에서 8 개 데이터셋 중 7 개에서 최상위 또는 두 번째로 좋은 AUC 를 달성했습니다.
  • 용량 표적 SPECTRA는 현저히 작은 실현된 차원에서도 경쟁력을 유지했습니다. 예를 들어, 기준선의 중앙값 유효 랭크를 표적 설정하면 $d_{\text{spec}}$이 현저히 낮음에도 불구하고 동등한 성능을 보였습니다.
  • 프론티어 분석: AUC 를 달성된 $d_{\text{spec}}$에 대해 플롯했을 때, 서로 다른 랭크 캡 ($r=64, 128, 256$) 의 곡선이 공통 프론티어로 수렴했습니다. 이는 성능이 명목상 랭크가 아닌 실현된 스펙트럼 용량에 의해 조직됨을 확인시켜 줍니다.
  • 과잉 매개변수화: 더 큰 랭크 캡 $r$을 사용하여 특정 $d^*_{\text{spec}}$을 표적 설정한 것은 $d^*_{\text{spec}}$과 같은 랭크 캡으로 학습한 것보다 더 잘 보정된 모델 (낮은 일반화 격차 및 높은 테스트 로그 가능도) 을 산출했습니다.

중요성과 주장

이 논문은 용량을 학습 과정의 하이퍼파라미터가 아닌 피팅된 모델의 속성으로 취급해야 한다고 주장합니다. 명목상 랭크에서 스펙트럼 점유도로 초점을 이동시킴으로써, SPECTRA 는 예측 정확도와 실현된 차원 간의 트레이드오프를 가시화하고 통제 가능하게 만듭니다.

저자들은 이 접근법이 다음과 같다고 주장합니다:

• 과잉 매개변수화 영역에서 용량에 대한 원칙적인 핸들을 제공합니다.
• 재학습 없이 모델의 정렬된 저용량 뷰 (스펙트럼 접두사) 를 추출할 수 있게 합니다.
• 잠재 구조가 소수의 모드에 의해 완전히 포착되는 (포화된) 데이터셋과 랭크 캡에 의해 제약받는 모델이 있는 데이터셋을 구분합니다.
• 서로 다른 네트워크의 구조적 복잡성을 비교하기 위한 연속 좌표 ($d_{\text{spec}}$) 를 제공하며, 이는 사회적, 생물학적, 인프라 등 다양한 맥락에서 네트워크 복잡성이 어떻게 변하는지 연구하는 데 적용될 수 있습니다.

이 연구는 현재 유클리드 잠재 공간 내에서 작동한다는 한계를 겸손하게 인정합니다. 이러한 개념을 비유클리드 기하학 (예: 심플렉스 값 또는 쌍곡선 임베딩) 으로 확장하고 네트워크 간 비교를 위한 공통 전처리 프로토콜을 개발하는 것은 향후 과제로 남겨둡니다.