기술 요약: UR–JEPA: 결합 임베딩 예측 아키텍처를 위한 정규화 도구로서의 균등 가측성(Uniform Rectifiability)

1. 문제 정의

결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architectures, JEPAs)는 잠재 공간(latent space)에서 한 증강된 뷰(view)로부터 다른 뷰의 임베딩을 예측함으로써 표현(representation)을 학습한다. JEPA를 훈련할 때 직면하는 핵심적인 어려움은 표현 붕괴(representation collapse), 즉 인코더가 모든 입력을 상수 또는 사소한 해로 매핑하는 현상을 방지하는 것이다.

역사적인 해결책들은 주로 휴리스틱에 의존해 왔다(예: stop-gradients, 대조적 부정 예시(contrastive negatives), 공분산 페널티). LeJEPA [1]는 이러한 휴리스틱을 단일한 명시적 타겟 분포 정규화 도구인 **스케치된 등방성 가우시안 정규화(Sketched Isotropic Gaussian Regularization, SIGReg)**로 대체함으로써 이를 발전시켰다. SIGReg은 임베딩 분포가 전체 주변 차원 $D$에 걸쳐 등방성 가우시안 $N(0, I_D)$가 되도록 강제한다.

그러나 이 타겟은 데이터가 저차원의 고유 차원 $n \ll D$를 가진 부분 집합에 집중되어 있다는 **매니폴드 가설(manifold hypothesis)**과 충돌한다. 임베딩이 $D$차원 공간 전체를 등방적으로 채우도록 강제하는 것은 표현 학습을 촉발하는 사전 지식(prior)과 모순된다. 본 논문은 UR–JEPA를 제안하며, 이는 SIGReg의 등방성 가우시안 타겟을 균등 $n$-가측(uniformly $n$-rectifiable) 측도로 대체한다. 이 타겟은 임베딩이 작은 스케일에서 양적으로 $n$차원인 집합에 집중되도록 강제하며, 이는 실제 데이터의 기하학적 구조와 정렬된다.

2. 방법론

UR–JEPA는 LeJEPA의 예측 손실 $L_{pred}$를 유지하면서, SIGReg 정규화 도구를 기하학적 측도론적 목적 함수인 **균등 $n$-가측성(Uniform $n$-Rectifiability, UR)**으로부터 유도된 것으로 대체한다. 두 가지 상호 보완적인 특성을 활용하여 SGD에 적합한 미분 가능한 손실 함수를 구축한다.

2.1 이론적 기초

• 균등 $n$-가측성 (Uniform $n$-Rectifiability): 측도 $\mu$가 균등 $n$-가측이라는 것은 $\mu$가 $n$-Ahlfors–David 정칙(density가 $r^n$으로 스케일링됨)이며 "Lipschitz 이미지의 큰 조각(Big Pieces of Lipschitz Images)"을 가진다는 것을 의미한다.
• 특징화:
  1. CGLT 제곱 함수 (CGLT Square Function): 스케일 정규화된 볼(ball) 밀도를 포함하는 Carleson 유형의 제곱 함수의 유계성(boundedness)을 통해 UR을 특징짓는 Chousionis–Garnett–Le–Tolsa(CGLT) 정리에 기반한다.
  2. Jones $\beta$-수 (Jones $\beta$-numbers): 데이터가 최적의 적합 $n$-평면(affine $n$-plane)으로부터 국소적으로 벗어난 정도를 측정한다.

2.2 UR–JEPA 손실 계열

A. 가우시안 커널 평활화 Carleson 손실 ($L_{CGLT}$)

이 계열은 원시 볼 카운트(raw ball counts)의 노이즈 문제를 피하기 위해 가우시안 커널을 사용하여 경험적 밀도를 평활화함으로써 CGLT 제곱 함수를 근사한다.

• 밀도 추정: 대역폭 $r$을 갖는 가우시안 커널을 사용하여 스케일 정규화된 밀도 $\theta_r(x)$를 계산한다.
• 로그-증분 변형 (기본 설정): 손실이 절대적인 밀도 수준에 결합되는 것을 방ˡ避免하기 위해, 손실은 로그 밀도 증분 $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$에 대해 작동한다.
  • 손실: $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$.
  • AD-정칙성 앵커 (AD-Regularity Anchor): 별도의 항 $L_{AD}$는 앵커 전반의 $\log \theta_r$ 분산을 페널티로 부과하여 $n$-Ahlfors–David 정칙 조건(일정한 밀도 수준)을 강제한다.
• 스케일-도함수 변형: 스케일 도함수 $t \partial_t \log \theta$ 또는 원시 커널 도함수를 사용하는 대안적 공식들이다. 논문에서는 원시 형태가 국소 밀도 수준에 기생적으로 결합되어 성능이 저하되기 때문에, 로그-도함수 변형이 안정성에 필수적임을 밝힌다.

B. Jones $\beta$-수 손실 ($L_\beta$)

이 계열은 국소적 이웃이 $n$차원 아핀 평면에 가깝게 위치하도록 강제한다.

• 국소 PCA (Local PCA): 각 앵커 $x$와 스케일 $r$에 대해 가중 산란 행렬(weighted scatter matrix)을 형성한다. 손실은 상위 $n$개의 고유벡터에 대한 직교 보공간(orthogonal complement)에 해당하는 고유값들의 합(잔차 분산)이다.
• 안티-붕괴 메커니즘 (Anti-Collapse Mechanisms): 원시 $\beta$-손실은 사소한 점-질량(point-mass) 최소화 해를 허용한다(단일 점으로의 붕괴는 잔차를 0으로 만든다). 논문은 두 가지 구제책을 도입한다.
  1. 내재적 로그-트레이스 페널티 (Intrinsic Log-Trace Penalty): 국소 이웃의 부피 붕괴를 방지하기 위해 $-\gamma \log \text{tr}(S_r(x))$를 추가한다.
  2. 적응형 고유값 임계값 설정 (Adaptive Eigenvalue Thresholding): 접평면 차원을 $n$으로 고정하는 대신, 분산 점유율이 임계값 $\tau$를 초과하는 고유벡터를 선택한다. 이를 통해 국소 내재 차원이 앵커마다 다르게 유지되면서도 전역적인 기하학적 타겟을 유지할 수 있다.

2.3 안티-붕괴 속성

$\beta$-손실과 달리, CGLT 기반 손실은 구조적으로 안티-붕괴(anti-collapse by construction) 성질을 갖는다. 점-질량 구성(point-mass configuration)에서 평활화된 밀도는 $r^{-n}$으로 스케일링되므로, 로그-증분 $\Delta_r \log \theta$는 0이 아닌 상수($n \log 2$)가 된다. 따라서 손실은 보조 페널티 없이도 0에서 벗어나 있는 상태를 유지하여 옵티마이저가 붕괴된 상태에 안착하는 것을 방지한다.

3. 주요 기여

1. JEPA를 위한 기하학적 정규화: 본 논문은 균등 $n$-가측성을 훈련 손실로 구현하여, LeJEPA의 등방성 가우시안 타겟에 대한 원칙적인 대안을 제공한다. 이는 정규화를 매니폴드 가설과 일치시킨다.
2. 새로운 손실 계열: 두 가지 구체적이고 SGD 친화적인 손실 계열을 도입한다.
   • $L_{CGLT}$: 가우시안 커널로 평활화된 밀도와 로그-증분을 사용하는 CGLT 정리에 기반한다.
   • $L_\beta$: 로그-트레이스 페널티를 통해 붕괴를 방지하는 국소 PCA 기반의 Jones $\beta$-수에 기반한다.
3. 이론-실무의 가교: 딥러닝이 어떻게 복잡한 기하학적 측도론 개념(Carleson 측도, Jones $\beta$-수)을 미분 가능한 근사치를 통해 구현할 수 있는지 보여준다.
4. 방법론적 통찰: 밀도(또는 스케일-도함수)의 로그-변환이 방법론적으로 필수적임을 입증한다. 원시 스케일-도함수 형태는 국소 밀도 수준과의 결합으로 인해 성능이 크게 떨어지는 반면, 로그 형태는 이 혼란을 제거하여 안정성을 확보한다.

4. 실험 결과

실험은 ImageNet-10 (Inet10), Galaxy10 SDSS, ImageNet-100 (Inet100), 그리고 EuroSAT에서 수행되었다.

4.1 LeJEPA 대비 성능

• Inet10: UR–JEPA($L_{CGLT}$)는 0.9141 ± 0.0014 top-1 정확도를 달성하여, 매칭된 레시피의 LeJEPA($L_{SIGReg}$) (0.9058 ± 0.0019)보다 0.83 퍼센트 포인트(pp) 높은 성능을 보였다. 결정적으로, UR–JEPA는 약 30% 낮은 시드 표준 편차를 나타낸다.
• Galaxy10 SDSS: 매칭된 레시피에서 UR–JEPA($L_{CGLT}$) (0.8142)와 LeJEPA (0.8105)는 통계적으로 동등하지만, UR–JEPA가 더 낮은 분산을 보인다. 두 방법 모두 기존에 발표된 LeJEPA 베이스라인을 크게 상회한다(레시피 개선 덕분). 다만, 정규화 도구 자체는 매칭된 LeJEPA 베이스라인 대비 유의미하지 않은 미미한 이득만을 제공한다.
• Inet100 및 EuroSAT: UR–JEPA와 LeJEPA는 동일한 피크-정확도 대역으로 수렴한다. EuroSAT의 경우, UR–JEPA는 LeJEPA에 비해 약 2배 더 좁은 시드 분산이라는 특징을 유지한다.
• 스케일링: 프로젝터 차원 $D$를 16에서 32로 증가시킬 때 성능이 저하되는 LeJEPA와 달리, UR–JEPA는 성능이 향상된다. 이는 UR–JEPA의 국소 기하학적 통계가 주변 공간의 희소성에 덜 민감함을 시사한다.

4.2 기하학적 차별점

유사한 정확도에도 불구하고, 두 방법은 구조적으로 구별되는 표현을 생성한다:

• LeJEPA: 자신의 가우시안 타겟과 일치하게 거의 등방적인 스펙트럼(평탄한 고유값 분포)을 생성한다.
• UR–JEPA: 매우 비등방적인(sharply anisotropic) 스펙트럼을 생성한다. 공분산 고유값은 인덱스 $\sim 20\text{--}25$ (전체 $D=32$ 중)에서 4~5 자릿수(orders of magnitude) 급격히 떨어진다. 이는 자연 이미지의 내재 차원과 일치하는 효과적인 저차원 투영을 나타내며, 동시에 각 차원별로는 근사 가우시안 주변 분포를 유지한다(이는 Diaconis–Freedman 현상의 결과이다).
• 강건성: UR–JEPA의 "절벽(cliff)" 시그니처는 시드와 데이터셋 전반에 걸쳐 재현 가능하며, 반면 LeJEPA는 등방성을 유지한다.

4.3 절제 연구 (Ablation Studies)

• 내재 차원 ($n$): 성능은 넓은 평탄 구간($n \in [6, 10]$)에서 견고하지만, $n=4$에서 파멸적으로 붕괴한다.
• 로그-변환: CGLT 손실의 로그-도함수 변형은 원시 형태보다 성능이 현저히 우수하며(~1.5 pp), 이는 로그-변환이 안정성을 위해 필수적임을 확인시켜 준다.
• $\beta$-손실: 순수 $\beta$-손실은 Inet10에서 붕괴한다. 그러나 로그-트레이스 페널티($L_{\beta, \gamma}$)를 추가하면 Galaxy10에서 경쟁력을 갖추지만, CGLT 변형보다는 성능이 낮다.

5. 의의 및 주장

본 논문은 UR–JEPA가 자기 지도 학습에서 분포 매칭(distributional matching)에 대한 원칙적인 기하학적 대안을 제공한다고 주장한다.

• 구조적 회복: UR–JEPA는 국소 접평면 차원을 튜너블 파라미터로 회 recovery하며, LeJEPA가 할 수 없는 스케일 불변 형상 제약(Carleson 유형 조건)을 강제한다. 이는 전역적으로는 효과적인 저차원 투영을 생성하면서도 국소적으로는 $n$-가측성을 유지하는 표현을 만든다.
• 안정성: 이 방법은 LeJEPA에 비해 낮은 시드 분산과 더 나은 차원 스케일링 성능을 보여주며, 이는 더 안정적인 최적화 환경을 시사한다.
• 겸손한 결론: 저자들은 UR–JEPA가 정확도 면에서 LeJEPA와 대등하거나 약간 상회하지만, 주요 이득은 구조적(저차원이며 기하학적으로 일관된 표현) 및 통계적(분산 감소) 측면에 있다고 인정한다. 즉, 모든 작업에서 보편적인 정확도 우위를 주장하는 것이 아니라, Galaxy10이나 EuroSAT에서 두 방법이 수렴 시 통계적으로 동등하다는 점을 명시한다.
• 이론적 간극: 본 논문은 Carleson 손실을 UR 타겟으로 최소화하는 것에 대한 유한 샘플 수렴 보장을 제공하지 못하며, 이는 향-후 과제로 남겨두었다.

요약하자면, UR–JEPA는 균등 $n$-가측성이라는 기하학적 측도론 개념을 실용적이고 미분 가능한 정규화 도구로 성공적으로 변환하여, 자기 지도 학습을 매니폴드 가설과 정렬시켰으며, 결과적으로 등방성 가우시안 타겟이 만드는 것보다 기하학적으로 구별되고 통계적으로 더 안정적인 표현을 생성한다.