JEPAMatch: Geometric Representation Shaping for Semi-Supervised Learning

1. 문제 정의 (Problem Statement)

기존의 반지도 학습 (Semi-Supervised Learning, SSL) 방법론, 특히 FixMatch 및 그 변형들 (FlexMatch 등) 은 강력한 성능을 보여주지만, 두 가지 주요 병목 현상에 직면해 있습니다.

1. 다수 클래스의 지배와 편향 (Majority Class Dominance):
   • 고정된 신뢰도 임계값 (confidence threshold) 을 기반으로 의사 라벨 (pseudo-label) 을 생성하는 방식은 다수 클래스 (majority classes) 가 학습 과정을 지배하게 만듭니다.
   • 초기 학습 단계에서 생성된 부정확한 의사 라벨이 다수 클래스에 집중되면서 모델이 편향되고, 소수 클래스는 충분한 지도 신호를 받지 못해 성능이 저하됩니다.
2. 느린 수렴 속도 (Slow Convergence):
   • 학습 초기에는 분류기의 신뢰도가 낮아 대부분의 무라벨 데이터가 임계값을 통과하지 못해 폐기됩니다.
   • 이로 인해 모델은 라벨이 있는 데이터에만 의존하게 되어 학습이 비효율적으로 진행되며, 수렴에 매우 많은 반복 (iterations) 이 필요합니다 (보통 22 만 회 이상).

2. 제안 방법론: JEPAMatch (Methodology)

저자들은 기존의 논리적 출력 (logical output) 기반의 임계값 접근법을 넘어, 기하학적 표현 (Geometric Representation) 의 명시적 형성에 초점을 맞춘 새로운 패러다임을 제안합니다. 이 방법은 LeJEPA (Latent-Euclidean Joint-Embedding Predictive Architectures) 의 이론적 틀을 FlexMatch와 결합한 JEPAMatch입니다.

학습 과정은 두 가지 상호 보완적인 수준 (Level) 으로 분해됩니다.

A. 커리큘럼 레벨 (Curriculum Level): 동적 의사 라벨링

• 목적: 신뢰할 수 있는 의사 라벨을 선택하여 분류기를 훈련합니다.
• 기반: FlexMatch 의 적응형 클래스별 임계값 (class-wise dynamic thresholds) 을 사용합니다.
• 작동: 약한 증강 (weak augmentation) 된 뷰로 예측된 신뢰도가 클래스별 동적 임계값을 초과할 때만, 강한 증강 (strong augmentation) 된 뷰에 대해 크로스 엔트로피 손실을 적용합니다. 이는 다수 클래스의 지배를 완화합니다.

B. 표현 레벨 (Representation Level): 자기 지도 기하학 (Self-Supervised Geometry)

• 목적: 잠재 공간 (latent space) 에서 특징이 잘 구조화되도록 유도하여 차원 붕괴 (dimensional collapse) 를 방지하고 수렴을 가속화합니다.
• 핵심 구성 요소:
  1. 다중 뷰 증강 (Multi-view Augmentation): 각 이미지에 대해 3 가지 뷰를 생성합니다.
     • 약한 뷰 (Weak View), 강한 뷰 (Strong View): 전역 컨텍스트.
     • 로컬 뷰 (Local Views): 이미지에서 잘라낸 작은 패치들.
  2. JEPA 손실 (Prediction Loss): 약한 뷰의 표현을 타겟으로 하여, 강한 뷰와 로컬 뷰의 표현을 예측하도록 합니다. 이는 모델이 이미지의 기하학적 구조와 의미론적 특징을 학습하게 합니다.
  3. 적응형 클래스별 SIGReg (Adaptive Class-wise SIGReg):
     • 이론적 배경: LeJEPA 는 잠재 공간의 표현이 등방성 가우시안 (isotropic Gaussian) 분포를 가져야 함을 주장합니다.
     • 워밍업 단계 (Warmup Phase): 초기에는 분류기가 불안하므로, 클래스 구분 없이 전역적으로 표준 정규 분포 $N(0, I)$를 따르도록 강제하여 차원 붕괴를 방지합니다.
     • 메인 단계 (Main Phase): 학습이 진행되면, 각 클래스가 고립된 등방성 가우시안 클러스터를 형성하도록 유도합니다. 클래스별 평균 ($\mu_c$) 을 기준으로 특징을 중심화 (centering) 하고, 분산 ($\sigma$) 을 학습 진행에 따라 1.0 에서 0.1 로 서서히 줄여 (annealing) 밀집된 클러스터를 만듭니다.
  4. 활성 반발 손실 (Active Repulsion Loss): 서로 다른 클래스의 평균이 한 점으로 붕괴되는 것을 방지하기 위해, 클래스 간 거리를 유지하도록 반발력을 부여합니다.

전체 손실 함수

$$L_{total} = L_{sup} + \lambda_{unsup}L_{unsup} + \lambda_{rep}L_{rep}$$
여기서 $L_{rep}$은 예측 손실 ($L_{pred}$), SIGReg, 반발 손실 ($L_{repulsion}$) 을 포함합니다.

3. 주요 기여 (Key Contributions)

1. 패러다임 전환: 신뢰도 기반의 이진 의사 라벨링에서 벗어나, 잠재 공간의 기하학적 구조 형성을 명시적인 학습 목표로 삼았습니다.
2. 이중 수준 학습 프레임워크: 의사 라벨 선택 (커리큘럼) 과 특징 공간 구조화 (표현) 를 분리하여 최적화함으로써, 클래스 불균형 문제를 해결하고 수렴 속도를 획기적으로 개선했습니다.
3. 적응형 정규화: 학습 단계에 따라 전역 정규화에서 클래스별 정규화로 전환하는 Adaptive Class-wise SIGReg를 도입하여, 초기 불안정성과 후기 클래스 간 간격 유지 문제를 동시에 해결했습니다.
4. 범용성: JEPAMatch 는 FlexMatch 에 국한되지 않고 FreeMatch, SoftMatch 등 다른 FixMatch 변형에도 적용 가능합니다.

4. 실험 결과 (Results)

CIFAR-100, STL-10, Tiny-ImageNet 에서의 실험을 통해 다음과 같은 성과를 입증했습니다.

• 성능 향상:
  • CIFAR-100 (400 라벨): FlexMatch 대비 34.25% (오류율) 로 더 낮은 오류율을 기록했습니다.
  • STL-10 (1,000 라벨): 4.28% 오류율로 기존 최상위 기법들을 능가했습니다.
  • 불균형 데이터: 클래스 불균형 비율 ($\gamma$) 이 높은 상황에서도 FixMatch, FlexMatch, SoftMatch 보다 일관되게 우수한 성능을 보였습니다.
• 수렴 속도 및 효율성:
  • 반복 횟수 감소: 기존 방법들이 약 22 만 회 (220k) 의 반복이 필요한 반면, JEPAMatch 는 **21 만 7 천 회 (217k)**로 약 8 배 적은 반복 횟수 (실제 계산 비용 기준) 로 수렴했습니다.
  • 초기 학습: 학습 초기 단계에서 FlexMatch 보다 약 5 만 회 (50k) 일찍 높은 정확도에 도달하며, 약 3 배 빠른 수렴 속도를 보였습니다.
• 의사 라벨의 정확도: 학습 전체 기간 동안 JEPAMatch 는 FlexMatch 보다 훨씬 높은 비율의 정확한 의사 라벨을 생성하여, 노이즈가 있는 라벨을 효과적으로 필터링함을 보여주었습니다.

5. 의의 및 결론 (Significance)

JEPAMatch 는 반지도 학습 분야에서 **구조화된 표현 학습 (Structured Representation Learning)**의 중요성을 부각시켰습니다. 단순히 의사 라벨의 품질을 높이는 것을 넘어, 잠재 공간의 기하학적 형태를 직접 제어함으로써 모델이 더 적은 데이터와 더 짧은 시간 내에 더 정확한 결정 경계를 형성할 수 있게 합니다.

이는 특히 라벨링 비용이 높은 실제 응용 분야 (의료, 생물학 등) 에서 계산 비용을 절감하면서도 높은 성능을 달성할 수 있는 강력한 솔루션을 제공하며, 향후 반지도 학습 연구의 새로운 방향성을 제시합니다.