Information theoretic underpinning of self-supervised learning by clustering

기술 요약: 클러스터링을 통한 자기지도학습의 정보이론적 기반

문제 제기
자기지도학습 (SSL) 은 기반 모델 구축의 초석이 되었으나, 그 이론적 기반은 경험적 성공에 비해 종종 뒤처져 있습니다. DeepCluster, SwAV, DINO 와 같은 클러스터링 기반의 많은 SSL 방법들은 데이터 중심화 (centering) 와 증류 (distillation) 와 같은 휴리스틱 관행에 의존하지만, 이러한 절차에 대한 엄격한 수학적 정당화는 부재했습니다. 구체적으로, SSL 에서 사용되는 최적화 목적 함수와 '모드 붕괴 (모든 데이터를 단일 클러스터에 할당하는 현상) 방지'라는 일반적인 관행 사이의 관계는 형식적인 정보이론적 설명이 필요합니다.

방법론
저자들은 자기지도학습을 증류 학습 문제로 공식화하여, 지도학습과 유사한 유추를 제시하되 레이블이 없는 데이터에 맞게 이를 적응시켰습니다. 핵심 방법론은 다음 단계를 포함합니다:

1. K-L 발산 공식화: 학습 목적은 '교사' 분포 $Q(y|z)$와 '학생' 분포 $P(y|z)$ 사이의 쿨백 - 라이블러 (K-L) 발산을 최소화하는 것으로 정의됩니다. 교사 분포가 고정된 지도학습과 달리, 이 SSL 프레임워크에서는 두 분포 모두 학습되어야 합니다.
2. 교대 방향 최적화: 최적화는 다음을 교대로 수행하여 이루어집니다:
   • 학생 업데이트: 교사 분포 $Q$를 고정하고, K-L 발산의 교차 엔트로피 항을 최소화하기 위해 학생 네트워크 매개변수 $\theta$와 클러스터 평균 $w_i$를 최적화합니다.
   • 교사 업데이트: 학생 분포 $P$를 고정하고 교사 분포 $Q$를 최적화합니다.
3. 모드 붕괴 방지를 위한 정규화: 모드 붕괴를 방지하기 위해 저자들은 클러스터 할당 사전 확률의 엔트로피에 기반한 정규화 제약 조건을 도입합니다. 목표는 모든 $K$개의 클러스터에 데이터가 공평하게 분포되도록 하고 소수의 클러스터로 붕괴되지 않도록 하기 위해, 교사의 주변 분포 $Q(y)$의 엔트로피를 최대화하는 것입니다.
4. 폐형 해 도출: 정규화된 목적 함수를 교사 분포 $Q(y|z)$에 대해 미분함으로써, 저자들은 폐형 해를 유도합니다. 이 해는 최적의 교사 분포가 클러스터 사전 확률의 역수로 스케일링된 학생 분포에 비례함을 보여줍니다:
   $$Q(y|z) = \frac{P(y|z)}{Q(y)}$$
   여기서 $Q(y)$는 클러스터 $y$의 사전 확률을 나타냅니다.
5. 젠센 부등식을 통한 중심화와의 연결: 이 논문은 역사전 확률 정규화가 젠센 부등식을 사용하여 근사될 수 있음을 보여줍니다. 클러스터 가중치 벡터가 중심화되어 있다고 가정하면 (즉, 평균이 0 임), 정규화 항이 단순화됩니다. 이 수학적 유도는 임베딩에서 배치 평균을 빼는 것과 같은 인기 있는 휴리스틱인 데이터 중심화가 첫 번째 원리에서 유도된 역사전 확률 정규화의 이론적 근사임을 보여줍니다.

주요 기여

• 이론적 통합: 이 논문은 학생 및 교사 네트워크에 대한 교대 업데이트를 통해 SSL 을 K-L 발산 최적화로 공식화하는 통합된 정보이론적 프레임워크를 제공합니다.
• 휴리스틱의 정당화: 모드 붕괴를 방지하기 위해 사용되는 역 클러스터 사전 확률 정규화에 대한 엄격한 이론적 유도를 제시합니다.
• 중심화와의 연결: 유도된 역사전 확률 정규화와 DINO 와 같은 방법에서 널리 사용되는 중심화 절차(임베딩의 평균을 빼는 것) 사이의 수학적 연결을 확립합니다. 이는 중심화가 효과적인 이유를 설명합니다: 즉, 이는 이론적으로 최적인 역사전 확률 스케일링을 근사하기 때문입니다.
• 폐형 교사 업데이트: 저자들은 클러스터 사전 확률을 명시적으로 포함하는 교사 분포에 대한 구체적인 업데이트 규칙을 유도하여, Sinkhorn-Knopp 와 같은 알고리즘적 휴리스틱을 넘어 수학적 해를 제시합니다.

결과 및 주장
이 논문은 새로운 실험 벤치마크를 제시하거나 새로운 아키텍처를 제안하지 않습니다. 대신, 그 '결과'는 이론적 유도입니다:

• 저자들은 정규화된 K-L 발산을 최소화하는 것이 자연스럽게 학생 확률을 클러스터 사전 확률의 역수로 스케일링하는 교사 업데이트 규칙으로 이어짐을 보여줍니다.
• 젠센 부등식을 적용함으로써, 이 스케일링이 데이터를 중심화 (평균 임베딩을 빼는 것) 함으로써 수학적으로 근사됨을 증명합니다.
• 이 논문은 중심화를 활용하는 기존 성공적인 SSL 방법들 (DINO 등) 의 효과성을 검증한다고 주장하며, 이러한 휴리스틱이 임의적인 것이 아니라 정보이론에 기반하고 있음을 확인합니다.

의의
이 연구의 의의는 실험적 진보가 종종 이론적 이해를 앞서는 AI 의 '불균형한 발전'을 시정하려는 시도에 있습니다. 클러스터링 기반 SSL 에 대한 이론적 기반을 제공함으로써:

• 최첨단 모델에서 사용되는 증류 및 중심화 메커니즘을 검증하여, 왜 이러한 메커니즘이 모드 붕괴를 방지하는지 설명합니다.
• SSL 의 실용적 휴리스틱과 정보이론의 이론적 원리 (특히 K-L 발산과 엔트로피 최대화) 사이의 격차를 해소합니다.
• 유도된 모델에 기반하여 표현 차원성과 온도 사이의 관계 조사나 고정된 가중치 벡터를 통한 학습 탐구와 같은 향후 연구 방향을 제시합니다.

저자들은 겸손한 입장을 유지하며, 그들의 모델이 기존 방법을 지지하지만 젠센 부등식 사용과 같은 근사들은 임베딩 노름의 큰 변동과 같은 특정 시나리오에서는 한계가 있을 수 있음을 지적합니다. 다만, 이러한 한계가 중심화의 실용적 효과를 무효화하지는 않는다고 덧붙입니다.