기술 요약: 신호대잡음비와 샘플 크기가 신경망의 표현 정렬을 지배함

문제 제기

독립적으로 훈련된 딥러닝 모델들은 종종 구조적으로 유사한 내부 표현에 수렴하는데, 이를 표현 정렬 (representational alignment) 이라고 합니다. 이러한"플라톤적 표현 가설 (Platonic Representation Hypothesis)"에 대한 경험적 증거는 강력하지만, 이를 지배하는 이론적 메커니즘은 여전히 불분명합니다. 구체적으로 다음과 같은 근본적인 질문들이 남아 있습니다:

1. 정렬이 훈련 데이터의품질(잡음 수준) 과양(샘플 크기) 에 어떻게 의존하는가.
2. 과소모수화 (underparameterized) 영역과 과모수화 (overparameterized) 영역 사이에서 정렬을 주도하는 메커니즘이 다른가.
3. 표현 정렬이 모델의 품질 (일반화 오차) 을 신뢰할 수 있는 예측 변수인가.

기존 연구들은 주로 표현 유사성 분석 (RSA), 단일 벡터 정준 상관 분석 (SVCCA), 중심 커널 정렬 (CKA) 과 같은 도구를 사용하여 정렬을 정량화합니다. 그러나 이러한 지표들은 종종 선형 대응을 가정하며, 매우 휘어진 비선형 다양체 (nonlinear manifolds) 에 위치한 표현에는 적합하지 않을 수 있습니다. 또한, 더 나은 일반화 성능이 반드시 더 정렬된 내부 표현을 의미하는지는 명확하지 않습니다.

방법론

이론적 프레임워크 및 지표

저자들은**조건부 코풀라 엔트로피 (Conditional Copula Entropy, CCE)**라는 새로운 정렬 통계 측정치를 제안합니다. 대칭적 측정치 (예: CKA) 와 달리 CCE 는 비대칭적이며, 한 표현의 이웃 구조가 다른 표현의 이웃 구조를 얼마나 잘 예측하는지를 정량화합니다.

• 정의: CCE 는 정보 불균형 (Information Imbalance, II) 에서 유도되며, 코풀라 변수의 음의 조건부 엔트로피로 정의됩니다: $CCE(A \to B) = -\lim_{\eta \to 0} H(c_B | c_A = \eta)$.
• 근거: 이는 공간 $A$에서 점들이 무한소로 가까울 때 공간 $B$의 거리에 대한 불확실성이 감소하는 정도를 측정함으로써 국소적 표현 정렬을 포착합니다.
• 해석적 처리 가능성: 핵심적으로, 가우스 벡터의 1 차원 투영에 대해 CCE 는 상관 계수 $\rho$에 의존하는 폐쇄형 식을 허용합니다: $CCE = -\frac{1}{2}\log(1-\rho^2) - \frac{1}{2}\rho^2$.

실험 설정

이 연구는 이론을 검증하기 위해 다단계 접근법을 사용합니다:

1. 선형 교사 - 학생 설정 (해석적):
   • 모델: 잡음이 있는 선형 회귀 작업 ($y = w^* \cdot x + \epsilon$) 에서 경사 하강법을 통해 훈련된 2 층 심층 선형 네트워크.
   • 프로토콜: 두 개의 동일한 학생 네트워크가 동일한 교사 분포에서 추출된 독립적인 데이터셋에서 독립적으로 훈련됩니다.
   • 분석: 저자들은 전역 최소점에서 두 네트워크의 은닉 표현 사이의 점근적 상관관계 ($\rho^*$) 를 유도합니다. 이를 통해 신호대잡음비 (SNR) 와 훈련 샘플 대 입력 차원의 비율 ($\alpha = n/d$) 의 함수로서 CCE 를 해석적으로 계산할 수 있습니다.
2. 비선형 시뮬레이션 (수치적):
   • 모델: ReLU 활성화 함수를 가진 2 층 네트워크.
   • 작업: 선형 설정과 동일한 합성 회귀 작업.
   • 비교: 동일한 데이터에서 훈련된 선형 및 ReLU 네트워크 간의 정렬과 일반화 오차의 직접적 비교.
3. 실제 세계 분류:
   • 데이터셋: CIFAR-10(컨볼루션 신경망 사용) 과 MNIST(완전 연결 신경망 사용).
   • 프로토콜: 네트워크는 라벨 잡음 수준이 다양한(역 SNR 로 작용) 독립적인 데이터 하위 집합에서 훈련됩니다.
   • 지표: CCE 는 penultimate(마지막 전) 층 표현 간에 계산됩니다.

주요 기여

1. 이론적 유도: 이 논문은 심층 선형 네트워크에서의 표현 정렬을 분석하기 위한 이론적 프레임워크를 수립하고, 학습된 가중치의 상관관계에 기반한 CCE 에 대한 폐쇄형 식을 유도합니다.
2. 지배 요인: 저자들은 정렬이 두 가지 주요 요인에 의해 지배됨을 보여줍니다:
   • 신호대잡음비 (SNR): 정렬은 모든 영역 (선형 및 비선형, 회귀 및 분류) 에서 SNR 에 대해 단조 증가합니다.
   • 샘플 크기: 정렬은 훈련 샘플 크기에 대해비단조적으로 변합니다. 이는 일반화 오차에서 관찰되는"이중 하강 (double descent)"행동을 반영하며, 보간 임계값 (interpolation threshold)($n \approx d$ 또는 $n \approx p$) 근처에서 최소값에 도달합니다.
3. 정렬과 일반화의 분리: 이 연구는 높은 일반화 성능이 반드시 높은 표현 정렬을 의미하지는 않는다는 증거를 제공합니다.
   • 과소모수화 영역에서, 서로 다른 SNR 을 가진 네트워크는 동일한 일반화 오차를 달성할 수 있지만 정렬 정도는 다릅니다.
   • 과모수화 영역에서, 더 낮은 SNR(더 나은 일반화) 을 가진 네트워크는 더 높은 SNR 을 가진 네트워크보다 덜 정렬된 표현을 가질 수 있습니다.
4. 정보성 대 성능: 이 논문은 네트워크가 더 낮은 성능을 가진 네트워크보다 덜 정보적인 내부 표현을 학습하면서도 더 높은 작업 성능을 달성할 수 있음을 보여줍니다. 이는 작업 성능이 표현 품질을 위한 불충분한 대리 지표임을 강조합니다.

결과

선형 네트워크

• 일반화 오차: 보간 임계값 ($\alpha = 1$) 에서 정점을 찍는 특징적인 이중 하강 곡선을 보입니다.
• 정렬 (CCE): 또한 샘플 크기에 대해 비단조적 의존성을 보이며, 보간 임계값에서 최소값(거의 0 에 가까운 정렬) 에 도달합니다.
• SNR 의존성: 더 높은 SNR 은 일관되게 더 강한 정렬로 이어집니다. 특히 과소모수화 영역 ($\alpha > 1$) 에서 서로 다른 SNR 은 동일한 일반화 오차를 산출하지만 구별되는 정렬 수준을 보입니다.

비선형 네트워크 (ReLU)

• 정성적 유사성: ReLU 네트워크에서 CCE 와 일반화 오차의 행동은 선형 사례와 정성적으로 유사합니다: 보간 임계값 근처에서 최소값을 갖는 샘플 크기에 대한 비단조적 의존성과 SNR 에 따른 단조적 개선.
• 정량적 차이: 선형 사례와 달리, 일반화 오차는 보간 임계값에서 발산하지 않으며 CCE 는 0 으로 붕괴되지 않습니다. 대신 SNR 에 의존하는 값으로 수렴하여, 임계값에서도 비선형 네트워크가 일부 공유 정보를 유지함을 시사합니다.
• 선형 대 ReLU 비교: 동일한 데이터셋에서 훈련될 때, 선형 네트워크는 더 낮은 일반화 오차(이 선형 문제에 대한 베이지안 최적 학습자에 더 가까움) 를 달성하지만, ReLU 네트워크에 비해 덜 정보적인 표현(더 낮은 CCE) 을 학습합니다. ReLU 네트워크는 더 높은 오차에도 불구하고 더 풍부한 구조적 정보를 포착합니다.

실제 세계 데이터 (CIFAR-10, MNIST)

• 라벨 잡음: 라벨 잡음(역 SNR) 을 도입하면 일반화 오차가 증가하고 표현 정렬이 감소합니다.
• 샘플 크기: 샘플 크기와 정렬 사이의 비단조적 관계는 보간 임계값 근처에서 최소값을 갖는 한 유지됩니다.
• 일관성: 이러한 발견은 합성 선형 설정에서 표준 아키텍처를 사용하는 복잡하고 실제 세계의 분류 작업으로 확장됩니다.

중요성과 주장

이 논문은 일반화 성능과 분리된 데이터의 품질과 양에 대한 정렬의비자명한 의존성을 제공한다고 주장합니다. CCE 를 도입함으로써 저자들은 전통적인 선형 측정치 (CKA, SVCCA) 가 실패하거나 가짜 유사성을 보고할 수 있는 매우 휘어진 다양체에서의 정렬을 포착할 수 있는 측정치를 제시합니다.

핵심적인 중요성은 더 나은 작업 성능이 더 좋거나 더 정렬된 내부 표현을 의미한다는 가정에 도전하는 데 있습니다. 저자들은 다음과 같이 주장합니다:

• 작업 성능은 표현 품질을 위한 불충분한 대리 지표입니다. 네트워크가 특정 작업에서 다른 네트워크보다 더 잘 수행할 수 있지만, 덜 구조화되거나 덜 정보적인 내부 표현을 인코딩할 수 있습니다.
• 정렬은"좋은"학습의 보편적 지표가 아닙니다. 정렬을 주도하는 메커니즘 (SNR, 샘플 크기) 은 특정 영역에서 일반화 오차를 주도하는 메커니즘과 독립적으로 작동합니다.

이러한 발견은 독립적으로 훈련된 네트워크가 유사하게 구조화된 내부 표현으로 수렴하는 특정 조건 (차원성에 대한 SNR 과 샘플 크기) 을 식별함으로써 표현 학습에 대한 원칙적인 이론을 구축하는 데 기여합니다. 이 연구는 표현의"플라톤적"수렴이 보장되는 것이 아니라 데이터와 훈련 영역의 통계적 속성에 의해 엄격하게 지배된다는 것을 시사합니다.