기술적 요약: 과매개변수화 신경망의 인식론적 불확실성에 관하여

문제 제기

기계 학습에서 인식론적 불확실성은 전통적으로 데이터 크기가 증가함에 따라 사라지는 감소 가능한 불확실성으로 정의되며, 종종 예측 변동성과 동일시됩니다. 이러한 관점은 매개변수 식별 가능성 (parameter identifiability) 에 대한 가정에 의존하는데, 여기서 사후 분포는 $n \to \infty$로 갈 때 고유한 매개변수 벡터 (또는 점 질량) 주위로 집중됩니다. 그러나 과매개변수화 신경망에서는 대칭성 (예: 치환 불변성) 과 중복 표현으로 인해 매개변수들이 일반적으로 식별 불가능합니다.

해결된 핵심 문제는 근본 함수 $f^*$가 완전히 식별될지라도, 매개변수 공간에는 무한한 데이터가 있더라도 지속되는 상당한 불확실성이 존재한다는 점입니다. 예측 분산에 초점을 맞춘 고전적인 불확실성 분해는 함수를 변경하지 않는 매개변수 변화에 대해 불변이므로, 이러한 "잔여" 불확실성을 포착하지 못합니다. 결과적으로, 매개변수 공간에서 사후 분포가 한 점으로 붕괴되지 않는 과매개변수화 모델의 구조적 특성과 표준 불확실성 정량화 방법 사이에는 불일치가 존재합니다.

방법론

저자들은 1 은닉층 ReLU 네트워크 아키텍처를 사용하여 식별 불가능성이라는 렌즈를 통해 인식론적 불확실성을 분석합니다:
$$f_w(x) = w_2^\top \phi(W_1 x)$$
여기서 $\phi(\cdot) = \max(0, \cdot)$입니다. 연구는 가우시안 사전 분포를 가진 베이지안 사후 분포와 동등한 정규화된 손실 목적 함수를 가정합니다.

방법론은 세 단계로 진행됩니다:

1. 이론적 특성화: 저자들은 식별 불가능성의 두 가지 원천을 구분합니다:
   • 치환 대칭성 (Permutation Symmetry): 올바르게 지정된 모델 ($M = M^*$) 에서 식별 불가능성은 은닉 뉴런을 치환함으로써 발생합니다. 사후 분포는 이러한 치환에 대한 디랙 측도 (Dirac measures) 의 혼합으로 수렴합니다.
   • 연속적 분할 (Manifold Assignment): 과매개변수화 모델 ($M > M^*$) 에서 실제 뉴런은 여러 중복 뉴런의 연속적인 조합으로 표현될 수 있습니다. 이는 동일한 함수와 정규화 비용을 유지하면서 가중치를 연속적으로 재분배할 수 있는 "분할 다양체 (splitting manifold)" $\mathcal{M}_\varsigma$를 유도합니다.
2. 사후 분포 유도: 논문은 이러한 다양체 위에서 유도된 사후 분포의 정확한 형태를 유도합니다. 고정된 할당 맵 $\varsigma$(모델 뉴런을 실제 뉴런에 매핑) 에 대해 분할 계수들이 대칭 디리클레 분포를 따름을 확립합니다. 저자들은 $\epsilon \to 0$일 때 다양체 주변의 $\epsilon$-튜브에 조건부인 주변 사후 분포의 약한 극한으로서 다양체 위의 사후 분포를 정의합니다.
3. 실증적 검증: 이론적 발견은 가우시안 사전 분포와 가능도를 가진 베이지안 신경망 (BNN) 을 사용하여 검증됩니다. 추론은 확률적 경사 랑주뱅 역학 (SGLD) 과 No-U-Turn Sampler (NUTS) 를 사용하여 수행됩니다. 연구는 사후 분포 샘플을 분석하여 수렴 특성, 치환 챔버 간 전환율, 그리고 분할 계수의 분포를 검증합니다.

주요 기여

1. 인식론적 불확실성의 재정의: 이 논문은 과매개변수화 모델에서 인식론적 불확실성에는 예측 함수가 완벽하게 식별되더라도 증가하는 데이터와 함께 사라지지 않는 식별 불가능성으로 인한 지속적 구성 요소가 포함되어 있다고 주장합니다.
2. 잔여 불확실성의 특성화:
   • 이산적 원천: 올바르게 지정된 모델에서 불확실성은 치환 궤도 위의 디랙 측도들의 혼합으로 나타납니다.
   • 연속적 원천: 과매개변수화 모델에서 불확실성은 분할 다양체 위의 비퇴화 분포로 나타납니다. 저자들은 분할 계수들이 $\alpha = (p+1)/2$인 디리클레 분포 $\text{Dir}(\alpha, \dots, \alpha)$를 따름을 유도합니다.
3. 사후 분포 모멘트와 기하학: 저자들은 과매개변수화 하에서 가중치의 사후 분포 모멘트에 대한 명시적 공식을 유도합니다. 그들은 중복 뉴런 그룹의 총 기여도는 고정되지만, 개별 뉴런의 기여도는 네트워크 폭 $M$이 증가함에 따라 축소됨 ($평균에서 O(M^{-1/2})$, 공분산에서 $O(M^{-1})$) 을 보여줍니다.
4. 샘플링 역학: 논문은 표준 MCMC 샘플러 (특정 연속성 가정 하에서) 가 거의 확실하게 단일 치환 챔버나 단일 할당 다양체 내부에 갇히게 됨을 보여줍니다. 그들은 대칭성과 관련된 서로 다른 영역 사이의 경계를 자연스럽게 횡단하지 않으므로, 단일 체인은 전체 사후 분포 지지의 부분집합만 탐색합니다.

결과

• 수렴 대 분산: 실증적 결과는 $n$이 증가함에 따라 예측 성능 (RMSE, LPPD) 이 실제 함수로 수렴하지만, 치환 및 분할 대칭성으로 인해 가중치 공분산 행렬의 대각합 (trace) 은 0 이 아니라고 유지됨을 확인합니다.
• 다양체 구조: 과매개변수화 설정 ($M > M^*$) 에서 사후 분포 샘플은 분할 계수가 디리클레의 주변 분포인 베타 분포를 따른다는 이론적 예측과 일치합니다. 가중치 기여도의 실증적 분포는 이론적 디리클레 주변 분포와 밀접하게 일치합니다.
• 샘플링 행동: NUTS 와 SGLD 를 사용한 실험은 체인이 단일 치환 챔버에 갇혀 있음을 보여줍니다. 챔버 간 "전환율"은 무시할 수 있으며, "평균 최소 마진"은 체인이 뉴런이 교환 가능해지는 영측도 (measure-zero) 경계를 거의 건너지 않고 특정 챔버 깊숙이 머무름을 나타냅니다.
• 실질적 영향: 이 논문은 식별 불가능성을 무시하면 하류 작업에서 왜곡된 추정으로 이어질 수 있음을 보여줍니다. 지속적 학습 (EWC) 에서 식별 불가능성으로 인한 분산은 매개변수 중요성을 잘못 과장하여 지나치게 제한적인 업데이트를 초래할 수 있습니다. 이 분산을 보정하면 적응이 개선됩니다. 마찬가지로, 함수 공간 수렴이 달성되더라도 식별 불가능한 방향으로 인해 매개변수 공간의 표준 수렴 진단 (예: $\hat{R}$) 은 과대평가될 수 있습니다.

중요성과 주장

이 논문은 딥러닝에서 인식론적 불확실성에 대한 표준 관점에 필요한 수정을 제공한다고 주장합니다. 다음과 같이 주장합니다:

• 매개변수 불확실성의 지속: 데이터와 함께 불확실성이 사라진다는 고전적 관점과 달리, 과매개변수화 네트워크의 매개변수 불확실성은 구조적 대칭성으로 인해 감소 불가능합니다.
• 함수 대 매개변수 공간: 함수 공간에서 작업하면 이러한 문제가 완화되지만, 가중치를 직접 조작하는 절차 (예: 해석 가능성, 모델 압축, 지속적 학습, 또는 샘플링 기반 추론) 는 오해의 소지가 있는 결론을 피하기 위해 이러한 잔여 불확실성을 고려해야 합니다.
• 현재 휴리스틱의 한계: 딥 앙상블과 같은 실용적 휴리스틱은 식별 불가능성의 일부 효과를 "평균화"할 수 있지만, 사후 분포의 근본적인 기하학적 구조를 제거하지는 않습니다. 논문은 매개변수 공간에서 정확한 불확실성 정량을 위해 사후 분포의 기하학 (특히 과매개변수화로 유도된 다양체) 을 이해하는 것이 중요하다고 제안합니다.

저자들은 범위에 대해 겸손하게, 그들의 공식적 결과가 가우시안 사전 분포를 가진 1 은닉층 ReLU 네트워크에 대해 유도되었음을 지적합니다. 그들은 더 깊은 네트워크가 그들의 이론으로 다루어지지 않는 추가적인 계층별 식별 불가능성을 도입하며, 특정 디리클레 분할 법칙은 가우시안 사전 분포/L2 정규화 선택에 의존함을 인정합니다. 그러나 그들은 치환 및 분할 대칭성의 메커니즘이 과매개변수화 모델의 근본적이며 더 넓은 아키텍처로 확장될 가능성이 있다고 주장합니다.