Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability

기술 요약: 구조적 대칭성을 넘어: 뉴런 식별 가능성을 통한 선형 모드 연결성

문제 정의

딥러닝 모델, 특히 과매개변수화된 신경망은 독립적으로 훈련된 솔루션들이 비볼록(nonconvex) 손실 지형에 있음에도 불구하고, 종종 유사한 예측과 일반화 성능을 가진 모델로 수렴하는 현상을 보입니다. 이를 설명하는 핵심 속성은 **선형 모드 연결성(Linear Mode Connectivity, LMC)**으로, 두 훈련된 솔루션이 가중치 공간에서 선형 보간될 때 낮은 손실을 유지할 수 있는 성질을 의미합니다.

그러나 LMC는 파라미터 대칭성, 구체적으로 은닉 유닛의 치환 대칭성(permutation symmetries)에 의해 방해받는 경우가 많습니다. 표준 아키텍처에서는 은닉 유닛을 치환하고 인접한 층에서 이를 보상하면 구현된 함수가 변하지 않습니다. 결과적으로, 독립적인 훈련 실행들은 동일한 함수 궤적(function orbit)의 서로 다른 대표자들을 탐색하게 되며, 이로 인해 사후 정렬(permutation matching)을 수행하지 않으면 직접적인 선형 보간이 실패(높은 손실 장벽 발생)하게 됩니다.

최 최근 연구들은 고정된 무작위 가중치나 마스크(masks)와 같은 아키텍처 개입을 통해 이러한 구조적 대칭성을 깨뜨려 정렬되지 않은 LMC(unaligned LMC)(정렬 없이 달성하는 LMC)를 달성하려는 시도를 해왔습니다. 그러나 실험적 결과는 엇갈려 왔습니다. 일부 대칭성 파괴 방법은 정렬되지 않은 LMC를 생성하는 반면, 다른 방법들은 그렇지 못했습니다. 본 논문은 왜 구조적 대칭성 파괴가 때때로 불충분한지 조사하고, 아키텍처, 데이터 기하학, 그리고 뉴런 식별 가능성(neuron identifiability) 사이의 상호작용에 따라 **효과적인 대칭성 파괴(effective symmetry breaking)**가 결정된다고 제안합니다.

방법론

1. 이론적 프레임워크: 유효 함수 클래스와 실현 비용

저자들은 **유효 함수 클래스(effective function classes)**와 **실현 비용(realization costs)**을 중심으로 하는 이론적 프레임워크를 개발합니다.

• 유효 함수 클래스 ($H_i(X)$): 한 층의 뉴런 $i$에 대해, 이는 입력 서포트 $X$(데이터 분포 또는 학습된 표현) 상에서 해당 뉴런이 실현할 수 있는 함수의 집합입니다.
• 실현 비용: 특정 함수 $h$를 실현하기 위해 필요한 최소 가중치 노름(weight norm)입니다. 이 비용은 뉴런의 유효 함수 클래스를 기준으로 측정됩니다.
• 식별 가능성을 통한 대칭성 파괴: 본 논문은 뉴런 식별 가능성을 독립적인 훈련 실행 간에 특징(features)이 뉴런에 일관되게 할당되는 것으로 정의합니다. 이는 아키텍처가 특징에 대한 고유하고 저비용인 할당을 향하도록 편향을 줄 때 발생합니다.

저자들은 입력 서포트 $X$가 저차원 부분 공간 $U$ 위에 놓여 있다고 모델링합니다(가정 3.1). 이들은 유효 가중치 행렬이 $W_{eff} = F + D \odot W$인 대칭성 파괴 개입을 분석하며, 여기서 $F$(고정 오프셋)와 $D$(고정 대각 마스크)는 아키텍처 구성 요소이고 $W$는 학습 가능한 파라미터입니다.

2. 대칭성 파괴의 정량화

분석의 핵심은 치환에 대한 실현 비용 민감도를 정량화하는 것입니다.

• 치환 민감도 ($\Delta_{\pi, \tau}$): 특징이 서로 다른 뉴런으로 재할당될 때(출력 치환 $\pi$) 또는 입력 좌표가 재인덱싱될 때(입력 치환 $\tau$) 발생하는 총 실현 비용의 변화입니다.
• 중심 지배 영역(Center-Dominated Regime): 저자들은 고정 가중치 $F$가 학습 가능한 가중치 $W$보다 우세한 영역을 식별합니다. 이 영역에서 뉴런을 교체하는 비용은 주로 입력 부분 공간에 투영된 고정 중심점들 사이의 거리에 의해 결정됩니다.
• 부분 공간 일관성 (Subspace Coherence, $\nu(U)$): 본 논문은 데이터의 주성분 방향이 표준 기저와 얼마나 정렬되어 있는지를 측정하기 위해 부분 공간 일관성 개념을 도입합니다. 높은 일관성은 특정 입력 좌표를 마스킹하는 것(via $D$)이 어떤 특징이 어떤 뉴런에 의해 실현될지에 대해 뚜렷한 영향을 미침을 의미합니다.

3. 선형 모드 연결성과의 연결

본 논문은 뉴런 식별 가능성과 LMC 사이의 연결 고리를 확립합니다.

• 현(Chord) 편차: 저자들은 두 솔루션 사이의 선형 보간 경로를 따라 네트워크 출력의 편차를 분석합니다. 이들은 뉴런이 "중심 지배적"(고정 가중치가 지배적)인 경우, 현의 편차가 작음($O(\beta^{3/2})$)을 보여주며, 이는 낮은 손실 장벽을 의미합니다.
• 정렬 없는 병합: 뉴런이 식별 가능하다면(즉, 아키텍처와 데이터에 의해 뉴런의 역할이 고정된다면), 명시적인 정렬 없이도 표현형을 병합할 수 있어 정렬되지 않은 LMC로 이어집니다.

주요 기여

1. 뉴런 식별 가능성을 위한 이론적 프레임워크: 본 논문은 뉴런 식별 가능성을 실현 비용의 최소화에 의해 구동되는, 훈련 실행 간의 일관된 특징 할당으로 공식화합니다. 또한 구조적 대칭성 파괴(원시 파라미터 공간에서의 대칭성 파괴)와 효과적 대칭성 파괴(실제 입력 서포트 상에서의 대칭성 파괴)를 구분합니다.
2. 실현 비용의 특성화: 저자들은 고정된 아키텍처 구성 요소($F$ 및 $D$)가 입력 부분 공간에 투영된 그람 행렬(Gram matrices)에 의존하는 마할라노비스 노름으로서 실현 비용의 폐쇄형 식(closed-form expressions)을 도출합니다.
3. 효과적인 대칭성 파괴를 위한 조건:
   • 고정 가중치 ($F$): 중심 지배 영역에서 효과적인 대칭성 파괴를 위해서는 투영된 뉴런들의 중심점이 충분히 분리되어야 합니다. 논문은 이 분리도가 뉴런의 수($m$)와 데이터의 고유 차원($k$)에 의존함을 보여주는 점근적 경계(asymptotic bounds)를 제공합니다. $k$가 $m$에 비해 작으면 분리가 어려워져 대칭성이 여전히 효과적으로 유지될 수 있습니다.
   • 입력 부분 공간 일관성: 저자들은 큰 고정 가중치 없이도 높은 부분 공간 일관성이 대각 연산자 $D$를 통해 효과적인 대칭성 파괴와 정렬되지 않은 LMC를 유도할 수 있음을 입증합니다. 이는 특정 특징 방향을 특정 뉴런에게 비용이 많이 들게 만들기 때문입니다.
4. 식별 가능성과 특징 학습 간의 트레이드오프: 저자들은 강력한 대칭성 파괴(일관된 뉴런 역할을 강제함)가 주어진 노름 예산 내에서 네트워크가 학습할 수 있는 특징의 집합을 제한하여, 완전히 대칭적인 랜덤 특징 베이스라인에 비해 표현력을 제한할 수 있다는 어려움(hardness result)을 증명합니다.
5. 경험적 현상에 대한 통합적 설명: 이 프레임워크는 왜 어떤 대칭성 파괴 방법(예: 큰 고정 가중치를 가진 W-비대칭 네트워크)은 정렬되지 않은 LMC를 생성하는 반면, 다른 방법(예: 고정 오프셋이 없는 희소 네트워크)은 그렇지 못한지를 설명합니다.

실험 결과

저자들은 MNIST와 CIFAR-10을 사용하여 MLP와 ResNet(그리고 예비적인 Transformer 확장)에 대한 이론을 실험을 통해 검증합니다.

• 고정 가중치 스케일 ($\sigma_F$)의 효과: $\sigma_F$를 변화시키며 실험한 결과, 작은 $\sigma_F$(사실상 대칭적인 상태)에서는 활성화 매칭 목적 함수(식별 가능성의 대리 지표)가 항등 치환(identity permutation)에 대해 낮고 정렬되지 않은 LMC 장벽이 높게 나타납니다. $\sigma_F$가 증가함에 따라 항등 치환이 거의 최적이 되며, 정렬되지 않은 LMC 장벽이 크게 감소합니다.
• 고유 차원 ($k$): 합성 가우시안 혼합 데이터를 사용하여, 저자들은 대칭성 파괴 아키텍처를 사용하더라도 $k$가 네트워크 너비에 비해 작을 때 뉴런 교체 비용이 낮음을 보여줍니다. $k$가 증가함에 따라 교체 비용이 상승하고 정렬되지 않은 LLMC가 개선됩니다.
• 부분 공간 일관성: 입력 부분 공간의 일관성을 변화시키는 실험은 높은 일관성이 고정 가중치($F$)가 0인 경우에도 대각 마스킹($D$)만으로 효과적인 대칭성 파괴와 정렬되지 않은 LMC를 유도할 수 있음을 확인시켜 줍니다.
• 트랜스포머 (Transformers): 비전 트랜스포머에 대한 예비 결과는 W-비대칭 메커니즘이 보간 장벽을 줄이는 데 도움을 주지만, 어텐션 메커니즘의 복잡한 대칭성(단순 치환을 넘어선) 때문에 완벽한 정렬되지 않은 LMC를 달성하는 것이 MLP보다 더 어렵다는 것을 시사합니다.

의의 및 주장

본 논문은 언제, 왜 파라미터 대칭성 파괴가 뉴런 식별 가능성 및 선형 모드 연결성으로 이어지는지를 이해하기 위한 통합적인 이론적 렌즈를 제공한다고 주장합니다.

• 구조적 대칭성을 넘어: 주요 의의는 대칭성 파괴를 아키텍처의 순수한 구조적 속성으로 보는 것에서 벗어나, 아키텍처, 데이터 분포, 그리고 학습된 표현 사이의 상호작용에 의해 결정되는 효과적(effective) 속성으로 보는 관점의 전환에 있습니다.
• 정렬되지 않은 LMC의 메커니즘: 본 연구는 정렬되지 않은 LMC가 단순히 가중치 공간에서 치환 대칭성을 깨뜨린다고 보장되는 것이 아니라, 아키텍 much 아키텍처가 훈련 과정 전반에 걸쳐 안정적인, 특징에 대한 고유하고 저비용인 할당을 유도해야 함을 명확히 합니다.
• 데이터 기하학의 역할: 논문은 데이터의 기하학(특히 부분 공간 일와 고유 차원)이 대칭성 파괴 개입의 효과 여부를 결정하는 데 결정적인 역할을 한다는 점을 강조합니다.
• 한계 및 트레이드오프: 저자들은 강력한 대칭성 파괴가 네트워크를 특정 특징-뉴런 매핑으로 제한함으로써 특징 학습 능력의 감소를 초래할 수 있다는 점을 겸허히 언급합니다. 또한 현재의 프레임워크가 치환 대칭성에 초점을 맞추고 있으며, 더 풍부한 대칭 그룹(예: 트랜스포머)으로의 확장이 필요할 수 있음을 인정합니다.

요약하자면, 본 논문은 뉴런 식별 가능성이 아키텍처 개입, 데이터 기하학, 그리고 선형 모드 연결성의 출현을 연결하는 핵심 메커니즘임을 주장하며, 정렬되지 않은 모델 병합이 성공할 수 있는지 예측할 수 있는 프레임워크를 제시합니다.