기술적 요약: 계층별 연결성을 통한 독립적으로 훈련된 모드 간 연결

1. 문제 제기

본 논문은 독립적으로 훈련된 신경망 모드(즉, 서로 다른 무작위 시드로 수렴까지 훈련된 모델) 사이에 연속적이고 손실이 낮은 경로를 구성하는 과제를 다룹니다. 실증적 연구들은 이러한 경로가 존재한다는 사실 (모드 연결성으로 알려진 현상) 을 입증해 왔으나, 기존 방법들은 다음과 같은 중대한 한계를 겪고 있습니다:

• 신뢰성: Fast Geometric Ensembling (FGE) 및 AutoNEB 와 같은 이전 알고리즘들은 종종 진정한 독립적인 모드들을 연결하는 데 실패합니다. FGE 는 구현상의 제약으로 인해 가중치 공간에서 이미 근접해 있는 모드들에만 제한되며, AutoNEB 는 경로 품질에서 높은 변이성을 보여 다양한 무작위 시드에서 낮은 손실을 유지하는 데 자주 실패합니다.
• 아키텍처 범위: 기존 방법들은 주로 단순하거나 구식 아키텍처 (예: LeNet, 기본 CNN, VGG, ResNet) 에서 평가되었습니다. MobileNet, EfficientNet, Transformer 와 같은 현대적이고 복잡한 아키텍처에서의 효과성은 여전히 불명확합니다.
• 하이퍼파라미터 민감도: 현재 접근법들은 일반적으로 모드들이 동일한 하이퍼파라미터로 훈련되었다고 가정합니다. 서로 다른 하이퍼파라미터 하에서 훈련된 모드들 (이는 매개변수 공간에서 서로 다른 "분산 구"에 위치하게 함) 을 연결하는 능력은 견고하게 다루어지지 않았습니다.

2. 방법론: 저손실 경로 탐색 (LLPF)

저자들은 **저손실 경로 탐색 (Low-Loss Path Finding, LLPF)**을 제안합니다. 이는 독립적인 모드 간에 저손실 경로를 구성하도록 설계된 실증적 알고리즘입니다. 이 방법은 계층별 모드 연결성 가설에 기반하며, 두 모드가 전체 매개변수 공간에서 선형적으로 연결될 수는 없더라도 계층별로 연결될 수 있다는 것을 전제로 합니다.

LLPF 는 두 가지 상호 보완적인 알고리즘으로 구성됩니다:

A. 알고리즘 1: 모델 간 연결 (LLPF M2M)

이 알고리즘은 유사한 분산 구 (즉, 동일한 하이퍼파라미터로 훈련됨) 에 위치한 두 모드 ($P_0$ 및 $D$) 를 연결합니다.

• 계층별 처리: 전역 보간과 달리 LLPF 는 계층을 순차적으로 처리합니다. 저자들은 데이터 흐름 추적 (Follow Data Flow, FDF) 전략을 제안하여 얕은 계층에서 깊은 계층으로 (또는 병렬 모듈을 개별적으로 처리하여) 고차원 매니폴드를 효과적으로 탐색합니다.
• 반복 단계:
  1. 이동: 현재 지점 $P_i$를 가중 평균을 사용하여 목적지 $D$ 쪽으로 약간 이동시킵니다.
  2. 분산 보정: 이동된 지점을 원래 분산 구 ($S_{var=v}$) 로 다시 투영합니다. 이 단계는 상관관계가 없는 네트워크들을 평균화할 때 매개변수 분산이 감소하여 후속 훈련을 방해하는 "분산 소실 문제"를 상쇄합니다.
  3. 정제 (훈련): 보정된 지점을 임계값 이하로 손실을 줄이기 위해 제한된 수의 훈련 단계 ($r$) 를 거칩니다.
  4. 투영: 정제된 지점을 분산 구로 다시 투영하여 다음 반복의 시작점으로 사용합니다.
• 제약 조건: 최적화기는 분산 구 제약이 본질적으로 가중치 분산을 보존하고 모멘텀이 작고 국소적인 업데이트에는 적합하지 않으므로 정규화 (예: 가중치 감쇠) 와 모멘텀을 제외합니다.

B. 알고리즘 2: 모델에서 원점까지 (LLPF M2O)

이 알고리즘은 저손실 모델을 매개변수 공간의 원점 ($O$) 에 연결하여 서로 다른 분산 구 간 이동을 가능하게 합니다.

• 메커니즘: 알고리즘 1 과 유사하지만 분산 보정 단계는 포함하지 않습니다.
• 각도 일치 (Angle Conformal): 모델이 원점 쪽으로 이동함에 따라 가중치의 분산이 감소합니다. 모델이 저손실 경로에서 벗어나지 않도록 학습률을 현재 분산에 기반하여 적응적으로 조정합니다 (각도 일치 단계).
• 제외 항목: 정규화 계층은 이 과정에서 제외됩니다. 이를 원점 쪽으로 이동시키면 그 기능 (0 평균/단위 분산으로 재조정) 이 손상되기 때문입니다.

C. 서로 다른 분산 구 연결하기

서로 다른 하이퍼파라미터 (예: 서로 다른 가중치 감쇠) 로 훈련된 모드를 연결하기 위해 저자들은 2 단계 하이브리드 접근법을 제안합니다:

1. 알고리즘 2를 사용하여 소스 모드를 목표 분산 구 위의 중간 지점으로 이동시킵니다.
2. 알고리즘 1을 사용하여 이 중간 지점을 목적지 모드에 연결합니다.

3. 주요 기여

• 현대 아키텍처로의 일반화: LLPF 는 이전 방법들이 신뢰성 있게 지원하지 않았던 MobileNet, ShuffleNet, EfficientNet, RegNet, Deep Layer Aggregation (DLA), Compact Convolutional Transformers (CCT) 를 포함한 다양한 아키텍처에 걸쳐 모드를 성공적으로 연결합니다.
• 높은 재현성: 이 방법은 강력한 일관성을 보여줍니다. 서로 다른 무작위 시드로 여러 번 실행한 결과, LLPF 는 이전 작업 (AutoNEB 등) 에서는 볼 수 없었던 거의 동일한 훈련 손실 및 테스트 정확도 궤적을 가진 경로를 일관되게 발견합니다.
• 교차 하이퍼파라미터 연결성: 이 프레임워크는 서로 다른 하이퍼파라미터 (서로 다른 분산 구) 로 훈련된 모드를 연결하는 것을 지원하며, 이는 모드 연결성 맥락에서 이전에 평가되지 않았던 설정입니다.
• 개선된 경로 품질: LLPF 는 기존 방법들에 비해 경로 상의 최악의 경우 훈련 손실을 달성합니다 (예: ResNet18 의 경우 AutoNEB 의 피크 손실 >0.5 를 LLPF 의 <0.05 로 감소).

4. 실험 결과

저자들은 다양한 아키텍처를 사용하여 CIFAR-10, CIFAR-100, ImageNet-10 데이터셋에서 LLPF 를 평가했습니다.

• 일관성: 10 회 이상 반복된 실험에서 구성된 경로들은 전환 전반에 걸쳐 낮은 훈련 손실 (<0.1) 과 높은 정확도를 유지하는 것으로 나타났습니다.
• 계층별 역학: 결과는 계층별 접근법이 필수적임을 확인시켜 주었습니다. ResNet18 및 DLA 와 같은 복잡한 모델의 경우 모든 계층을 동시에 이동시키는 것은 실패합니다.
• 연속성: LLPF 가 생성한 이산 점들 간의 선형 보간은 낮은 손실을 유지하여 구성된 경로의 연속성을 확인시켜 줍니다.
• 뾰족한 최소점: 이 알고리즘은 (가중치 감쇠가 0 이고 학습률이 일정한 상태로 훈련된) "뾰족한" 최소점에 위치한 모드들을 성공적으로 연결하여 평평한 최소점 너머의 견고성을 입증합니다.
• 경쟁사의 실패 사례: AutoNEB 가 독립적인 모드를 연결하는 데 실패하여 높은 손실이 발생한 특정 사례에서 LLPF 는 낮은 손실로 성공했습니다.

5. 중요성 및 주장

본 논문은 LLPF 가 매개변수 공간의 저손실 영역을 탐색하기 위한 견고하고 실용적인 도구를 제공한다고 주장합니다.

• 기하학적 통찰: 실증적 발견들은 손실 지형에 독립적인 최소점을 연결하는 "저손실 터널"이 존재함을 시사하며, 고립된 분지라는 관점에 도전합니다. 저자들은 모든 독립적으로 훈련된 SGD 모드가 단일 경로 연결 저손실 매니폴드 내에 있을 것이라고 가설을 세웁니다.
• 이론적 한계: 저자들은 겸손하게도 실증적 결과가 이러한 경로의 존재를 지지하지만, 복잡한 아키텍처에 대해 이 추측을 공식적으로 증명하는 기존 이론적 프레임워크는 없다고 지적합니다.
• 실용적 유용성: 저손실 영역의 체계적 탐색을 가능하게 함으로써 LLPF 는 연구자들이 신경망 해법의 기하학적 특성에 대한 통찰을 얻을 수 있게 하여, 더 나은 아키텍처 개발 및 훈련 효율성 향상에 기여할 수 있습니다.

제안된 방법의 소스 코드는 커뮤니티에 공개되었습니다.