🤖 machine learning

The Role of Symmetry in Optimizing Overparameterized Networks

본 논문은 신경망의 과파라미터화가 가중치 공간 대칭성을 도입하여 대각 사전조건부 역할을 수행함으로써 헤시안 조건을 개선하고 전형적인 초기화 근처의 전역 최소값에 대한 확률 질량을 증가시켜 수렴을 가속화함으로써 학습을 최적화함을 보여준다.

원저자: Kusha Sareen, Mohammad Pedramfar, Sékou-Oumar Kaba, Mehran Shakerinava, Siamak Ravanbakhsh

게시일 2026-04-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kusha Sareen, Mohammad Pedramfar, Sékou-Oumar Kaba, Mehran Shakerinava, Siamak Ravanbakhsh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 퍼즐을 풀려고 노력한다고 상상해 보세요. 마치 퍼즐 보드에 특정 모양을 끼워 맞추는 것과 같습니다. 딥러닝 세계에서는 이 "퍼즐"이 신경망 내부의 숫자 집합 (가중치) 을 찾아 특정 작업을 올바르게 해결하도록 만드는 것을 의미합니다.

오랫동안 연구자들은 이상한 현상을 관찰했습니다. 네트워크를 더 크게 만드는 것 (더 많은 "조각" 또는 매개변수를 추가하는 것) 은 실제로 퍼즐을 더 쉽고 빠르게 풀 수 있게 합니다. 심지어 그 퍼즐이 작은 네트워크로도 충분히 풀릴 수 있을 정도로 작더라도 그렇습니다. 이를 "과매개변수화 (overparameterization)"라고 부릅니다.

이 논문은 질문합니다: 왜 여분의 조각이 도움이 될까요? 저자들은 이것이 단순히 더 많은 raw power 를 갖는 것뿐만 아니라 **대칭성 (symmetry)**에 관한 것이라고 주장합니다. 그들은 "대칭성"이라는 개념을 사용하여 네트워크를 더 크게 만드는 것이 해를 찾는 탐색을 어떻게 개선하는지 두 가지 주요 방식을 설명합니다.

다음은 간단한 비유를 사용한 해설입니다:

1. 해의 "거울 미로" (대칭성)

먼저, 퍼즐 조각의 많은 다른 배열이 정확히 같은 그림을 만들어낸다고 상상해 보세요. 신경망에서는 두 개의 뉴런을 서로 바꾸거나, 하나의 뉴런을 함께 작동하는 두 개의 작은 뉴런으로 나누더라도 네트워크는 여전히 정확히 같은 일을 수행합니다.

저자들은 "같은 일을 하는 서로 다른 설정"들의 그룹을 **대칭 궤도 (symmetry orbits)**라고 부릅니다. 이는 산맥 속의 평평한 계곡과 같습니다. 계곡 바닥에 서 있다면 바닥을 따라 어떤 방향으로든 걸을 수 있으며, 고도 (오차) 는 변하지 않습니다. 이것이 바로 "평평한 방향"들입니다.

2. 메커니즘 1: "마법 같은 재조정" (대각선 전조건화)

네트워크를 더 넓게 만들면 뉴런을 나누고 재배열하는 새로운 방식이 도입됩니다. 저자들은 이러한 새로운 배열이 지형에 대한 마법 같은 재조정 도구처럼 작용한다고 증명합니다.

문제: 계곡 바닥이 길고 마른 타원형으로 생겼다고 상상해 보세요. 공을 바닥으로 굴리려 할 때, 한 방향으로는 경로가 좁고 다른 방향으로는 넓기 때문에 공이 걸리거나 앞뒤로 튕기는 데 쉽게 빠집니다. 이는 "나쁘게 조건화된 (badly conditioned)" 지형입니다.
대칭성 해결책: 더 넓은 네트워크에서 이용 가능한 새로운 대칭성을 사용하면, 그 타원의 긴 쪽을 효과적으로 "압축"하고 짧은 쪽을 "늘릴" 수 있습니다. 계곡을 완벽한 원형으로 재형성하는 것입니다.
결과: 이제 공을 굴릴 때 (최적화 알고리즘을 실행할 때), 공은 흔들림 없이 곧바로 바닥으로 굴러갑니다. 저자들은 이를 **대각선 전조건화 (diagonal preconditioning)**라고 부릅니다. 마치 실제로는 타원형인 경로가 완벽하게 둥글게 보이도록 하는 안경을 쓴 것과 같습니다.

3. 메커니즘 2: "더 큰 표적" (부피 증가)

과매개변수화가 도움이 되는 두 번째 방식은 "좋은" 해를 우연히 찾기가 훨씬 쉬워지게 만드는 것입니다.

문제: 눈을 가리고 벽에 다트를 던진다고 상상해 보세요. "승리"하는 지점이 아주 작은 점이라면, 거의 절대 맞출 수 없습니다.
대칭성 해결책: 뉴런을 더 추가하면 대칭 궤도가 확장됩니다. 마치 벽 위의 작은 점이 갑자기 크고 폭신한 구름으로 커진 것과 같습니다. 같은 결과를 얻기 위해 여분의 뉴런을 배열할 수 있는 방식이 너무 많기 때문에, 승리 지점의 총 "부피"가 거대해집니다.
결과: 비록 무작위 추측 (무작위 던지기) 으로 시작하더라도, 이제 좋은 해들의 그 큰 구름 안에 떨어질 확률이 훨씬 더 높아집니다. 이 논문은 네트워크가 넓어질수록 완벽한 해 바로 옆에서 여정을 시작할 확률이 크게 증가함을 보여줍니다.

4. "분할" 트릭

이 논문은 **분할 대칭성 (splitting symmetries)**이라고 불리는 구체적인 수학적 트릭들을 상세히 설명합니다.

활성화 후 분할 (Post-activation splitting): 일을 하는 노동자 (뉴런) 가 있다고 상상해 보세요. 당신은 각자가 절반의 일을 하고 급여를 나누어 받는 두 명의 새로운 노동자를 고용할 수 있습니다. 총 수행된 작업량은 동일하지만, 이제 그들에게 어떻게 급여를 줄지에 대한 유연성이 더 생깁니다.
활성화 전 분할 (Pre-activation splitting, ReLU 네트워크용): 이는 노동자에게 들어오는 입력을 분할하는 것과 같습니다. 노동자가 "ReLU"(특정 유형의 스위치) 라면, 들어오는 신호를 원래 신호와 합쳐지는 두 개의 작은 신호로 나눌 수 있습니다.

이러한 분할들은 지형에 새로운 "평평한 방향"들을 만들어냅니다. 저자들은 총 "부피"가 (균등하게 분할된다면) 거의 동일하게 유지되지만, 그 부피의 모양이 훨씬 더 둥글고 탐색하기 쉽게 변함을 보여줍니다.

5. 실험이 보여준 것

저자들은 수학만 한 것이 아니라 이를 증명하기 위해 실험을 수행했습니다:

곡률: 네트워크를 더 넓게 만들면서 "헤시안 (Hessian, 지형의 언덕과 계곡을 수학적으로 매핑한 것)"이 더 잘 조건화되었습니다. "언덕"들이 더 매끄럽고 균일해졌습니다.
속도: 매개변수가 더 많은 네트워크들이 더 빠르게 수렴 (해를 찾음) 했습니다.
보편성: 이는 다양한 유형의 네트워크 (MLP, CNN, Transformer) 와 다양한 작업에서 작동했으며, 이는 이러한 네트워크가 작동하는 방식의 근본적인 기하학적 규칙임을 시사합니다.

요약

간단히 말해, 이 논문은 신경망을 더 크게 만드는 것이 단순히 더 많은 힘을 주는 것이 아니라, 걷는 지형을 재형성할 수 있는 더 많은 "자유도"를 준다고 주장합니다.

여분의 매개변수를 추가함으로써 당신은 다음과 같은 "좋은" 해들이 있는 지형을 만듭니다:

더 둥글고 굴러가기 쉬운 (더 나은 조건화/전조건화).
더 크고 실수로 맞출 확률이 높은 (증가된 부피/확률).

네트워크의 "대칭성"은 지형을 더 친근한 형태로 재형성할 수 있게 해주는 도구이며, 이를 통해 최적화 과정을 훨씬 더 효율적으로 만듭니다.

다음은 논문 "과매개변수화 네트워크 최적화에서 대칭의 역할 (The Role of Symmetry in Optimizing Overparameterized Networks)"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

과매개변수화 (목표 함수를 표현하는 데 필요한 것보다 훨씬 많은 매개변수를 가진 신경망 사용) 는 현대 딥러닝의 초석으로, 최적화 속도와 최종 성능을 지속적으로 향상시킵니다. 그러나 이러한 개선을 이끄는 정확한 메커니즘은 아직 완전히 이해되지 않았습니다.

기존 이론들은 주로 다음에 의존합니다:

광폭 한계 (Large-width limits): 네트워크를 선형화된 커널 (NTK) 로 간주.
곡률 분석: 큰 근영영 (near-zero) 부분공간을 가진 구조화된 헤시안 스펙트럼 관찰.
대칭성: 네트워크가 함수적으로 동일한 해의 다양체 (manifolds) 를 생성하는 가중치 공간 대칭성 (치환, 재조정) 을 갖는다는 인식.

간극: 대칭성이 손실 지형 (loss landscape) 에서 평평한 방향을 생성한다는 것은 알려져 있지만, 과매개변수화를 통해 최적화 지형의 조건화 (conditioning) 를 개선하여 (최솟값에 도달하고 수렴하기 쉽게 함) 그 구체적인 역할은 포괄적으로 규명되지 않았습니다. 본 논문은 과매개변수화, 가중치 공간 대칭성, 그리고 손실 지형의 기하학적 특성 사이의 간극을 메우려는 것입니다.

2. 방법론

저자들은 네트워크 폭을 증가시킴으로써 유도되는 가중치 공간 대칭성을 분석하는 통합 프레임워크를 제안합니다. 고정된 폭의 대칭성을 넘어 다양한 네트워크 폭에서 대칭성이 어떻게 작동하는지 설명하기 위해 행렬 군 (Matrix Groupoid) 형식주의를 활용합니다.

주요 이론적 도구:

대칭 궤도 (Symmetry Orbits): 동일한 함수를 생성하는 매개변수의 동치 클래스 $[\theta]_T$ 정의.
분할 연산 (Splitting Operations): 뉴런 추가 (과매개변수화) 가 분할 행렬 ( $M$ $M$ ) 과 의사역행렬 ( $M^+$ $M^{+}$ ) 을 통해 기존 뉴런을 "분할"하는 것에 해당함을 특성화.
- 활성화 후 분할: 뉴런을 복제하고 출력 가중치를 재분배.
- 활성화 전 분할 (ReLU 전용): ReLU 선형성을 유지하면서 입력 가중치를 분할.
헤시안 분석: 곡률, 조건수 (condition numbers), 그리고 국소 부피의 변화를 이해하기 위해 이러한 분할 연산 하에서 헤시안 행렬 ( $H$ ) 이 어떻게 변환되는지 분석.
교사 - 학생 설정: "학생" 네트워크 (폭 $n$ ) 가 "교사" 네트워크 (최소 폭 $n_f$ ) 와 일치하도록 훈련되는 설정을 사용하여 전역 최솟값의 존재를 보장하고 표현 문제에서 최적화 역학을 분리.

3. 주요 기여

본 논문은 과매개변수화가 최적화를 돕는 두 가지 구별된 메커니즘을 규명합니다:

메커니즘 1: 헤시안의 대각 사전 조건화 (Diagonal Preconditioning)

저자들은 대칭 변환이 헤시안 위에서 대각 사전 조건화 (diagonal preconditioners) 로 작용함을 증명합니다.

정리: 네트워크가 대칭을 통해 확장되면, 새로운 헤시안 $H'$ 은 $K^{1/2} H K^{1/2}$ 와 동일한 0 이 아닌 고유값을 갖습니다. 여기서 $K$ 는 분할 구조에 의해 결정되는 대각 행렬입니다.
함의: 이 변환은 손실 지형의 축을 효과적으로 재조정합니다. 원래 헤시안의 고유벡터가 대략 축 정렬되어 있다면 (경험적 증거가 이를 시사함), 이 재조정은 조건수 ( $\kappa$ ) 를 크게 개선하여 1 차 방법의 더 빠른 수렴을 유도합니다.
Trace 감소: 그들은 비영 (non-zero) 고유값의 곱 (의사행렬식/부피) 은 균등 분할 하에서 보존되지만, Trace (고유값의 합/평균 곡률) 는 감소할 수 있음을 보여주는 공식을 유도합니다. 이는 평균 사례 조건화의 개선을 초래합니다.

메커니즘 2: 부피 성장과 도달 가능성

과매개변수화는 일반적인 무작위 초기화 근처의 전역 최솟값의 확률 질을 증가시킵니다.

정리: 폭이 증가함에 따라 초기화 근처의 전역 최솟값의 총 부피가 증가합니다. 구체적으로, 네트워크가 충분히 넓어지면 $\epsilon$ -근방 내의 전역 최솟값에서 초기화될 확률이 폭이 증가함에 따라 증가합니다.
조합적 효과: 매개변수를 추가하면 새로운 대칭성이 도입되어 해의 동치 클래스가 확장됩니다. 분할로 인해 개별 최솟값의 부피가 약간 줄어들더라도, 가능한 분할 구성 (치환 복사) 의 조합적 폭발로 인해 "좋은" 분지에 도달할 확률이 순증가합니다.

4. 실험 결과

저자들은 광범위한 실험을 통해 이론적 예측을 검증합니다:

이론 검증:
- 헤시안 교차 (Hessian Interlacing): 학생 헤시안의 고유값이 교사의 고유값과 교차하며, 새로운 평평한 대칭 방향에 해당하는 추가적인 근영영 (near-zero) 고유값이 있음을 확인.
- 의사행렬식 및 Trace: 헤시안 Trace 와 의사행렬식의 경험적 측정이 이론적 예측과 0.03% 오차 내에서 일치.
- 뉴런 클러스터링: 수렴 시 학생 뉴런이 교사 뉴런 가중치 주변에 군집화되고, 출력 가중치의 합이 교사의 값과 일치함을 시각화하여 "분할" 구조를 확인.
최적화 지표:
- 조건화: MLP, CNN, Transformer 전반에 걸쳐 폭이 증가함에 따라 조건수, 최대 고유값, 그리고 평균 사례 조건화 측정치인 AM/GM 비율이 단조롭게 개선됨.
- 수렴 속도: 수렴에 필요한 단계 수가 폭이 증가함에 따라 감소.
- 일반화: 이러한 경향은 교사 - 학생 설정뿐만 아니라 직접 데이터 피팅 시나리오 (예: California Housing 회귀, CIFAR-10 분류) 에서도, 심지어 경미한 과소매개변수화 영역에서도 유효함.

5. 중요성과 함의

통합 프레임워크: 본 논문은 대칭성, 곡률, 그리고 초기화 확률을 통합하는 과매개변수화에 대한 기하학적 설명을 제공합니다. "게으른 훈련 (lazy training, NTK)" 영역을 넘어 유한 폭 역학을 설명합니다.
과매개변수화가 작동하는 이유: 과매개변수화는 단순히 더 많은 용량을 제공하는 것이 아니라, 더 잘 조건화된 최솟값을 포함하도록 손실 지형을 근본적으로 재형성하여 무작위 초기화에서 더 풍부하고 도달하기 쉬운 최솟값을 생성함을 시사합니다.
일반화: 저자들은 일반화에 대한 "계산 논증 (counting argument)"을 제안합니다: 더 단순한 함수 (교사로 표현됨) 는 더 큰 대칭 궤도를 가지므로 복잡한 과적합 해에 비해 최솟값의 부피가 더 큽니다. 최적화는 자연스럽게 이러한 더 크고 조건이 좋은 분지를 선호합니다.
실용적 통찰: 이 발견은 더 넓은 네트워크의 사용을 지지하며, 적응형 옵티마이저 (Adam 등) 가 잘 작동하는 이유를 설명합니다. 그들은 암묵적으로 대각 사전 조건화를 수행하여 과매개변수화 네트워크의 대칭 유도 사전 조건화와 시너지를 냅니다.
가소성 손실 (Plasticity Loss): 이 프레임워크는 지속 학습에서의 "가소성 손실"에 대한 잠재적 설명을 제공합니다: 최적화가 특정 대칭 궤도 (군 내의 낮은 폭 대각선) 에 갇혀 새로운 작업을 위해 휴면 중인 폭을 활용하지 못하게 할 수 있습니다.

요약하자면, 본 논문은 과매개변수화가 가중치 공간 대칭성의 확장을 통해 더 접근 가능하고 조건이 좋은 최솟값을 가진 지형을 생성함으로써 최적화를 개선하는 기하학적 변환임을 보여줍니다.