기술 요약: ReLU 네트워크의 학습 공간의 위상 및 기하학적 구조

문제 정의

본 논문은 일반적인 유향 비순환 그래프(DAG) 구조로 정의된 피드포워드 ReLU 네트워크의 학습 역학에서 발생하는 두 가지 근본적인 병리 현상인 **(불)연결성(disconnectedness)**과 매개변수 공간 내의 특이점(singularities) 존재 문제를 다룹다. 고전적인 결과들은 주로 계층형 구조에 집중하는 반면, 현대의 네트워크는 설계, 가지치기(pruning) 또는 압축을 통해 발생하는 유연한 DAG 구조를 자주 채택한다. 저자들은 ReLU와 같은 동차 활성화 함수(homogeneous activations)를 사용하는 네트워크에서 경사 하강법(gradient flow)으로 학습할 경우, 학습 궤적이 **불변 집합(invariant set)**이라 불리는 특정 대수적 다양체(algebraic variety)에 제한된다고 주장한다. 이 집합의 기하학적 및 위상적 특성을 이해하는 것은 학습 역학을 분석하는 데 매우 중요한데, 이는 어떤 매개변수 구성이 도달 가능한지, 그리고 초기화에 의해 네트워크의 표현력이 어떻게 제약되는지를 결정하기 때문이다.

방법론

저자들은 대수 기하학, 그래프 이론, 그리고 동역학계 분석을 결কে 조합하여 사용한다:

1. 수학적 정식화:

   • 네트워크는 DAG $G=(V, E)$로 모델링된다. 매개변수 공간 $\Theta$는 $\mathbb{R}^{|E|}$와 동일시된다.
   • 동차 활성화 함수의 재스케일링 대칭성(뉴런의 입력 가중치를 $\alpha$만큼 스케일링하고 출력 가중치를 $\alpha^{-1}$만큼 스케일링해도 함수가 변하지 않는 성질)을 활용하여, 저자들은 경사 하강법 하에서의 **보존 법칙(conservation laws)**을 도출한다.
   • 이 법칙들은 그래프의 인시던스 행렬(incidence matrix) $\tilde{B}$(입력/출력 노드를 제외한 행)를 사용하여 정식화된다. 보존 법칙은 $\tilde{B}(\theta \odot \dot{\theta}) = 0$으로 표현되며, 이는 $\tilde{B}\theta^2 = c$로 적분된다. 여기서 $c$는 초기화에 의해 결정되는 벡터이다.

2. 불변 집합 분석:

   • 불변 집합 $H_G(c)$는 이차 방정식 시스템 $\tilde{B}\theta^2 = c$의 해 집합으로 정의된다. 이 집합은 경사 하강법 궤적이 갇히게 되는 매니폴드(manifold)를 나타낸다.
   • 저자들은 교차하는 이차 형식(quadrics)의 위상에 관한 결과(특히 de Mediano, 2023의 결과 적용)를 사용하여 $H_G(c)$의 연결성을 분석한다.
   • 저자들은 야코비안 행렬 $J_G(\theta) = 2\tilde{B}\text{diag}(\theta)$의 계수(rank)를 조사함으로써 특이점을 분석한다. 특이점은 특정 엣지의 가중치가 0이 될 때 발생하며, 이는 계수의 하락(rank drop)에 해당한다.

3. 정규화 전략:

   • 네트워크를 특이 구성(disconnected sub-networks에 해당)으로 능동적으로 유도하기 위해, 저자들은 야코비안 $J_G(\theta)$에 대한 핵 노름(nuclear norm) 정규화 항을 제안한다. 이는 계수를 최소화하는 매끄러운 대리 함수(surrogate) 역할을 하여 "자기 가지치기(self-pruning)"를 촉진한다.

주요 기여

1. 연결성 규명

본 논문은 일반적인 DAG 구조에서 불변 집합 $H_G(c)$의 연결성에 대한 필요충분조건을 제공한다.

• 병목 노드(Bottleneck Nodes): 불연결성은 특히 병목 뉴런(하나의 입력 엣지 또는 하나의 출력 엣지만을 가진 노드)으로부터 발생함이 밝혀졌다.
• 균형 조건(Balance Conditions): 정리 1은 $H_G(c)$가 연결되기 위한 필요충분조건이 순수 조상(pure ancestors, out-bottleneck용) 및 순수 자손(pure descendants, in-bottleneck용)의 부분 집합에 대한 특정 "균형" 조건이 충족되는 것임을 입증한다. 구체적으로, 특정 안정 집합(stable sets) 내의 균형 값 $c_v$의 합이 0보다 크거나 작아야 한다.
• 시사점: 만약 초기화 시 이 조건이 위반되면, 최적화 공간은 서로 분리된 구성 요소들로 나뉜다. 한 구성 요소에서 초기화된 네트워크는 다른 구성 요소에 있는 최적점에 도달할 수 없으며, 이는 손실 함수 지형(loss landscape)과 무관하게 특정 함수(예: 병목 가중치의 부호 변화가 필요한 함수)를 도달 불가능하게 만들 수 있다.

2. 특이점 분석

저자들은 특이점을 일부 뉴런이 입력 및 출력 노드로부터 실질적으로 단절되는 구성으로 식별한다.

• 위상적 대응: 특이점은 야코비안의 계수 하락에 대응하며, 이는 0의 가중치를 가진 엣지 집합이 숨겨진 뉴런들의 서브그래프를 나머지 네트워크로부터 단절시킬 때 발생한다.
• 도달 불가능성: 본 논문은 일반적인 초기화 상태에서의 표준 경사 하강법 하에서 특이점은 유한한 시간 내에 도달 불가능함을 증명한다.
  • 이유 1: 특이점 조건은 어떤 노드 집합 $W$에 대해 $\sum_{v \in W} c_v = 0$이라는 정확한 등식을 요구한다. 무작위 초기화의 경우, 이 정확한 등식이 성립할 확률은 0이다.
  • 이유 2: 설령 그러한 구성이 존재하더라도, 명제 7은 야코비안의 계수가 경사 하강법 하에서 불변임을 보여준다. 따라서 궤적은 정칙 점(regular point)에서 특이 점(singular point)으로 전이될 수 없다.

3. 정규화를 통한 미분 가능한 가지치기

표준 경사 하강법으로는 특이점에 도달할 수 없으므로, 저자들은 이를 유도하기 위해 정규화를 사용할 것을 제안한다.

• 핵 노름 정규화: 야코비안의 핵 노름을 패널티로 부여함으로써, 학습 역학이 특이 구성으로 수렴하도록 유도하여 효과적인 미분 가능하고 구조 불가지론적인(structure-agnostic) 가지치기를 수행한다.
• 경험적 관찰: MLP에 대한 수치 실험에서, 이 정규화 항은 상당한 수의 숨겨진 뉴런(예: 20개 중 18개)을 단절시키는 데 성공했다. 놀랍게도, (일반적으로 가중치 희소성과 연관된) 표준 L1 정규화가 유사한 특이 행동을 유도하며 효과적인 무손실 가지치기를 수행한다는 것이 경험적으로 관찰되었다. 이는 L1 희소성과 특이점 유도 사이에 깊고 설명되지 않은 연결 고리가 있음을 시사한다.

결과

• 이론적 결과: 본 논문은 네트워크의 위상이 네트워크의 그래프 구조(특히 병목 현상)와 초기화 의존적인 균형 벡터 $c$에 의해 결정됨을 확립한다. 또한 불연결성이 전역 최적화 도달 가능성을 방해함을 증명한다.
• 특이점: 특이점이 "살해된(killed)" 서브 네트워크에 대응함을 증명한다. 이들은 이론적으로 다양체의 일부이지만, 초기화가 병리적이거나 특정 정규화가 적용되지 않는 한 표준 학습 과정에서는 역학적으로 접근 불가능하다.
• 실험 결과:
  • out-bottleneck이 있는 토이 DAG에서, 저자들은 초기화가 균형 조건을 위반할 경우 네트워크가 병목 가중치의 부호 반전을 요구하는 타겟 함수를 학습하는 데 실패함을 보여준다.
  • 유방암 데이터셋 실험에서, 핵 노름 정규화는 야코비안의 계수를 낮추어 뉴런을 단절시키는 데 성공했다. L1 정규화는 유사한 결과를 냈으나, L2 및 정규화되지 않은 학습은 완전한 연결성을 유지했다.
  • 가지치기 실험은 특이점으로 유도된 네트워크가 무손실 가지치기(성능 저하 없이 단절된 뉴런을 제거하는 것)를 허용하는 반면, L2 정규화된 네트워크는 뉴런 제거 시 성능 저하를 겪음을 확인시켜 준다.

의의 및 주장

본 논문은 네트워크 위상과 최적화 기하학 사이의 상호작용을 밝히는 데 기여한다고 주장한다. 불변 집합을 이차 균형 조건에 의해 제약되는 대수적 다양체로 규정함으로써, 저자들은 왜 특정 학습 경로가 차단되는지(불연결성), 그리고 특이점이 서브 네트워크와 어떻게 연관되는지에 대한 원칙적인 프레임워크를 제공한다.

주요 의의는 가지치기 메커니즘을 설계하기 위한 원칙적인 경로를 제시한다는 점에 있다. 단순히 휴리스틱한 희소성 제약에 의존하는 대신, 저자들은 최적화 공간의 구조(구체적으로 특이점으로 유도하는 것)를 활용하여 효과적인 무손실 모델 압축을 달성할 수 있다고 제안한다. L1 정규화가 이러한 특이 구성을 암묵적으로 촉진한다는 관찰은, 표준 희소성 유도 방법들이 가중치 희소성 측면에서만 이해되었던 것과 달리, 이미 이러한 기하학적 특성을 활용하고 있을 수 있음을 시사한다.

저자들은 자신의 이론적 보장이 경사 하강법과 동차 활성화 함수를 사용하는 정규화되지 않은 손실 함수에 기반하고 있다는 점을 언급하며 한계를 겸허히 인정한다. 이산 시간 옵티마이저(Adam 등)와 명시적인 정규화 항은 유도된 보존 법칙을 위반할 수 있으며, 핵 노름 정규화의 실제 적용은 현재 계산적 제약에 의해 제한적임을 인정하고 있다.