기술적 요약: 심층 신경망에서 기하학적 연속성이 나타나는 이유

문제 제기

최근 관찰에 따르면, 특히 대규모 언어 모델 (LLM) 의 심층 신경망에서 인접한 층의 가중치 행렬은 기하학적 연속성을 나타냅니다. 즉, 주특이벡터 (principal singular vectors) 가 유사한 방향을 가리키며 네트워크 깊이에 걸쳐 매끄러운 궤적을 형성합니다. 이 현상은 경험적으로 문서화되어 층 가지치기 (layer pruning) 및 층 간 매개변수 공유와 같은 실용적 이점과 연관되었으나, 그 근본적 기원은 설명되지 않았습니다. 이러한 연속성이 심층 네트워크 학습의 불가피한 결과인지, 아니면 특정 아키텍처 조건을 필요로 하는 것인지 명확하지 않습니다. 본 논문은 기하학적 연속성의 기계적 기원을 조사하여 이것이 특정 옵티마이저의 인공물 (artifact) 인지, 아니면 잔차 네트워크 (residual networks) 에서의 학습으로 인한 구조적 부산물인지 규명합니다.

방법론

저자들은 "토이 (toy)" 멀티레이어 퍼셉트론 (MLP) 과 소형 트랜스포머에 대한 통제된 제거 실험 (ablation experiments) 과 사전 학습된 LLM 분석을 결합하여 사용합니다.

1. 토이 MLP 실험 (MNIST):

   • 아키텍처: 256 개의 은닉 차원을 가진 16 층 잔차 MLP.
   • 변수: 연구는 다음과 같이 아키텍처 구성 요소를 체계적으로 분리합니다:
     • 잔차 연결 제거 (NoRes).
     • 활성화 함수 제거 (Res+None).
     • 표준 활성화 함수를 회전 등변 (rotation-equivariant) 비선형성으로 대체 (Res+Radial, $\sigma_{rad}(x) = x \cdot \tanh(\|x\|)$ 사용).
     • 초기화 스케일 및 옵티마이저 설정 변경 (예: $\beta_2=0$인 Adam).
   • 지표: 저자들은 인접한 층 간의 주특이벡터 ($v_1$은 입력 공간, $u_1$은 출력 공간) 의 코사인 유사도를 측정합니다. 또한 전체 특이 스펙트럼에 걸친 연속성을 평가하기 위해 $\sigma^2$ 가중 정렬 지표를 정의하고 누적 기울기 일관성을 추적합니다.

2. 트랜스포머 실험 (WikiText-103 및 사전 학습된 LLM):

   • 소형 규모: WikiText-103 에서 학습된 8 층, 34M 매개변수의 Llama 스타일 트랜스포머. 저자는 MLP 활성화 함수에 대한 제거 실험을 수행하여 다양한 투영 행렬 (Q, K, V, Gate, Up, O, Down) 에 미치는 특정 영향을 테스트합니다.
   • 대형 규모: 70B 매개변수까지의 모델에 대한 사전 학습된 Llama-3.1-8B 분석을 통해 관찰된 패턴이 규모 확장 시에도 유효한지 확인합니다.

주요 기여 및 발견

1. 기하학적 연속성을 위한 두 가지 필수 조건

이 논문은 기하학적 연속성이 나타나고 유지되기 위해 필요한 두 가지 구별된 메커니즘을 식별합니다:

• 조건 1: 잔차 연결 (기울기 일관성):
  잔차 연결은 인접한 층이 유사한 오차 신호를 받도록 보장합니다. 잔차 네트워크에서 층의 입력에 대한 기울기는 항등항 ($I$) 을 포함하여 층 간 기울기 일관성을 생성합니다. 경험적 결과는 잔차 연결이 없으면 기울기 연속성이 무작위 수준 (~0.05) 으로 떨어지고 가중치 연속성이 발달하지 못함을 보여줍니다.
• 조건 2: 대칭성 깨는 비선형성 (좌표계 안정화):
  잔차 연결은 일관된 기울기를 제공하지만, 대칭성 깨기 없이는 가중치 연속성을 유지하기에 불충분합니다.
  • "Res+None"의 실패: 활성화 함수를 제거하면 (선형 잔차 네트워크만 남김) 높은 기울기 연속성 (0.93) 은 유지되지만 낮은 가중치 연속성 (0.22) 을 보입니다. 가중치는 처음에 연속적인 구조를 형성하지만 **회전 드리프트 (rotation drift)**로 인해 붕괴됩니다.
  • 메커니즘: 선형 네트워크에서 가중치 곱은 연속적인 회전 대칭성 ($SO(d)$) 을 가지며, 이는 가중치가 독립적으로 드리프트할 수 있는 loss 지형의 평평한 방향을 생성합니다. 요소별 활성화 함수 (ReLU, GELU, SiLU) 는 이 대칭성을 깨뜨려 층들을 공유된 좌표계로 구속하고 드리프트를 방지합니다.
  • 비선형성 vs 대칭성 깨기: 중요하게도, 비선형성만으로는 활성 성분이 아닙니다. $SO(d)$ 대칭성을 보존하는 회전 등변 활성화 (Res+Radial) 는 비선형적이지만 연속성을 유지하지 못합니다 (가중치 $v_1 \approx 0.22$). 이는 대칭성 깨기를 결정적 요인으로 격리시킵니다.

2. 활성화 및 정규화의 구별된 역할

• 활성화: 기하학적 연속성을 주특이 방향 ($v_1$) 에 집중시킵니다.
• LayerNorm: 대칭성을 다르게 깨뜨려 연속성을 여러 특이 방향에 분배합니다. 둘을 결합하면 활성화의 $v_1$ 집중 모드가 지배적입니다.

3. 트랜스포머의 투영별 연속성

트랜스포머 아키텍처에서 기하학적 연속성은 균일하지 않으며 투영별로 결정됩니다. 이는 비선형성의 근접성과 잔차 스트림에 대한 정보 흐름의 방향에 의해 결정됩니다:

• 입력 공간 ($v_1$) 연속성: 잔차 스트림에서 읽어들이고 그 뒤에 비선형성이 따르는 투영은 강한 입력 공간 연속성을 발달시킵니다. 여기에는 Q, K(Softmax 에 의해 안정화됨), Gate(MLP 활성화에 의해 안정화됨), Up(활성화된 Gate 와의 게이트된 곱셈에 의해 안정화됨) 이 포함됩니다.
• 출력 공간 ($u_1$) 연속성: 잔차 스트림에 쓰고 비선형성 후 신호를 받는 투영은 출력 공간 연속성을 발달시킵니다. 여기에는 O와 Down이 포함됩니다.
• 낮은 연속성: V(Value) 투영은 대칭성을 깨고 프레임을 고정할 인접한 비선형성이 부족하여 두 공간 모두에서 낮은 연속성만 발달시킵니다.

4. 기울기에서 가중치로의 전이 역학

이 연구는 인과적 순서를 밝힙니다:

1. 기울기 일관성: 잔차 연결로 인해 초기화 직후 (가중치 업데이트 전) 에 층 간 기울기 연속성이 존재합니다.
2. 가중치 형성: 학습이 진행됨에 따라 가중치 업데이트가 누적됩니다. 누적 업데이트의 크기 ($\|\Delta W\|$) 가 초기 가중치 ($\|W^{(0)}\|$) 를 지배하게 되면, 가중치 구조는 누적 기울기 구조와 정렬됩니다.
3. 안정화: 대칭성 깨는 비선형성은 가중치 구조를 일관된 기울기 신호에서 분리할 수 있는 "회전 드리프트"를 방지합니다.

중요성 및 주장

이 논문은 기하학적 연속성이 특정 옵티마이저나 학습 트릭의 인공물이 아니라, 대칭성 깨는 비선형성을 가진 잔차 네트워크에서의 학습으로 인한 구조적 부산물이라고 주장합니다.

• 기계적 설명: 이 연구는 LLM 의 인접한 층이 유사한 특이벡터 구조를 공유하는 이유에 대한 기계적 설명을 제공하며, 아키텍처 선택 (잔차, 활성화) 을 직접적으로 나타나는 가중치 기하학과 연결합니다.
• 압축 전략의 검증: 이 발견은 기존 모델 압축 기술 (예: 층 가지치기, 층 간 매개변수 공유) 에 대한 이론적 근거를 제공합니다. 논문은 연속성이 학습 과정에서 자연스럽게 발생하기 때문에, 잘 학습된 모델은 본질적으로 이러한 압축 전략을 가능하게 하는 층 간 유사성을 지니고 있다고 주장합니다.
• 설계 시사점: 투영별 패턴은 압축 또는 매개변수 공유 전략이 각 투영이 구조화된 특정 공간 (입력 대 출력) 을 존중해야 함을 시사합니다. 예를 들어, Q, K, Gate, Up 은 입력 공간 기저를 공유하는 반면, O 와 Down 은 출력 공간 기저를 공유하며, V 는 명백한 층 간 공유 기회를 제공하지 않습니다.

저자들은 자신의 주장에 대해 겸손한 태도를 유지하며, MLP 와 Gate 투영 (직접 제거 실험을 통해) 에 대해서는 메커니즘이 명확하지만, 트랜스포머의 Q/K 및 V 에 대한 주장은 각각 간접적 증거나 비선형성의 부재에 의존한다고 지적합니다. 또한 패턴이 규모 (최대 70B 매개변수) 전반에 걸쳐 유효하지만, 더 큰 규모에서의 회전 드리프트에 대한 구체적인 학습 역학은 완전히 검증되지 않았음을 인정합니다.