기술 요약: CascadeFormer: 그래디언트 팬인 비대칭성(Gradient Fan-in Asymmetry)에 기반한 깊이 테이퍼링 트랜스포머

1. 문제 정의

깊은 트랜스포머(Deep Transformers)는 일반적으로 동일한 잔차 블록을 쌓아 모델의 깊이를 늘리는 균일 스케일링 원칙에 의존한다. 그러나 경험적 관찰에 따르면, 더 깊은 층은 종종 기능적 가치가 점진적으로 감소하며, 높은 표현 유사성과 중복성을 보이는 경-향이 있다. 기존의 설명은 이를 깊은 층에서의 그래디언트 크기 감쇠로 돌리지만, 저자들은 이것이 근본 원인이 아닌 증상을 다루는 것이라고 주장한다. 본 논문은 근본적인 문제가 그래디언트의 크기가 아니라, 구조적으로 제한된 **구성적 다양성(compositional diversity)**에 있다고 상정한다.

2. 핵심 가설: 그래디언트 팬인 비대칭성 (GFA)

본 논문은 층의 중복성에 대한 구조적 설명으로 **그래디언트 팬인 비대칭성(Gradient Fan-in Asymmetry, GFA)**을 도입한다. Pre-LayerNorm 잔차 스택에서 임의의 층 $l$에서의 그래디언트는 항등 경로(identity path)와 모든 하위 기능적 경로들의 합이다.

• 구조적 불균형: 얕은 층은 다수의 하위 계산 경로로부터 그래디언트를 집계하므로, 풍부하고 구성적으로 다양한 신호를 갖는다. 반면, 깊은 층은 점진적으로 줄어드는 경로 집합으로부터 집계되므로, 구조적으로 단순하고 정보가 빈약한 그래디언트를 갖는다.
• 수학적 정식화: 표준 아키텍처에서 그래디언트 팬인($\phi_l$)은 깊이에 따라 선형적으로 감소한다. LayerSkip과 같은 딥 슈퍼비전(deep supervision)을 사용하는 아키텍처에서는 보조 손실 헤드(auxiliary loss heads)의 도입이 새로운 그래디언트 계층 구조를 생성하여, 팬인 격차를 선형에서 이차(quadratic)로 변화시킴으로써 정보를 가장 얕은 층에 더욱 집중시킨다.
• 주요 차이점: 저자들은 그래디언트 크기가 이러한 구조적 정보 불균형의 대리 지표(proxy)라고 주장한다. 옵티마이저는 그래디언트 크기를 재조정할 수는 있지만, 구조적으로 결여된 구성적 정보를 발명해낼 수는 없다.

3. 방법론 및 개입

GFA를 검증하고 이를 효율성을 위해 활용하기 위해, 저자들은 1.2B 파라미터 규모(Llama 기반 트랜스포머 및 ResNet-50 포함)까지 처음부터 학습된 모델을 대상으로 실험을 수행했다.

3.1 경험적 검증

• 상관관계 증거: 저자들은 학습 중 누적 그래디언트 공유량($\bar{g}_i$)을 측정하고, 이를 층 제거(ablation) 시 성능 저하로 정의되는 기능적 중요도($\Delta \mathcal{M}_i$)와 상관 분석하였다. Vanilla Transformer, LayerSkip 모델, ResNet-50 전반에서 강한 양의 상관관계가 발견되었으며, 이는 훈련 그래디언트 흐름이 최종 층의 중요도를 예측함을 나타낸다.
• 개입 테스트:
  1. 크기 균등화 (절제 실험): 저자들은 훈련 중에 각 층의 그래디언트 L2 노름(norm)이 동일하도록 인위적으로 재조정하였다. 이 개입은 깊은 층의 기능적 중요성을 복구하는 데 실패하였으며, 이는 크기 자체가 결정적인 요인이 아님을 시사한다.
  2. 경로 수 증가 (구성적 실험): 저자들은 마지막 층들을 파라미터를 공유하며 반복함으로써(가상 깊이 증가) 깊은 층의 하위 그래디언트 팬인을 증가시켰다. 이러한 구조적 변화는 깊은 층의 기능적 중요성을 성공적으로 복구하고 높였으며, 이를 통해 구조적 경로 다양성이 병목 구간임을 확인하였다.

3.2 제안된 응용 분야

GFA에 착안하여, 저자들은 두 가지 효율화 방법을 제안한다.

1. CascadeFlow 프루닝 (CFP):

   • 메커니즘: 누적 훈련 그래디언트 노름($\bar{g}_i$)을 구조적 중요도의 대리 지표로 사용하는 효율적인 프루닝 방법이다.
   • 장점: 값비싼 사후 분석이나 순전파(forward pass)가 필요한 표준 휴리스틱(예: Taylor 기준, magnitude pruning, 또는 은닉 상태 유사도)과 달리, CFP는 훈련 중에 수집된 그래디end를 직접 활용한다.
   • 구현: 프루닝된 층은 추론 시 단순한 패스스루(항등 함수)로 구현되어 아키텍처 수정이 필요 없다.

2. CascadeFormer:

   • 메커니즘: 깊이가 깊어짐에 따라 모델 너비(attention heads 및/또는 FFN 차원)를 테이퍼링(tapering) 함으로써 GFA 원리를 내재화하는 아키텍처이다. 이는 모델의 용량을 자연스러운 구성적 그래디언트 다양성의 감소에 맞춘다.
   • 설계: 테이퍼링은 어텐션 차원에 대해서는 이산적 단계(discrete steps)로, FFN 차원에 대해서는 선형적 감소(linear reduction)로 제어된다.
   • 목표: 구조적으로 덜 필요한 부분의 용량을 줄임으로써, 고정된 훈련 FLOP 예산 내에서 추론 효율성(지연 시간 및 처리량)을 개선하는 것이다.

4. 주요 결과

• 프루닝 성능: 1.2B 파라미터 모델에서 CFP는 퍼플렉시티(PPL)와 안정성 측면에서 표준 프루닝 휴리스틱(Similarity, Taylor, Magnitude)보다 우수한 성능을 보였다. CFP는 공격적인 프루닝 하에서도 경쟁력 있는 다운스트림 정확도(HellaSwag)를 유지한 반면, 다른 방법들은 급격한 성능 저하와 무작위 시드 간 불안정한 순위 변동을 보였다.
• 아키텍처 효율성: 어텐션 차원을 테이퍼링하는 CascadeFormer-A2 변형 모델은 동일한 계산 예산으로 훈련된 균일한 15개 층의 베이스라인과 대등한 퍼플렉시티를 달성했다.
  • 효율성 이득: A100 GPU에서 추론 지연 시간을 8.6% 줄이고 처리량을 9.4% 높였다.
  • 비교: FFN 차원만을 테이퍼링하거나 둘 다 테이퍼링하는 변형 모델들도 경쟁력이 있었으나, 어텐션 테이퍼링이 가장 좋은 성능을 보였다. 이는 아마도 셀프 어텐션 메커니즘이 용량 축소의 가장 효과적인 대상이기 때문일 것이다.

5. 의의 및 주장

본 논문은 층의 중복성을 최적화 실패가 아니라 잔차 네트워크에 내재된 구조적 정보 흐름의 결과로 재정의한다.

• 이론적 기여: 저자들은 상관관계 및 개입 증거를 통해 왜 깊은 층의 기여도가 낮은지에 대한 구조적 설명(GFA)을 제공한다. 이는 그래디언트 크기가 중복의 주된 동인이라는 견해에 도전한다.
• 실무적 기여: 강력한 프루닝 전략(CFP)과 용량을 정보 흐름에 맞추는 새로운 아키텍처 클래스(CascadeFormer)라는 두 가지 즉각적이고 효과적인 효율화 방법을 제시한다.
• 한계 및 겸허한 태도: 저자들은 자신들의 증거가 처음부터 학습된 최대 1.2B 파라미터 규모의 모델로 제한되어 있음을 명시한다. GFA가 100B 이상의 규모에서도 유효한지는 여전히 열려 있는 경험적 질문임을 인정한다. 또한, 그래디언트 크기는 고랭크(high-rank) 영역에서만 팬인을 대리할 수 있으므로, 그래디언트 유효 랭크(effective rank) 및 직교성을 측정하는 것이 필요한 다음 단계라고 언급한다. 마지막으로, CFP는 훈련 시의 그래디언트에 접근해야 하므로, 폐쇄형 소스 프리트레인 모델의 사후 프루닝에는 적용할 수 없다.

저자들은 자신의 방법론이 GFA 설명에 의해 동기 부여되었으나, 그 방법론 자체는 밑바탕이 되는 이론적 설명에 대한 독자의 확신 여부와 관계없이 측정된 성과를 바탕으로 충분히 가치 있다고 결론짓는다.