1. 연구 배경 및 문제 제기 (Problem)

현재의 대규모 언어 모델 (LLM) 은 모든 레이어에 동일한 계산 예산 (컴퓨팅 리소스, 파라미터 수, 학습 단계) 을 할당하는 균일한 (Uniform) 학습 프로토콜을 따릅니다. 이는 모든 레이어가 기능적으로 동등하며 동일한 학습 노력을 필요로 한다는 가정에 기반합니다.

하지만 저자는 생물학적 신경계가 발달 단계와 구조적 중요도에 따라 이질적 (Heterogeneous) 인 것처럼, 변환기 (Transformer) 모델의 레이어들도 기능적 특화와 중요도 계층이 존재할 것이라고 가정합니다. 기존 연구들은 주로 레이어별 표현 (Representation) 분석에 집중했으나, 레이어별 가중치 조작 실험을 통한 기능적 중요도 정량화와 학습 예산의 차등 할당에 대한 체계적인 연구는 부족했습니다.

2. 연구 방법론 (Methodology)

저자는 30 레이어, 135M 파라미터의 소규모 언어 모델인 SmolLM2-135M을 분석 대상으로 선정하여 다음과 같은 5 가지 독립적인 진단 지표를 통해 실험을 수행했습니다.

1. 레이어 중요도 매핑 (Ablation Study): 각 레이어의 가중치를 이웃 레이어의 평균으로 대체했을 때의 퍼플렉시티 (PPL) 저하 정도를 측정하여 레이어를 '중요 (Critical)', '부수적 (Minor)', '중복 (Redundant)', '역효과 (Anti-layer)'로 분류했습니다.
2. 가중치 예측성 분석: 이전 레이어들의 가중치 패턴을 기반으로 후속 레이어의 가중치를 회귀 분석 (Ridge Regression) 으로 예측하고, 예측 정확도 ($R^2$) 와 실제 모델 성능 간의 괴리를 분석했습니다.
3. 가중치 구조 분석: 인접 레이어 간 가중치 변화량 ($\Delta$) 의 상관관계를 분석하여 보편적인 패턴을 탐색했습니다.
4. 가중치 조작 전략 테스트: 중복 레이어에 대해 5 가지 전략 (Zeroing, Cloning, Blending, Low-rank blend, Scaling) 을 적용하여 모델 성능 유지 여부를 검증했습니다.
5. 회복 속도 (Recovery Speed) 측정: 특정 레이어에 가우시안 노이즈를 주입한 후, 해당 레이어만 미세 조정 (Fine-tuning) 하여 원래 성능으로 회복하는 데 걸리는 학습 단계를 측정했습니다. 이를 레이어별 학습 필요성의 지표로 활용했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

3.1. 해부학적 이질성의 발견

모델은 균일하지 않으며 다음과 같은 명확한 기능적 위계 구조를 가집니다.

• 핵심 코어 (Critical Core, L8–L11): 모델의 '두뇌' 역할을 하며, 이 레이어들을 제거하거나 손상시키면 퍼플렉시티가 **63,419%**까지 급증합니다. 특히 L11 은 가장 취약하고 회복 속도가 느립니다.
• 입력 파서 (Input Parser, L1–L2): 입력 토큰을 내부 표현으로 변환하는 필수 레이어입니다.
• 출력 프로세서 (Output Processors, L23–L24, L27–L28): 출력 준비를 담당하며, 노이즈에 대해 즉시 회복되는 특성을 보입니다.
• 연결 조직 (Connective Tissue): 경미하거나 중복된 레이어들로, 학습 예산을 줄여도 큰 영향이 없습니다.
• 역효과 레이어 (Anti-layers, L14, L17): 가장 놀라운 발견으로, 학습된 가중치를 무작위 가중치로 대체하거나 제거했을 때 오히려 모델 성능 (PPL) 이 향상되는 레이어가 존재합니다. 이는 해당 레이어가 학습 데이터에 과적합되거나 해로운 간섭을 일으킨 '퇴화 기관 (Vestigial structures)'과 유사함을 시사합니다.

3.2. 가중치 예측의 역설 (R2-Perplexity Paradox)

레이어 가중치는 수학적으로 매우 높은 예측성 ($R^2 \approx 0.91$) 을 보이지만, 예측된 가중치로 실제 레이어를 대체하면 모델이 완전히 붕괴됩니다. 이는 비선형 오차 누적과 소프트맥스 어텐션 메커니즘의 민감도 때문입니다. 통계적 예측 가능성은 기능적 호환성을 보장하지 않습니다.

3.3. 보편적인 진동 패턴 (Oscillatory Pattern)

모든 구성 요소에서 인접 레이어 간 가중치 변화량의 상관관계가 약 -0.50으로 일관되게 나타났습니다. 이는 잔차 연결 (Residual Connection) 아키텍처가 이전 레이어의 변환을 부분적으로 상쇄하면서 새로운 정제 차원을 도입하는 정상파 (Standing Wave) 형태의 보상 메커니즘을 내재하고 있음을 시사합니다.

3.4. 유일한 유효한 조작 전략: 가중치 스케일링

중복 레이어를 조작할 때, 가중치를 0 으로 설정하거나 복제하는 등의 방법은 모델을 파괴했습니다. 유일하게 유효했던 전략은 **가중치 스케일링 ($\alpha = 0.9$)**이었습니다. 이는 레이어의 방향성을 유지하면서 크기만 약하게 감쇠시키는 것이, 정보 흐름의 잔차 보정을 유지하는 데 필수적임을 보여줍니다.

4. 실험 결과: 성장형 변환기 학습 (Growth Transformer Training)

위 발견들을 바탕으로 저자는 "성장형 변환기 학습 (Growth Transformer Training)" 전략을 제안하고 검증했습니다.

• 전략: 생물학적 발달 과정 (배아 발생) 에서 영감을 얻어, 핵심 레이어를 먼저 학습시키고, 이후 레이어는 훈련된 핵심 레이어의 가중치를 복제 (Cloning) 하여 초기화한 후 점진적으로 학습하는 커리큘럼 방식입니다.
• 결과:
  • 동일한 파라미터 수와 학습 단계에서, 균일 학습 (Uniform Baseline) 대비 검증 손실 (Validation Loss) 이 4.7 배 낮았습니다 (0.127 vs 0.599).
  • 학습 시간은 13% 단축되었습니다.
  • 50% 의 학습 예산으로 학습된 성장형 모델이, 100% 예산의 균일 모델보다 더 낮은 손실 (0.279 vs 0.599) 을 기록하며, 학습 단계 수를 37% 줄여도 더 높은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

1. 학습 패러다임의 전환: 모든 레이어에 균일한 자원을 할당하는 기존 방식은 비효율적입니다. 레이어별 **회복 속도 (Recovery Speed)**와 중요도에 따라 학습 예산을 차등 할당하는 것이 훨씬 효율적입니다.
2. 효율성과 품질의 동시 달성: "성장형 학습"은 더 적은 계산 비용으로 더 높은 모델 품질을 달성할 수 있음을 실증했습니다.
3. 해부학적 해석: 변환기 모델이 단순한 레이어의 나열이 아니라, 생물학적 유기체처럼 기능적 특화와 위계 구조를 가진 복잡한 시스템임을 보여주었습니다.
4. 실용적 함의: 모델 압축 시 레이어를 무작위로 제거하거나 복제하는 대신, 가중치 스케일링을 적용하거나 역효과 레이어 (Anti-layers) 를 제거하는 전략이 유효함을 제시했습니다.

이 연구는 변환기 아키텍처의 내부 작동 원리에 대한 새로운 통찰을 제공하며, 더 효율적이고 강력한 언어 모델을 설계하기 위한 실용적인 가이드라인을 제시합니다.