Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate

기술 요약: 성장하는 트랜스포머: 동결된 기질 위에서의 모듈식 구성과 계층별 확장

1. 문제 제기

대규모 언어 모델 학습은 종종 파라미터 수 자체보다는 옵티마이저 상태 (optimizer-state) 메모리에 의해 제약받습니다. 표준적인 밀집 단일 구조 (dense monolithic) 사전 학습에서 모든 학습 가능한 파라미터에 대한 옵티마이저 상태를 유지하는 것은 고정된 가속기 메모리 예산 하에서 확장성 병목 현상을 초래합니다.

본 논문은 특정 실현 가능성 질문에 답하기 위해 제약된 학습 체계를 조사합니다: 토큰 인터페이스가 고정되고, 이전에 학습된 밀집 블록이 동결되며, 활성 학습 가능 파라미터 집합이 대략 일정하게 유지된다면 모델의 깊이는 계속 성장할 수 있는가? 저자들은 이를 명확히 조정된 밀집 단일 구조 사전 학습을 능가한다는 주장이 아닌, 트레이드오프와 실현 가능성에 대한 연구로 위치시킵니다.

2. 방법론

제안된 체계인 "구성적 성장 (Constructive Growth)"은 네 가지 엄격한 제약 하에 작동합니다:

1. 고정된 토큰 인터페이스: 입력 임베딩 계층은 학습 전체에 걸쳐 고정되고 결정론적입니다. 논문은 두 가지 변형을 연구합니다:
   • 이전 작업에서 유래한 동결된 시각적 유니코드 인터페이스.
   • 극한의 스트레스 테스트: 동결된 16 차원 이진 토큰-ID 코드. 여기서 각 토큰은 16 비트 이진 코드 (그 토큰 ID) 로 표현되며, 좌표 반복을 통해 모델 차원 ($d_{model}$) 으로 결정론적으로 승격됩니다. 이로 인해 입력 임베딩 행렬의 랭크가 최대 16 이 되어, 입력부에 학습된 고차원 의미론이 존재하지 않음이 보장됩니다.
2. 동결된 기질: 한 번 블록 (또는 블록 그룹) 이 학습되면 동결됩니다. 전체 파라미터 업데이트를 위해 다시 열리지 않습니다.
3. 유한한 활성 예산: 깊이가 증가함에 따라 가장 최근에 추가된 블록과 언어 모델 (LM) 헤드만 학습됩니다. 활성 학습 가능 파라미터 수는 대략 일정하게 유지됩니다.
4. 선택적 LoRA 재조정: 더 긴 실행에서는 성장 단계 사이에 LoRA (저랭크 적응) 단계를 교차 삽입합니다. 이러한 단계는 모든 계층의 어댑터에 동일한 활성 학습 가능 예산을 재할당하여 밀집 가중치를 다시 열지 않고도 제한된 전역 재조정을 가능하게 합니다.

학습 절차:

• 고정된 인터페이스 위에 얕은 모델을 초기화합니다.
• 현재 최상위 스택을 학습합니다.
• 학습된 밀집 블록을 동결합니다.
• 최상단에 새로운 블록 그룹을 추가합니다.
• 새로운 그룹과 LM 헤드만 학습합니다.
• (선택 사항) 활성 파라미터 예산을 유지하면서 전역 표현을 조정하기 위해 LoRA 단계를 교차 삽입합니다.

3. 주요 기여 및 주장

본 논문은 광범위한 알고리즘적 우월성 주장보다는 좁고 경험적으로 근거 있는 주장을 제기합니다:

• 제약된 체계의 정의: 저자들은 고정된 결정론적 토큰 인터페이스, 동결된 하부 블록, 그리고 유한한 활성 파라미터 예산을 결합한 특정 학습 프로토콜을 정의합니다.
• 최소 인터페이스 위에서의 성장 실현 가능성: 연구는 입력 부분 공간 차원이 최대 16 인 16 차원 이진 토큰-ID 인터페이스 위에서도 유용한 지속적 학습이 가능함을 보여줍니다. 이는 의미론적으로 풍부한 학습 가능한 입력 임베딩이 더 깊은 계층에서 유용한 내부 표현을 형성하는 데 필수적인 전제 조건이 아님을 시사합니다.
• 품질 - 메모리 트레이드오프: 논문은 활성 파라미터 수와 최종 퍼플렉시티 (perplexity) 사이의 트레이드오프를 정량화합니다.
  • 통제된 9 계층 연구에서 구성적 동결 모델은 인터페이스 일치 단일 구조 동결 기준선 (180.5M) 과 완전히 학습 가능한 단일 구조 기준선 (247.6M) 에 비해 105.0M의 활성 학습 가능 파라미터를 사용합니다.
  • 이러한 활성 파라미터 감소는 비용이 따릅니다: 최종 학습 퍼플렉시티가 3.71(단일 구조 동결) 에서 4.12(구성적 동결) 로 증가합니다.
• 장기적 성장의 실현 가능성: 16 차원 이진 인터페이스와 교차 삽입된 LoRA 단계를 사용하여 689 억 토큰 데이터셋 (FineWeb-Edu + Cosmopedia) 에서 수행된 16 계층 실험은 28.92% MMLU에 도달했습니다. 이는 데이터 혼합의 변화로 인해 명확한 인과적 비교가 불가능하지만, 극한의 제약 하에서도 성장이 진행될 수 있음을 보여주는 실현 가능성 증명입니다.

4. 결과

• 통제된 9 계층 연구:
  • 구성적 성장은 안정적이었으며, 새로운 계층을 적층할 때 일시적인 손실 급증이 발생한 후 신속하게 회복되었습니다.
  • 구성적 모델 (105M 활성 파라미터) 은 퍼플렉시티가 더 높았음에도 불구하고 MMLU, ARC, SQuAD 와 같은 하류 작업 성능에서 단일 구조 기준선과 동일한 광범위한 범위를 달성했습니다.
  • 16 차원 이진 인터페이스 위에서 학습된 구성적 모델은 안정적으로 수렴하여, 극한의 랭크 제약 (랭크 $\le$ 16) 이 모델이 상부 계층에서 유용한 표현을 학습하는 것을 방해하지 않음을 증명했습니다.
• 장기적 16 계층 실행:
  • 교차 삽입된 LoRA 단계로 학습된 269.7M 파라미터 모델 (기본 크기) 이 28.92% MMLU 를 달성했습니다.
  • 저자들은 데이터 혼합이 단계마다 변경되었음 (지시어/SFT 혼합 증가) 에 따라 이 결과는 성장 효율성에 대한 인과적 추정치라기보다는 실현 가능성의 증명으로 해석된다고 지적합니다.

5. 의의 및 한계

의의:
본 논문의 주요 기여는 "좁지만 유용한 주장"입니다: 유한한 활성 학습 가능 파라미터 예산 하에서 고정된 최소 인터페이스 위에서도 유용한 지속적 학습이 진행될 수 있습니다. 이는 전체 모델에 대한 옵티마이저 상태 유지를 위한 메모리 오버헤드 없이 모델 깊이를 확장하고자 하는 제한된 메모리 예산을 가진 실무자들에게 중요합니다. 이는 학습된 고용량 입력 임베딩이 깊이 성장에 필수적이라는 가정에 도전합니다.

겸손함과 한계:
저자들은 본 논문이 주장하지 않는 것에 대해 명시합니다:

• 구성적 성장이 조정된 밀집 단일 구조 사전 학습의 품질과 일치한다고 주장하지 않습니다 (퍼플렉시티가 더 나쁨).
• 무작위 초기화 적층이 기능 보존 방법 (예: Net2Net) 에 비해 최상의 범용 성장 전략이라고 주장하지 않습니다.
• 통제된 비교는 단일 실행 실험이며, 작은 지표 차이는 통계적으로 입증되지 않았습니다.
• 9 계층 연구는 기준선별 하이퍼파라미터 튜닝 없이 공통 프로토콜을 사용하므로, 최적화된 최대 대 최대 비교보다는 체계 비교입니다.
• 장기 실행은 변경된 데이터 혼합으로 인해 인과적 귀속을 혼동시킵니다.
• 16 차원 이진 인터페이스는 특정 결정론적 코드 할당을 사용하며, 대체 코드 할당에 대한 체계적 비교는 향후 연구에 맡겨집니다.

결론적으로, 본 논문은 자원이 허용될 때 밀집 단일 구조 학습이 여전히 더 강력한 품질 기준선임을 확인시키지만, 활성 파라미터 예산이 엄격하게 제한되어야 하는 시나리오에서는 동결된 기질 위에서의 계층별 확장이 제약된 체계가 실현 가능한 대안임을 입증합니다.