기술 요약: RecurrentGPT

문제 정의

트랜스포머 언어 모델의 스케일링은 **표현력(expressivity)**과 메모리 효율성(memory efficiency) 사이의 근본적인 긴장을 생성한다. 표준 아키텍처는 깊이와 파라미터를 경직되게 결합한다. 즉, 레이어를 추가할 때마다 고유한 가중치 세트가 도입되어, 고정된 하드웨어 예산 하에서 유효한 깊이를 제한하는 메모리 병목 현상을 만든다. 반대로, 표준적인 가중치 공유 전략(예: 모든 레이어를 깊이에 따라 공유)은 진화하는 표현에 대해 균일한 변환을 강요한다. 이러한 정적 접근 방식은 깊이가 제공하는 기능적 다양성을 붕괴시킨다. 왜냐하면 첫 번째 재귀 이후의 은닉 상태는 여덟 번째 이후의 상태와 근본적으로 다름에도 불구하고, 두 상태 모두 동일한 정적 변환을 통과하도록 강제되기 때문이다.

본 논문은 추론 시스템의 힘이 파라미터의 폭이 아니라 반복의 깊이(Turing [2] 및 현대의 테스트 타임 컴퓨팅 패러다임 [3–5] 인용)에 있다고 상정한다. 과제는 고정된 가중치로 매 레이어마다 고유한 가중치를 할당하는 메모리 비용을 피하면서, 동시에 단순한 가중치 공유로 인한 표현 붕괴를 방지하며 입력 표현의 깊고 반복적인 정제를 달성하는 것이다.

방법론: RecurrentGPT 아키텍처

저자들은 고정된 서문(prelude) 및 결말(coda) 블록으로 핵심부를 감싸서, 모델의 깊이와 파라미터 수를 분리하는 재귀적 깊이 트랜스포머인 RecurrentGPT를 제안한다.

1. 아키텍처 레이아웃

모델은 $n_{pre} + n_{rec} \times R + n_{coda}$ 구성을 따른다:

• 서문 (Prelude, $n_{pre}$ 블록): 입력을 통해 안정적이고 문맥 인식적인 조건화 신호($h^{(pre)}$)를 생성하기 위해 한 번 적용된다.
• 공유 핵심 (Shared Core, $n_{rec}$ 블록): $R$번 재귀적으로 적용되는 트랜스포머 블록 세트이다. 표준 가중치 공유와 달리, 이 핵심부는 균일하게 적용되지 않고 매 단계마다 변조된다.
• 결말 (Coda, $n_{coda}$ 블록): 최종적으로 정제된 상태를 처리하여 로짓(logits)을 생성한다.

총 고유 파라미터 수는 재귀 횟수 $R$과 독립적으로 $\Theta((n_{pre} + n_{rec} + n_{coda}) \cdot d^2)$로 스케일링된다.

2. 적응형 게이팅 및 재귀적 투영

표현 붕괴를 방지하고 단일 가중치 텐서가 여러 특화된 레이어처럼 동작할 수 있도록 하기 위해, RecurrentGPT는 **요소별 학습된 게이트(per-element learned gate)**와 **재귀적 투영(recurrent projection)**을 도입한다.

각 재귀 단계 $r$에서:

1. 입력 준비: 이전 은닉 상태 $h^{(r-1)}$은 고정된 서문 출력 $h^{(pre)}$ 및 주입된 확률적 노이즈 $\epsilon_x$와 함께 투영된다.
   $$\tilde{h}^{(r)} = W_{proj} [h^{(r-1)} + \epsilon_x, h^{(pre)}]$$
2. 공유 변환: 공유 블록($B_{shared}$)은 이 입력을 처리하여 제안(proposal) $o^{(r)}$을 생성한다.
   $$o^{(r)} = B_{shared}(\tilde{h}^{(r)})$$
3. 요소별 게이팅: 학습된 게이트 $g^{(r)}$은 제안이 현재 상태를 얼마나 대체할지를 결정한다. 게이트는 정규화된 현재 상태, 정규화된 서문, 그리고 주입된 노이즈 $\epsilon_g$에 의해 조건화된다.
   $$g^{(r)} = \sigma(f_{gate}([LN(h^{(r-1)}), LN(h^{(pre)})]/\tau + \epsilon_g))$$
   $$h^{(r)} = g^{(r)} \odot h^{(r-1)} + (1 - g^{(r)}) \odot o^{(r)}$$

주요 설계 선택 사항:

• 초기화: 게이트 바이어스는 $+4$로 초기화되어, 훈련 시작 시 $g^{(r)} \approx 0.98$이 된다. 이는 잔차 스트림(residual stream)이 초기에는 거의 변하지 않은 채로 통과하도록 보장하여, 모델이 어떤 요소를 점진적으로 덮어쓸지 학습할 수 있게 한다.
• 노이즈: 가산 노이즈($\epsilon_x$)와 게이트 노이즈($\epsilon_g$)는 취약한 정확한 일치 패턴(exact-match patterns)과 게이트 붕괴를 방지한다.
• 깊이 샘플링: 훈련 중 재귀 깊이 $r$은 $\{1, \dots, R\}$에서 균등하게 샘플링된다. 이는 모든 탈출 지점(exit point)을 암시적으로 훈련시켜, 보조 손실 함수 없이도 추론 시 **창발적 조기 종료(emergent early exit)**를 가능하게 한다.

주요 기여

1. 아키텍처: RecurrentGPT는 요소별 게이팅과 확률적 섭동을 활용하여 표현 붕괴를 방지함으로써, 공유된 핵심부가 재귀 단계에 따라 서로 다르게 동작할 수 있도록 한다.
2. 통합 평가: 모델은 isoFLOPS(연산량 일치, 파라미터 감소) 및 isoPARAMS(파라미터 일치, 연산량 증가) 체제 하에서 모두 평가된다.
   • isoFLOPS: RecurrentGPT는 9개의 모든 스케일-바이-버젯(scale-by-budget) 셀에서 혼합 재귀(Mixture-of-Recursions, MoR) 및 헤비 테일(heavy-tail) 깊이 샘플링을 앞선다. 소규모 스케일에서, 이는 64% 적은 파라미터를 사용하여 밀집형(dense) GPT-2 Small 베이스라인과 성능이 일치한다. 중형 및 대형 스케일에서는 토큰 예산이 증가함에 따라 밀집형 모델의 품질에 근접한다.
   • isoPARAMS: 더 깊은 재귀는 일치하는 파라미터 수 대비 일관된 검증 손실 이득을 제공한다 (예: 매칭된 파라미터 수에서 비재귀 대응 모델의 2.84 대비 2.76).
3. 창발적 조기 종료: 보조 손실 없이도, 모델은 재귀 단계의 절반만 실행하더라도 원래 정확도의 약 92%를 유지하며 자연스럽게 추론 시 조기 종료를 지원한다.

실험 결과

• 성능: isoFLOPS 제약 조건 하에서, 3레이어 RecurrentGPT는 12레이어 GPT-2 Small 베이스라인의 정확도와 일치한다. 중형 스케일(24레이어 상당)에서, 이는 354M의 파라미터 대신 124M만을 사용하면서 밀집형 베이스라인의 2.84 대비 2.89의 검증 손실을 달s한다.
• 효율성: isoFLOPS 하에서, 모델은 밀집형 베이스라인의 고유 파라미터의 **36~37%**만을 저장한다.
• 다운스트림 태스크: 대규모 벤치마크에서 isoPARAMS 변형은 9개 태스크 중 8개에서 밀집형 베이스라인을 능가하며, 평균 +2.10 포인트의 개선을 보인다. isoFLOPS 변형은 단 37%의 파라미터로 밀집형 베이스라인의 평균 성능(42.05 대비 42.08)과 일치한다.
• 지연 시간 및 메모리: torch.compile 환경에서, RecurrentGPT-Large는 피크 GPU 메모리를 59% 줄이고 파라미터를 63% 줄이면서도 생성 지연 시간은 단 **10%**만 증가시킨다.
• 기계론적 통찰: 분석 결과 두 단계의 계산 전략이 드러난다:
  • 초기 단계 (쓰기 중심): 게이트가 더 열려 있으며, 모델은 빠른 구조 재편을 수행하여 처음 두 단계에서 손실 감소량의 약 77%를 해결한다.
  • 후기 단계 (복사 중심): 게이트가 좁아지며, 모델은 표적 교정을 수행한다.
  • 토큰 라우팅: 모델은 명시적인 라우팅 신호 없이도 어려운 토큰(초기 손실이 높은 토큰)에 더 많은 계산량을 암시적으로 할당한다.

의의 및 주장

본 논문은 **적응형 깊이 재사용(adaptive depth reuse)**이 파라미터를 품질로 교환하는 원칙적인 전략이라고 주장한다. 현재의 은닉 상태, 고정된 서문, 그리고 노이즈에 재귀를 조건화함으로써, 모델은 고유한 가중치 없이도 기능적 다양성을 달s한다.

저자들은 RecurrentGPT가 단일 가중치 텐서가 여러 특화된 레이어처럼 동작하게 함으로써 메모리 효율성과 표현력 사이의 긴장을 해결한다고 강조한다. 결과는 다음을 입증한다:

1. 파라미터 효율성: 최소한의 지연 시간 오버헤드로 상당한 파라미터 감소(최대 63%)를 달성할 수 있다.
2. 연산-품질 트레이드오프: 이 아키텍처는 단일 체크포인트가 여러 운영 지점을 제공함으로써, 추론 속도와 품질 사이의 연속적인 트레이드오프를 가능하게 한다.
3. 스케일링 법칙: 이 접근 방식은 파라미터 수 대비 손실 및 훈련 FLOPs 대비 손실에 대한 스케일링 법칙을 개선하며, 소형, 중형, 대형 규모 전반에서 일관된 이득을 보여준다.

논문은 현재 구현이 추론 시 고정된 재귀 깊이를 사용하지만, 학습된 게이팅 메커니즘이 동적인 토큰별 중단(per-token halting) 및 지식 증류(knowledge distillation)를 위한 견고한 토대를 제공한다고 결론짓는다.